AI 写完代码,如何用 1557 条测试、20 层 e2e 决定能不能发版
我做了二十几年开发,十几年架构师,review 过的代码算下来有上百人的。2025 年我还会偶尔翻翻 diff,2026 年基本不看了。
上周发版前我打开过一次,翻了两屏就关了。三千多行,一半是生成的 CRUD,一半是补的判空和日志。认真读一遍要两天,读完记住的东西还不如跑一遍测试多。
不是人变懒,是账算不过来。三年前一个需求 diff 三五百行,逐行看是合理的;现在同一个需求代码量翻五倍,大部分是重复结构。注意力摊到三千行上,每一行的审查强度接近于零。更麻烦的是,AI 写的代码看起来都像对的——命名规范、注释齐全、异常都接住了,读完一遍觉得没问题,恰恰是这时候最容易出事。
所以问题换了一句:我怎么知道它没问题。
一、先把验收标准写成能被检查的句子
不问"这段代码有没有 bug",问"我怎么知道它没 bug"。前者要靠读,后者可以靠证。
证的前提是你得知道自己关心什么。以前这一步很虚,"这个功能要稳""不能丢数据",谁都能说。现在得落到机器能判的句子上。
拿我们自己的需求举例,"定时任务能写日报"这句没法测。往下拆:无人值守的调用里,只允许写日报这一个工具,其余写工具一律拒绝。这就可测了——跑一次任务,查工具调用记录,write_daily_digest 是 SUCCESS,别的写工具是 DENIED。再往下,日报表里当天必须有一条记录,内容里的数字和统计口径对得上。
三句话,守着三件事:权限、结果、正确性。写的时候花十分钟,后面每次回归都省事。
写不出这几句的需求,我现在一律先不开工。想不清楚"怎么算通过",写出来的代码大概率也不知道对着什么在写。
二、证据要分层,门禁要能复现
单测证明逻辑分支,但它跑的是桩,只能证明"我以为的世界"是对的。真库集成测试证明方言、事务和锁——我们跑 1557 条,连的是真的 PostgreSQL 和 MySQL,不是 H2,这一层最值钱,因为索引行为和方言差异打桩永远测不出来。端到端证明链路,20 层 HTTP 脚本从登录、会话、工具调用一直到渠道回调,跑完直接给 PASS/FAIL,界面另加 18 条 Playwright 用例。
三层不是替代关系,覆盖的是不同的失败模式。单测全绿、真库挂掉,这种事我见过不止一次。
发版清单上是五道门禁,全绿才发。几个细节是踩出来的:nginx 启动时缓存后端容器 IP,重建后端不重启 web 必然 502,所以冒烟必须走 nginx,直连 8080 返回 200 说明不了任何问题;初始化阶段单条 SQL 失败不阻断启动,容器照样 healthy,所以不能看容器状态,得数日志里的 ERROR,要求是 0;第 12 层要额外起一个桩,桩没起会 SKIP,SKIP 不算失败,但发版前必须零 SKIP——"没跑"和"跑过了"混在一起就是在赌。
这些规则写在清单里,换个人照着跑一遍结果一样。这就是门禁和"我觉得没问题"的区别。
三、最怕的是写对了却没生效
真正难防的不是写错,是能启动、不报错、但功能没生效。
PG 的 healthcheck 一开始只探 pg_isready,这命令在初始化临时 server 阶段就返回成功,容器早早标成 healthy,后端抢在前面启动,连不上库。容器是绿的,日志没有 ERROR,只有一次静默重试。
还有一次是两套 Jackson 并存。全局的 spring.jackson.* 只作用于 Spring 管理的那一套,SDK 边界上自己 new 的 mapper 读不到这些配置,一直用默认值。代码怎么读都没错,行为就是和你想的不一样。
Redis 更典型。换了序列化 codec,写进去成功,读出来才炸——旧 key 里存的是全类名,类路径一变就反序列化不了。问题永远发生在下一次读。
这类东西逐行读代码基本发现不了,只能让真实链路跑一遍。
四、现在还读什么
不是完全不读。我主要读三样。
读断言,看它断言的是什么,而不是看有没有通过。AI 很容易写出"调用没抛异常即通过"的测试,这种测试对质量没有贡献。读失败输出,一个测试挂了,报错能不能直接定位到原因,定位不了的测试等于没有。读边界用例,空值、超时、重试、同一个会话并发进来,这些是 AI 最容易漏的,也是线上最容易出事的地方。
代码本身我只看两种时候:改核心链路,和线上出问题回溯。
也有些不测的东西。提示词改一句,模型行为变了,测试不会红。产品要不要这个功能,是判断不是验证,写多少用例都没用。第三方 SDK 的行为、模型服务的稳定性,只能靠降级和兜底。
所以"不读 diff"不是"不用管",是把注意力从实现挪到了验收标准和失败处理上。前者决定测什么,后者决定坏了怎么办。
代码是谁写的不重要,出事是谁的责任才重要。1557 条测试不是为了让谁放心,是为了让我在发版前能说清楚一句:我知道它可能在哪儿坏,也知道坏了会在哪一步暴露。
这句话,读 diff 读不出来。
关于 BizBuddy
BizBuddy 是一个全量开源(MIT)的企业级智能体平台,Spring Boot 4.1.1 + AgentScope Java Harness,PostgreSQL 14 与 MySQL 8.0 双栈交付。上面提到的五道门禁、20 层 e2e、真库集成测试,仓库里都能直接跑。
仓库地址:https://gitee.com/zl3624/biz-buddy
想看看别人怎么把质量交给机器判定,可以照着清单走一遍。