Agent Code Review at Anthropic
What it is
Anthropic 工程团队(Claude Code)在约 90% 代码由 Claude 编写的情况下,重构 code review 流程的实践。核心思路是把审查从"终点门禁"转变为"持续的拼写检查":人不再逐行读 diff,而是设计和监督多层自动检查,只对变更的风险特征决定是否分配人类审查。Ron Minsky(Jane Street, Bug Bash 2026)从另一端给出同一结论的动机:在 agent 时代,代码审查可能是人类在软件工程中最重要的事。
Why it matters
当 agent 产出代码的速度超过人类阅读能力时,传统审查模型失效。Anthropic 的方案回答了"人类注意力应该花在哪里":风险分级、自动合并条件、评审者 eval 迭代和源头修复。Minsky 补充了为什么这件事在 agent 时代反而更重要——agent 优化功能属性但系统性破坏非功能属性,而人只能补后者。两源共同指向:审查的对象从"代码对不对"扩展到"代码是否以好的方式被做对"。
Key points
- 七层流程:PR 前 agent 自验证与独立子 agent 复查;多 agent 并行 bug 评审加投票去噪;独立自动安全评审(有发现即不能合并);必需 CI;人工批准按风险分级;merge queue 加重跑与灰度发布;快速发现与快速回滚(flag 免部署关闭、on-call 轮值)。
- 风险分级按变更定,不看作者:低风险(文档、文案、内部功能)自动检查全绿即可;中风险(普通产品变更、敏感区)一人审批;高风险始终两人审批。一个 classifier 选 tier,另一个判断是否需加人,CODEOWNERS 保证 auth、billing 等路径始终要人。
- 自动合并条件:低风险 tier、bug 评审与安全评审全绿、CI 通过、作者在受信任名单,则零人批准可合并。机器人批准永远不替代人类名额。
- 评审者 eval 迭代:导致 incident 的历史 PR 做成专家确认的 eval 集,每天重跑并在改 prompt、工具、模型后重新打分。追踪每条评论的人工处理结果,在已知干净 PR 上测误报率。对 agent 作者与评审者互转设三轮上限,之后只复查新 diff、只报 bug。
- 修复于源头:评审者反复抱怨的同类问题通过更新 CLAUDE.md、加 lint 规则或 skill 根治;REVIEW.md 由代码所有者编写,说明"此仓库失败长什么样",限制 nit,要求按文件行号举证。
- 数据:2026 年 6 月到 9 月,Claude Code 仓库合并 PR 数量翻倍以上,revert 比例下降超过 40%;Anthropic monorepo 日落地变更从 5 月约 2,500 涨到 9 月超 30,000;平均评审轮数从 2.08 降至 1.32;一次评审加一轮修复即通过的 PR 从 65% 升至 78%。
- Agent 破坏 code review 的社会契约(Minsky):人类提交的代码背后有投入,"值得认真审";agent 指一下就能"YOLO"产出,审查者不再有那种紧迫感。同时 agent 不会在审查中学习——会话结束后"all is forgiven and forgotten",对人有效的 coaching 模型不适用。
- 审查 AI 代码的注意力难题(Minsky):工程师自述"看着 AI 生成的代码会走神、眼睛发直"。LLM 从不在语法层面犯错,传统的"语法质量信号"与"真实质量"脱钩——错误形状不同(奖励黑客型:要求"测试全过"时删掉测试),审查需要一套新本能。
- Anthropic C 编译器实验的教训(Minsky 引用):agent 群协作写 C 编译器的 stunt 最终停止,不是因为完成,而是因为每次改动都更可能破坏别的东西—— messy codebase 中 agent 无法持续前进。这个终点就是 review 缺席的终点形态。
- Agent 也能让审查更容易(Minsky):把大 feature 拆成可独立理解的 feature stack;写 clarifying tests;作为"oracle"对话代码(会撒谎但能快速锐化理解);设计 walkthrough 演示顺序降低阅读认知负载。
- 把 PR 阅读负担分层(Simon Willison):在开头用人工编辑的短文说明改动目的和价值,把完整的 agent 说明放入 GitHub 支持的
<details><summary>折叠区;可标注模型/effort,并用截图快速展示变化。作者给出多个自有仓库 PR 示例;这是可试用的呈现模式,不是审查质量的对照实验。 - 核心结论(Anthropic 源):"有没有人读过代码"是对"出问题可能性"的模糊代理,应改问"哪个检查最适合抓住这个变更的风险"。人类的五项专属决策:要不要做、高风险代码、定架构模式的变更、读证据(测试输出、截图)、对上线结果负责。审查传播上下文理解的职能被"让 Claude 按需写 explainer"替代。团队准则:"You land it, you own it"。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| raw/to-learn/How the Claude Code team does code review【转述】 | 七层流程、风险分级、自动合并条件、评审者 eval 迭代与量化结果 | 工程实践与数据 |
| Ron Minsky — Bug Bash 2026 | 为什么审查在 agent 时代更重要:社会契约破裂、注意力漂移、奖励黑客型错误、C 编译器 stunt 终点、agent 作为审查助手 | 动机层与反向验证 |
| AI Briefing 2026-11-09 afternoon — Simon Willison | 人工短导语配合可展开的完整 agent 说明,降低 PR 的首屏阅读负担 | 具体的信息呈现模式;效果尚未对照测量 |
Open questions
- 没有随指标波动自动收紧审批的熔断器,坏合并的发现仍依赖人工和看板。这一短板在小团队复用时如何补救。
- 误报率的衡量口径是"是否会让人改坏东西",该口径能否迁移到非代码产出(文档、配置、数据管道)。
- Minsky 描述的"AI 代码审查注意力漂移"是否有量化方法?(例如:审查者 blink rate、review 时长 / PR size 比率、是否随 AI 占比上升而恶化)
- Anthropic 方案默认变更频率可控;当多 agent 同时产 PR 时,分级 classifier 自身的可靠性如何验证。
Prompts for witness
- 在 personal_daily 和 LLM Wiki 的 absorb 流程里,哪些环节对应"审查从终点门禁变为持续拼写检查"?现在哪一层还缺。
- "You land it, you own it" 对 Jean 自己的 agent 工作流意味着什么:合并/发布动作的责任边界在哪里。
- 反向思考:在什么类型的项目上,零人合并的自动合并条件不应该被信任。
- 我审 AI 代码时最近一次"眼睛发直"是什么时候?当时我缺的信号是什么——一个测试、一个 oracle、还是一段 walkthrough?
Related
- harness-engineering/self-verification-loops
- harness-engineering/agent-driven-qa
- harness-engineering/agent-code-health-decay — agent 对非功能属性的破坏机制
- harness-engineering/judgment-engineering
- claude-code/overview
2026-10:风险分层审批的补充细节与数据
来源:AI Briefing 2026-10-16、Anthropic 官方博客转述
审查体系的操作层表述:确定性检查 + 多层 AI 审查 + 按风险分层的人工审批 + 分阶段发布 + 快速回滚,核心是把人工时间从逐行阅读转向风险判断。补充统计:五轮以上评审占比 8.9%→1.5%;59% 被标问题是第一轮就存在的老代码。
2026-11-06:Warp 的 Agent PR 审查流程
来源:AI Briefing 2026-11-06 Morning — @BHolmesDev 介绍 Warp Factories 的代码审查做法。
作者提出三项杠杆:在人工审查前由实现 Agent 交给独立的审查 Agent 做多轮对抗检查;让 Agent 在模拟环境中通过 computer use 和自动检查验证用户流程,并提供前后状态证据;按验证、与需求的一致性、影响范围、回滚成本和错误检测能力为 PR 评分。审查 Agent 将严重度、影响和建议修复交给实现 Agent 处理;涉及产品决策或规格歧义时仍回到人。
这补充了风险分级审批:人工注意力可依据可见的验证证据和变更风险集中到更值得检查的部分。文章称早期成本质量测试显示,把多轮审查限制在较大功能上可行,但没有公布详细数据;作者也没有主张取消人类审查。
Counterpoints & Gaps
- 多轮审查的效果与成本结果仍是作者对早期内部测试的概述,尚无可复现数据。
- 录屏、截图和测试结果能帮助审查,但不能单独证明规格表达了正确的用户目标。
Sources
- AI Briefing 2026-11-06 Morning — @BHolmesDev, “Addressing the code review bottleneck”
Pending Jean review
- harness-engineering/agent-code-review-at-anthropic —
ai_draft; 保持草稿,待对照实际项目的审查成本与回归数据。