Trust Ladder and the Kitchen Metaphor
What it is
Lauren Tan(poteto,pstack 作者,SpaceX AI 工程师)在 Matt Pocock 的直播(2026-10-03)中提出两个相互衔接的框架。Trust ladder 描述人与 agent 协作的成熟度阶梯:从人作为 agent 与工具之间的唯一中介,到抽样审查员,再到让 agent 在夜间自动合并 PR 的 dark factory。Kitchen metaphor 用米其林厨房替代"软件工厂"来描述同一旅程:环境、刀具、备料是工程师的新工作,产出质量来自环境约束而非产出数量。
Why it matters
两个框架都把焦点从"模型能做什么"转移到"工程师在 agent 之外构建什么"。Trust ladder 给出可操作的进阶路径;厨房隐喻解释了为什么这条路径依赖环境工程而不是更多 prompt 技巧。
Key points
- Trust ladder 的进阶:第一阶段,人是 agent 与 Chrome DevTools 之间的唯一中介;第二阶段,构建 verification skill 让 agent 看到自己的输出,人开始脱离中介位置;第三阶段,通过抽样审查监控大量并行 agent;第四阶段,dark factory,agent 在夜间自动合并 PR,人早上通过 changelog 抽查。
- 验证是阶梯的地基:不构建 verification,人就永远被困在中介位置,无暇思考更高层的问题。
- 环境 > 产出:工程师的新工作是"厨房":lint 规则、类型系统、强制单一写法的目录结构。每次发现 agent 犯错,就把这条错误写成 lint 规则,让该错误在结构上不可能再发生。
- 类型收窄类比:Tan 把 TypeScript 的 type narrowing 类比为代码库约束:先给 agent 一个宽类型(任何事都能做),再用类型守卫和 lint 把可能空间收窄到唯一正确路径。
- 抽样审查代替全检:2,500 PR/月不可能逐条审查。做法是每天抽样阅读代码,关注重复出现的坏模式,然后修环境而非修单点。
- 内环与外环:内环是实际写代码的 agent;外环是 Slack、邮件、Linear 等外部信号源。Grokbot 类连接器把外环信号(bug 报告、功能请求)注入内环;不接通两环,人就要充当唯一信息中介。
- Gardening 与缓冲队列:不立即修复每个问题,先让监控 agent 把坏模式写入文档,人每隔几天审阅,发现共性问题后一次性修环境。Chief of Staff agent 负责"见森林而非树木"。
- Dark factory 的真实形态:每个 PR 触发一组 validation agent 进行 fuzzing(实际运行、点击、寻找 rollback 点),通过后才合并。Tan 坦言这需要大量 token 和长期环境建设,"不是装个 pstack 就能做到"。
- 可验证性 = 自主权前提:可程序化验证的工作可以让 agent 全自主;不可验证的工作(某些 one-way door 操作)必须保留人类审批。领域可验证性决定 autonomy 上限。
- 抽样审查审的是验证器(REA 实证):东方重构中一个函数通过了"指令精确比对",却把浮点常量写错(
0.0vs128.0)——比对工具只对了地址,没验地址里存的值。sampling reviewer 这一级的核心工作是测试 oracle 本身(喂它应该拒绝的 case),并回审所有经它放行的结果。 - 教训必须变成能跑的检查(REA 实证):TH08 的浮点 bug 修复直接进了比对工具,TH095 因此更快。阶梯上升的燃料不是"记住教训",而是把教训写成下一个 agent 能运行的检查。
- Clean deprecated or questionable patterns because agents imitate existing code; encode recurring corrections as lint rules, types, tests, or APIs. AI Briefing 2026-11-12 Evening
- AI Engineer 演讲把“环境 > 文档”进一步具体化(dotey 八要点摘要 + AI Engineer 官方账号,AI Briefing 2026-11-15 Evening):每次纠正 agent 都写成 lint 式自动检查、提交时硬失败,而不是往 agents.md 加话;禁用产品代码中一个常被误用的 React 功能后,该问题类不再出现;禁用 99% 的注释,因为 agent 会在注释里给捷径找理由、后来的 agent 照着学(她称在 Cursor 时此类补丁扩散拖慢了应用);agent 自查的方式是运行应用、像用户一样点一遍并提交录屏与截图,人审代码变成审证据,她的大部分 token 花在这一步;过去太贵的严格验证(数学证明式检查)因 AI 降本变得可用。官方口径:一个月合并 11,000 个 PR、撤回率约 0.5%、每日稳定发布、应用比发布时更快;前提是先打好地基再谈全自动。数字为演讲者与官方自述,未独立核验。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| Matt Pocock LIVE with poteto | Trust ladder、厨房隐喻、2,500 PR/月的抽样审查、dark factory validation | Primary source |
| REA: Reverse Engineering's Industrial Revolution | 双 oracle 验证、检查器本身的盲区(浮点常量 bug)、教训沉淀为可运行检查、Touhou Reconstruction Factory 跨项目复用 | 独立实证:sampling reviewer 审的不是每个结果,而是验证器本身 |
| AI Briefing 2026-11-12 Evening | TheTuringPost’s Poteto summary recommends cleaning patterns agents imitate, converting repeated corrections into executable constraints, and verifying behavior before release automation. The operational figures are author-reported. | Adds evidence for shaping the codebase environment before delegating to agents; performance claims remain unverified |
| AI Briefing 2026-11-15 Evening | dotey 的八要点摘要与 AI Engineer 官方数据:纠正写成 lint 而非文档、禁用易误用功能与 99% 注释、agent 录屏自查、月 1.1 万 PR 与约 0.5% 撤回率 | 把厨房隐喻细化为可执行清单;数据为演讲者与官方自述,待独立核验 |
Open questions
- 抽样审查的具体频率与样本量未给出定量标准。
- 2,500 PR/月中 gardening 与新功能的比例未量化。
- 类型收窄与 lint 约束在非 TypeScript 代码库中的等价物是什么。
Prompts for witness
- 你目前在 trust ladder 的哪一阶?当前瓶颈是 verification 缺失还是环境缺失?
- 你的"厨房"里最近出现过什么重复的 agent 错误?它值得被写成 lint 规则吗?
- 抽样审查 vs 全检:你现在的项目里哪个环节其实已经在用抽样,但你没意识到?
Related
- harness-engineering/simon-willison-dark-factory — Simon Willison 的 dark factory 概念,本页是其可操作化实现
- harness-engineering/agent-trust-verification — 信任验证的成熟页面,trust ladder 是其进阶视角
- harness-engineering/self-verification-loops — verification loop 的设计模式
- harness-engineering/poteto-verification-cli — 同一直播的另一主线:verification CLI 与确定性/判断力分工
- ai-tools/pstack — 这些框架的可安装载体:Tan 开源的 skill pack 实体
2026-10:直播对谈的完整补充
内外环结构:内环=写码 agent,外环=Slack/Linear/X 的 bug 报告;个人 agent 订阅外环、把上下文喂给只做委派的云端协调 agent;30 个 bug 涌入时按"共同解法"分组派单而非一 bug 一 agent。Gardening + 缓冲队列:不急着让 agent 修,先让 agent 把坏模式记进文档,人/参谋长定期看模式再改环境——纯执行模式会丢失大图。Sampling 评审:抽样严查并问"多个 agent 是否犯同一个错";dark factory 的"留灯"版本=post-merge review + 每 PR 一组验证 agent fuzzing。领域可验证性(domain verifiability)决定能否 agent 自动合并。Skills 是"workflow coding",随模型变强会越来越小;翻旧会话日志是把真实过程提炼成 skill 的矿。
2026-10:规模化路径数据
poteto 团队从 15 个 agent 扩到 200+:三条不可跳过规则——no proof, no merge;失败沉淀为 skill;模型会忘记的规则不是规则。配套数据:月产 2,500 PR、信任阶梯、Michelin 厨房类比(替代 software factory)、verification 是最重要技能。
2026-10-30:mattpocockuk 论 PR 自动合并的确定性判据
来源:AI Builders Digest 2026-10-25
Matt Pocock(mattpocockuk,10-25)提出 PR 自动合并可以确定性判断,前提是非常严格的硬约束:只重组代码、不改变模块图、不降低测试覆盖率(另有若干未展开的约束)。这把 trust ladder 的终局(dark factory 夜间自动合并)从"模型觉得没问题"改写为"每条检查是可验证的硬约束";约束越具体,自动合并越敢放开。原文未展开完整的约束清单,标注"原文未提完整规则细节"。
相关实体:Lauren Tan (poteto)。
Pending Jean review
- harness-engineering/poteto-trust-ladder-kitchen —
ai_draft; TheTuringPost 的实践细节为二手转述,清理模式、自动发布前验证及团队数据均需结合原始实现或独立证据核验。 - 2026-11-15 新增的 11,000 PR/月与约 0.5% 撤回率来自演讲者与 AI Engineer 官方账号自述,未经独立核验;lint 优先于文档、禁用注释的边界建议对照原始演讲录像确认。