Skip to content
Back/Harness Engineering

Poteto — Trust Ladder and the Kitchen Metaphor

View in Graph
Updated 2026-11-15
3 min read
570 words

Trust Ladder and the Kitchen Metaphor

What it is

Lauren Tan(poteto,pstack 作者,SpaceX AI 工程师)在 Matt Pocock 的直播(2026-10-03)中提出两个相互衔接的框架。Trust ladder 描述人与 agent 协作的成熟度阶梯:从人作为 agent 与工具之间的唯一中介,到抽样审查员,再到让 agent 在夜间自动合并 PR 的 dark factory。Kitchen metaphor 用米其林厨房替代"软件工厂"来描述同一旅程:环境、刀具、备料是工程师的新工作,产出质量来自环境约束而非产出数量。

Why it matters

两个框架都把焦点从"模型能做什么"转移到"工程师在 agent 之外构建什么"。Trust ladder 给出可操作的进阶路径;厨房隐喻解释了为什么这条路径依赖环境工程而不是更多 prompt 技巧。

Key points

  • Trust ladder 的进阶:第一阶段,人是 agent 与 Chrome DevTools 之间的唯一中介;第二阶段,构建 verification skill 让 agent 看到自己的输出,人开始脱离中介位置;第三阶段,通过抽样审查监控大量并行 agent;第四阶段,dark factory,agent 在夜间自动合并 PR,人早上通过 changelog 抽查。
  • 验证是阶梯的地基:不构建 verification,人就永远被困在中介位置,无暇思考更高层的问题。
  • 环境 > 产出:工程师的新工作是"厨房":lint 规则、类型系统、强制单一写法的目录结构。每次发现 agent 犯错,就把这条错误写成 lint 规则,让该错误在结构上不可能再发生。
  • 类型收窄类比:Tan 把 TypeScript 的 type narrowing 类比为代码库约束:先给 agent 一个宽类型(任何事都能做),再用类型守卫和 lint 把可能空间收窄到唯一正确路径。
  • 抽样审查代替全检:2,500 PR/月不可能逐条审查。做法是每天抽样阅读代码,关注重复出现的坏模式,然后修环境而非修单点。
  • 内环与外环:内环是实际写代码的 agent;外环是 Slack、邮件、Linear 等外部信号源。Grokbot 类连接器把外环信号(bug 报告、功能请求)注入内环;不接通两环,人就要充当唯一信息中介。
  • Gardening 与缓冲队列:不立即修复每个问题,先让监控 agent 把坏模式写入文档,人每隔几天审阅,发现共性问题后一次性修环境。Chief of Staff agent 负责"见森林而非树木"。
  • Dark factory 的真实形态:每个 PR 触发一组 validation agent 进行 fuzzing(实际运行、点击、寻找 rollback 点),通过后才合并。Tan 坦言这需要大量 token 和长期环境建设,"不是装个 pstack 就能做到"。
  • 可验证性 = 自主权前提:可程序化验证的工作可以让 agent 全自主;不可验证的工作(某些 one-way door 操作)必须保留人类审批。领域可验证性决定 autonomy 上限。
  • 抽样审查审的是验证器(REA 实证):东方重构中一个函数通过了"指令精确比对",却把浮点常量写错(0.0 vs 128.0)——比对工具只对了地址,没验地址里存的值。sampling reviewer 这一级的核心工作是测试 oracle 本身(喂它应该拒绝的 case),并回审所有经它放行的结果。
  • 教训必须变成能跑的检查(REA 实证):TH08 的浮点 bug 修复直接进了比对工具,TH095 因此更快。阶梯上升的燃料不是"记住教训",而是把教训写成下一个 agent 能运行的检查。
  • Clean deprecated or questionable patterns because agents imitate existing code; encode recurring corrections as lint rules, types, tests, or APIs. AI Briefing 2026-11-12 Evening
  • AI Engineer 演讲把“环境 > 文档”进一步具体化(dotey 八要点摘要 + AI Engineer 官方账号,AI Briefing 2026-11-15 Evening):每次纠正 agent 都写成 lint 式自动检查、提交时硬失败,而不是往 agents.md 加话;禁用产品代码中一个常被误用的 React 功能后,该问题类不再出现;禁用 99% 的注释,因为 agent 会在注释里给捷径找理由、后来的 agent 照着学(她称在 Cursor 时此类补丁扩散拖慢了应用);agent 自查的方式是运行应用、像用户一样点一遍并提交录屏与截图,人审代码变成审证据,她的大部分 token 花在这一步;过去太贵的严格验证(数学证明式检查)因 AI 降本变得可用。官方口径:一个月合并 11,000 个 PR、撤回率约 0.5%、每日稳定发布、应用比发布时更快;前提是先打好地基再谈全自动。数字为演讲者与官方自述,未独立核验。

Evidence across sources

Source Key Claim Relevance
Matt Pocock LIVE with poteto Trust ladder、厨房隐喻、2,500 PR/月的抽样审查、dark factory validation Primary source
REA: Reverse Engineering's Industrial Revolution 双 oracle 验证、检查器本身的盲区(浮点常量 bug)、教训沉淀为可运行检查、Touhou Reconstruction Factory 跨项目复用 独立实证:sampling reviewer 审的不是每个结果,而是验证器本身
AI Briefing 2026-11-12 Evening TheTuringPost’s Poteto summary recommends cleaning patterns agents imitate, converting repeated corrections into executable constraints, and verifying behavior before release automation. The operational figures are author-reported. Adds evidence for shaping the codebase environment before delegating to agents; performance claims remain unverified
AI Briefing 2026-11-15 Evening dotey 的八要点摘要与 AI Engineer 官方数据:纠正写成 lint 而非文档、禁用易误用功能与 99% 注释、agent 录屏自查、月 1.1 万 PR 与约 0.5% 撤回率 把厨房隐喻细化为可执行清单;数据为演讲者与官方自述,待独立核验

Open questions

  • 抽样审查的具体频率与样本量未给出定量标准。
  • 2,500 PR/月中 gardening 与新功能的比例未量化。
  • 类型收窄与 lint 约束在非 TypeScript 代码库中的等价物是什么。

Prompts for witness

  • 你目前在 trust ladder 的哪一阶?当前瓶颈是 verification 缺失还是环境缺失?
  • 你的"厨房"里最近出现过什么重复的 agent 错误?它值得被写成 lint 规则吗?
  • 抽样审查 vs 全检:你现在的项目里哪个环节其实已经在用抽样,但你没意识到?

2026-10:直播对谈的完整补充

来源:Poteto × Matt Pocock 直播

内外环结构:内环=写码 agent,外环=Slack/Linear/X 的 bug 报告;个人 agent 订阅外环、把上下文喂给只做委派的云端协调 agent;30 个 bug 涌入时按"共同解法"分组派单而非一 bug 一 agent。Gardening + 缓冲队列:不急着让 agent 修,先让 agent 把坏模式记进文档,人/参谋长定期看模式再改环境——纯执行模式会丢失大图。Sampling 评审:抽样严查并问"多个 agent 是否犯同一个错";dark factory 的"留灯"版本=post-merge review + 每 PR 一组验证 agent fuzzing。领域可验证性(domain verifiability)决定能否 agent 自动合并。Skills 是"workflow coding",随模型变强会越来越小;翻旧会话日志是把真实过程提炼成 skill 的矿。

2026-10:规模化路径数据

来源:AI Briefing 2026-10-10

poteto 团队从 15 个 agent 扩到 200+:三条不可跳过规则——no proof, no merge;失败沉淀为 skill;模型会忘记的规则不是规则。配套数据:月产 2,500 PR、信任阶梯、Michelin 厨房类比(替代 software factory)、verification 是最重要技能。

2026-10-30:mattpocockuk 论 PR 自动合并的确定性判据

来源:AI Builders Digest 2026-10-25

Matt Pocock(mattpocockuk,10-25)提出 PR 自动合并可以确定性判断,前提是非常严格的硬约束:只重组代码、不改变模块图、不降低测试覆盖率(另有若干未展开的约束)。这把 trust ladder 的终局(dark factory 夜间自动合并)从"模型觉得没问题"改写为"每条检查是可验证的硬约束";约束越具体,自动合并越敢放开。原文未展开完整的约束清单,标注"原文未提完整规则细节"。

相关实体:Lauren Tan (poteto)。

Pending Jean review

  • harness-engineering/poteto-trust-ladder-kitchen — ai_draft; TheTuringPost 的实践细节为二手转述,清理模式、自动发布前验证及团队数据均需结合原始实现或独立证据核验。
  • 2026-11-15 新增的 11,000 PR/月与约 0.5% 撤回率来自演讲者与 AI Engineer 官方账号自述,未经独立核验;lint 优先于文档、禁用注释的边界建议对照原始演讲录像确认。

Sources

Synthesized from 7 sources
  • LIVE: Poteto (creator of pstack) on shipping 1,000's of PR's a month at SpaceX — TranscriptSupporting source listed by this page.Whole pagemediumbody
  • REA: Reverse Engineering's Industrial Revolution(Touhou reconstruction)Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-10-10 — poteto 规模化路径Supporting source listed by this page.Whole pagemediumbody
  • AI Builders Digest 2026-10-25Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-11-12 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-11-15 EveningSupporting source listed by this page.Whole pagemediumbody
  • 2026-10-25Supporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 7 sources.

    From LIVE: Poteto (creator of pstack) on shipping 1,000's of PR's a month at SpaceX — Transcript, REA: Reverse Engineering's Industrial Revolution(Touhou reconstruction), AI Briefing 2026-10-10 — poteto 规模化路径, AI Builders Digest 2026-10-25, AI Briefing 2026-11-12 EveningTo Poteto — Trust Ladder and the Kitchen Metaphor
    Sources: raw/to-learn/LIVE Poteto (creator of pstack) on shipping 1,000s of PRs a month at SpaceX — Transcript.md · raw/to-learn/REA - Reverse Engineering's Industrial Revolution (Touhou reconstruction).md · raw/briefing/AI Briefing/2026-10-10-23-59.md · raw/briefing/AI Builders Digest/2026-10-25.md · raw/briefing/AI Briefing/2026-11-12-22-57.md · raw/briefing/AI Briefing/2026-11-15-23-04.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Builders Digest/2026-10-25.md

Linked from