验收标准与证据产物先于实现
What it is
独立的 Definition of Done、行为标准评测和可回放的证据包(trace、PR、CI、截图、录像)被反复提出,用来把『agent 说完成了』换成可检查产物。证据分级的粒度和人工审阅预算如何匹配仍是开放问题。2026-11-15 新增:Lauren Tan 让 Agent 像用户一样运行程序并上交录屏与截图,人工审查改为审这些材料,她称自己的 Token 大部分花在这一步。
Evidence across sources
- Eval and acceptance standards before implementation (2026-08-28);原始来源:2026-08-28-17-43
- 2026-08-28 evening: 独立完成标准与植入 Bug 评测;原始来源:2026-08-28-23-01
- 2026-09-03: 独立完成标准可提高大型任务覆盖率;原始来源:2026-09-03 Build your ideas
- 2026-09-07 afternoon: review artifacts and benchmark consistency checks;原始来源:2026-09-07-19-14
- 2026-10-24 — E2E 加操作录像,让完成证据可观察;原始来源:2026-10-24-08-09
- 2026-10:/create-verification-skill;原始来源:2026-10-13-23-02
- 2026-11-15:Lauren Tan 的自验实践:Agent 运行应用并提交录屏与截图作为审查材料;同场分享还提到过去太贵的严格验证(数学证明类手段)随 AI 降价变得可用。原始来源:2026-11-15-17-33
Open questions
- 上述来源里哪些只反映单次实践?要用于决策时,先核对原文的约束与适用范围。
Pending Jean review
- 本页为 AI 草稿。原始证据和原结论保留在出处;这里的主题归纳尚未人工核验。