Verification & Delivery — MOC(导航图)
Core Questions
- Agent 自报完成与真实端到端状态之间的系统性偏差如何收窄。
- 验收标准与证据产物应在实现之前还是之后建立,人工审阅预算如何与证据分级匹配。
- 哪些验证手段(E2E smoke、独立 verifier、receipt/录像证据包)值得常驻,哪些应按任务风险按需启用。
Key Concepts
- 本页是导航图:主入口 Self-Verification Loops 及其拆分页 验证器分离、单元通过≠可用、证据产物先于实现——三条子页分别回答『谁来验证』『验什么』『拿什么证明』。
- 长任务侧的对应入口是 Long-Running Agent Harness(contract 定义完成标准、evaluator 真正执行测试)与 Evals as Ledger 拆分页(从生产失败轨迹建评测闭环、评分器自身的操纵风险)。
Main Tensions
- 验证 effort 与吞吐的权衡:CI 按风险缩小运行范围换吞吐,但提速倍数均为单一帖子转述;独立复核实锤了 verifier 大规模 bug 与评测原题预置——评分独立不等于目标完整。
- 证据包越全越可信 vs 人工审阅预算有限,证据分级粒度是未解的开放问题。
Current Judgments
- 以下为 AI 草稿判断:『模型自评系统性偏正、独立 verifier 优于自我批评』是当前证据最一致的结论(多来源收敛);但各方案的成本与逃逸缺陷对比多为个人转述,缺受控数据。E2E/负向检查的最小常驻集没有统一配方,按任务风险裁剪是唯一可行姿态。
To Read / To Verify
- 原页 harness-engineering/self-verification-loops 拆分前的按日流水账已归档于 拆分前完整原文,核对核心张力是否已被三条子页完整承载。
- Nolan Lawson 多模型交叉评审的『几乎零误报』宣称需更多复制证据。
Output Directions
-
产出『验收契约模板』:Definition of Done + 最小 E2E 集 + 证据清单(trace/CI/截图),供个人 agent 工作流复用。
-
写一篇『agent 说完成了之后呢』:以 Retro Forge 与多模型交叉评审为案例串起验证交付链。
Pending Jean review
- 本页为来源驱动的主题地图,判断保持 ai_draft。