Residual Work Eval — 残余工作量评估
What it is
残余工作量评估是一种围绕真实工作构建的内部 eval 原则:衡量 AI 工具完成输出后人类仍需做多少工作(返工、补漏、重写、判断),而不是只看单次分数或接受率。它把"模型能做什么"与"组织需要它做什么"之间的鸿沟变成可测量的三个维度:覆盖率、稳定性、残余工作量。
公共基准回答不了这个问题:它们测通用能力排名,测不到特定法律条款是否被抓住、house style 是否保留、员工是否少返工。
Why it matters
单一高分具有系统性误导。Every 的 KateBench(基于约 3 万份历史编辑训练的 AI 文案编辑)接受率约 85%–90%,但这个数字掩盖了三件事:建议数量上限(原 40 条,长文会在编辑看到前丢弃好建议)、输出非确定性(同输入多次运行结果波动)、编辑接受后仍需重写的工作。Thinkingbox 基准显示最强模型 pass@1 为 65.36%,但在连续 20 次都成功的严格标准下只剩 25.25%。
不把残余工作量纳入 eval,组织就无法区分"工具接近完成"与"工具看起来接近完成"。
Key points
- 接受率/单次分数是起点,不是结论。 高接受率可能由建议上限、非确定性和未计入的后续编辑共同制造。
- 企业 eval 应从已有工作出发。 代表性案例、已知的失败模式、人类修正量的统计,优于再比较一次排行榜。
- 自动化能力不等于辅助能力。 CentaurBench 在 7 个任务中的 5 个上发现,独立完成任务最好的模型并不是最佳辅助者。
- 最小 eval 的起步配方: 约 10 个真实例子整理成 gold standard,3–5 个加权评分维度,prompt、模型或工具变化时重跑。
- 评估前要有 baseline。 先记录 AI 上线前的任务耗时、质量标准与常见错误,否则只能得到"感觉好像更好"。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| Every — Benchmarks Don't Know Your Job | 公共基准测不到业务价值;KateBench 85%–90% 接受率的欺骗性;Thinkingbox pass@1 65.36% vs pass^20 25.25%;CentaurBench 自动化胜者不等于辅助胜者 | 概念的核心证据:为什么残余工作量必须成为 eval 维度 |
| Every — 33 Questions Executives Ask About AI | 用 10 个真实案例、加权评分维度建立最小 eval;AI 上线前建立 baseline;每次变更重跑 eval;多 judge 分解评估并保留人的判断 | 操作层证据:残余工作量如何落地为可执行流程 |
Open questions
- 覆盖率如何测量:模型没找到的问题,在没有 ground truth 的工作里如何计数?
- 稳定性测试需要多少次重复运行才能得到可判读的方差?
- 残余工作量应折算成工时、返工率,还是注意力成本?
Prompts for witness
- Jean 评估过的 AI 工具(如 KateBench 类编辑器或 coding agent)里,接受率最高的那个,实际留下了多少未汇报的返工?
- 如果为 wiki ingest 或 briefing 生成建一个最小 eval,10 个 gold examples 该选哪些已知的失败模式?
Related
- Evals as Ledger — eval 作为可累积的账本
- Personal AI Benchmark
- Dual Oracle Verification — 独立复核避免自我 reassurance
- Frontier Code Benchmark
Pending Jean review
- harness-engineering/residual-work-eval —
ai_draft;建议:选一个 Jean 每周重复的 AI 工作流,按 10 例配方建立 baseline 并试跑一次。