Skip to content
Back/Harness Engineering

Residual Work Eval

View in Graph
Updated 2026-10-25
1 min read
222 words

Residual Work Eval — 残余工作量评估

What it is

残余工作量评估是一种围绕真实工作构建的内部 eval 原则:衡量 AI 工具完成输出后人类仍需做多少工作(返工、补漏、重写、判断),而不是只看单次分数或接受率。它把"模型能做什么"与"组织需要它做什么"之间的鸿沟变成可测量的三个维度:覆盖率、稳定性、残余工作量。

公共基准回答不了这个问题:它们测通用能力排名,测不到特定法律条款是否被抓住、house style 是否保留、员工是否少返工。

Why it matters

单一高分具有系统性误导。Every 的 KateBench(基于约 3 万份历史编辑训练的 AI 文案编辑)接受率约 85%–90%,但这个数字掩盖了三件事:建议数量上限(原 40 条,长文会在编辑看到前丢弃好建议)、输出非确定性(同输入多次运行结果波动)、编辑接受后仍需重写的工作。Thinkingbox 基准显示最强模型 pass@1 为 65.36%,但在连续 20 次都成功的严格标准下只剩 25.25%。

不把残余工作量纳入 eval,组织就无法区分"工具接近完成"与"工具看起来接近完成"。

Key points

  • 接受率/单次分数是起点,不是结论。 高接受率可能由建议上限、非确定性和未计入的后续编辑共同制造。
  • 企业 eval 应从已有工作出发。 代表性案例、已知的失败模式、人类修正量的统计,优于再比较一次排行榜。
  • 自动化能力不等于辅助能力。 CentaurBench 在 7 个任务中的 5 个上发现,独立完成任务最好的模型并不是最佳辅助者。
  • 最小 eval 的起步配方: 约 10 个真实例子整理成 gold standard,3–5 个加权评分维度,prompt、模型或工具变化时重跑。
  • 评估前要有 baseline。 先记录 AI 上线前的任务耗时、质量标准与常见错误,否则只能得到"感觉好像更好"。

Evidence across sources

Source Key Claim Relevance
Every — Benchmarks Don't Know Your Job 公共基准测不到业务价值;KateBench 85%–90% 接受率的欺骗性;Thinkingbox pass@1 65.36% vs pass^20 25.25%;CentaurBench 自动化胜者不等于辅助胜者 概念的核心证据:为什么残余工作量必须成为 eval 维度
Every — 33 Questions Executives Ask About AI 用 10 个真实案例、加权评分维度建立最小 eval;AI 上线前建立 baseline;每次变更重跑 eval;多 judge 分解评估并保留人的判断 操作层证据:残余工作量如何落地为可执行流程

Open questions

  • 覆盖率如何测量:模型没找到的问题,在没有 ground truth 的工作里如何计数?
  • 稳定性测试需要多少次重复运行才能得到可判读的方差?
  • 残余工作量应折算成工时、返工率,还是注意力成本?

Prompts for witness

  • Jean 评估过的 AI 工具(如 KateBench 类编辑器或 coding agent)里,接受率最高的那个,实际留下了多少未汇报的返工?
  • 如果为 wiki ingest 或 briefing 生成建一个最小 eval,10 个 gold examples 该选哪些已知的失败模式?

Pending Jean review

Sources

Synthesized from 2 sources
  • Every — Benchmarks Don't Know Your JobSupporting source listed by this page.Whole pagemediumbody
  • Every — 33 Questions Executives Ask About AI—AnsweredSupporting source listed by this page.Whole pagemediumbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 2 sources.

    From Every — Benchmarks Don't Know Your Job, Every — 33 Questions Executives Ask About AI—AnsweredTo Residual Work Eval
    Sources: raw/newsletters/Every/2026-08-27 Benchmarks Don't Know Your Job.md · raw/newsletters/Every/2026-08-29 33 Questions Executives Ask About AI—Answered.md

Linked from