Skip to content
Back/Harness Engineering

Evals as Ledger — 评测即账本

View in Graph
Updated 2026-11-11
4 min read
782 words

Evals as Ledger — 评测即账本

What it is

评测即账本(Evals as Ledger)是指:在 AI-native 组织中,评测不是发布前的 QA 环节,而是组织的运营会计系统。它记录每一次 AI 产出的成本、质量、审批链路与可追溯信息,使"这个 Agent 是否改善了我的流程"成为可回答、可审计的问题。

评测对象正从模型变为组织本身——评测的是"你这架机器的端到端可靠性",而非某个模型的通用能力。

Why it matters

评测经历了三段跃迁:

  1. 公共基准(已死)。MMLU 类榜单测量的是"直立人颅容量",与你的工作需要无关。Mollick 的类比:招聘副总裁不会看 SAT 分数。
  2. 个人基准方法论。三层实操:从"口袋里的失败"建任务池 → 语音口述品味、让 AI 固化成 rubric(拒绝百分制,pass/fail 优于总分)→ 任务做成 Skill 实现样本复利。详见 harness-engineering/personal-ai-benchmark。
  3. 组织账本(正在发生)。每个被接受 PR 的成本成为组织设计信号;输出可追溯到 prompt、模型、数据、审批人;evals 与成本路由、治理、逐步放权并列为一等运营指标。

第三段把评测从工程师工具升级为组织基础设施:通用基准无法回答"这个 Agent 是否改善了我的流程",组织专属的 eval 库成为 AI-native 公司的"最伟大 IP"。

Evidence across sources

Source Key Claim Relevance
AI Briefing 2026-09-01 businessbarista 30 特征:evals、cost per accepted PR、model routing、traceability 是一等运营指标;反馈绑定到 prompt、模型、数据、审批人 账本定义的核心来源
AI Briefing 2026-08-31 cost per accepted PR 与 cost per successful task 成为新业务指标;公司转型 = 操作系统设计 成本信号的独立佐证
Software Factory 工厂阶梯:Level 3+ 的特征是 agent 自动监控、修复、review、ship;可验证性(verifiability)决定工厂化就绪度 账本与自治级别的关系
Every 2026-09-26 微软内部约 16,000 个 evals,由领域专家基于使用数据构建;私有 eval 基准是"最伟大 IP";成功客户让一线员工建 eval、"拥抱失败" 组织级 evals 的规模化证据
Every 2026-09-25 evals 成为岗位技能(25 个 PM 岗位近半要求 evals 经验);Sentry 月跑 1,800 次 eval 运行抓指令退化 evals 从工程实践升级为组织实践
Every 2026-09-21 个人基准三层方法:失败任务池 → 语音口述品味固化 rubric → Skill 样本复利 第二段跃迁的完整方法论
Harness Engineering 万字干货 Harness 的度量体系:任务效能、服务质量、资源效率、安全合规四类指标反向驱动 Harness 演进;审计日志记录"谁在何时尝试做什么" 账本的工程实现层
Ben's Bites 2026-10-01 Claude Code 自动构建 evals 并爬山优化 账本维护的自动化趋势
AI Briefing 2026-11-11 Afternoon — LangChain EDD 先写行为规格和 baseline,再逐例比较;新增 create_ticket 提升平均分,却误把 VPN 使用问题判成工单,trace 指向过宽的工具描述 说明回归评测要检查“不要做”和既有行为,并查看逐例轨迹

核心机制

成本即信号:cost per accepted PR 不只是财务指标,更是组织设计信号——它暴露了 review 瓶颈、工具配置缺陷、模型路由错配。当成本异常时,问题往往不在模型,而在 harness、权限或流程。

可追溯即治理:输出绑定 prompt 版本、模型版本、数据来源、审批人,使"谁批准了什么"成为可审计记录。这是 earned autonomy(逐步赢得自治)的前提:agent 从观察 → 建议 → 经批准执行 → 边界内自主执行,每一步升级都需要账本数据支撑。

evals 即 IP:私有 eval 基准成为公司的核心知识资产。Nadella 称其为"最伟大 IP"——数据飞轮从模型权重转向评估资产。个人层面,自己的 eval 集是换模型时的议价筹码;团队层面,eval 库应像代码资产一样版本管理。

闭环即学习:evals 的结果反向驱动系统演进。失败的测试指明修复方向,通过后就写一个更难的(embrace the red)。LangChain 的 EDD 例子显示,只看平均分会漏掉回归:新增 create_ticket 提高总分,却让普通 VPN 使用问题误触发工单;逐例 Trace 找到过宽的工具描述。行为规格应同时写明何时做、何时不做、哪些旧行为必须保留,并用独立样例检查过拟合。这与 harness engineering 的"每个错误变成规则"的棘轮机制同构。

Counterpoints & Gaps

  • 16,000 个内部 evals 的分布、通过率与拦截效果未披露,单一高管口径。
  • "cost per accepted PR" 在跨组织、跨任务类型比较时缺乏标准化口径,可能沦为新的 vanity metric。
  • 组织账本可能只优化现有流程,无法代表新的工作方式;先量化人类基线(错误率、耗时)再让 agent 超越,但人类基线本身也在移动。
  • 自动 eval-hillclimbing 可能过拟合到特定 rubric,需要定期人工抽查校准。

Open questions

  • Jean 的个人基准如何升级为组织账本?当前 Hermes 多模型配置是否已在事实上产生了 eval 数据但没有记录?
  • "cost per accepted PR" 在个人项目(非 PR 驱动)中的等价物是什么?cost per accepted output?
  • 账本粒度:每次任务都记录 prompt/模型/数据/审批人,最小可行的记录格式是什么?

2026-10:评测操纵的审计化——MiMo 环境审计、Terminal-Bench 复核、多智能体冷数据

  • MiMo RL 环境审计(AINews 2026-10-10):社区发现 Xiaomi MiMo-V2-Pro 的 RL 训练环境「The Agent Company」预置了评测原题,在社区审计后小米承认问题并计划修复。打分者与被测同源是结构性漏洞。
  • 多智能体评测冷数据(AINews 2026-10-18,High Taste Testers):Vals AI 横向评测 13 个框架,多智能体比单智能体贵 1.8–5.1 倍,14 项任务中仅 Sol medium 有 +7.3 分提升;Berkeley 39% 场景单智能体更优;FDE-Gym 95 个真实企业任务仅 14 个适合多智能体。
  • Terminal-Bench 交叉审计(AINews 2026-10-21):Doom Arena 之争继续,新模型发布时的评测复核更密集。Terminal-Bench 官方对 Kimi K3 的复核从 65 降到 60 分——编排器兼容性是关键变量。

三条指向同一判据:eval 数字要带 harness/编排器元数据发布,否则 ledger 不可信。

Verification

  • 2026-10-26:Jean 批量确认,晋升 human_verified/status: mature/judgment_owner: mixed。
  • 原三问的结论:三段跃迁叙事成立(公共基准 → 个人基准 → 组织账本,证据见 harness-engineering/personal-ai-benchmark 与 Every 2026-09-25);组织账本与个人基准的关系维持本页表述——个人基准是组织账本的方法论前身;「evals 即 IP」已转为 Jean 的后续实验(见下)。
  • 原建议转为后续实验:确认 "cost per accepted PR" 在个人项目中的等价度量(候选:每次 accepted wiki absorb 的 token 成本);建立自己的 eval 库版本管理。

2026-10:评分器自身的失败模式

来源:Every 2026-10-10、AINews 2026-10-07

分身模拟实验(digital twin simulation)显示:评分独立 ≠ 业务目标完整。系统能通过改变任务本身获得高分——73 轮评分优化后,原邮件的业务目标被毁,属于 Goodhart 式任务漂移。模型顺着提问框架回答的比例为 68%,约为真人(34%)的两倍,说明评分器会把"顺着说"误记为质量。

AutomationBench 审计发现 206 个 verifier bug,修复后 27.9% 的运行评分发生变化(展开见 harness-engineering/personal-ai-benchmark 2026-10-07 节)——verifier 本身必须被审计、版本化、可抽查,账本的判分层需要自己的账本。

批量生成候选结果的时代,验证 / 分级 / 出处追踪 / 撤回机制成为新的基础设施:账本不只记录分数,还要记录评分器的健康状况。

2026-10:提示词压缩的收益证据(转述)

来源:AI Briefing 2026-10-17

转述的 Anthropic 工程课:Agent 系统提示词从 402 行压到 15 行后任务通过率 62%→92%,核心是以 eval 驱动迭代。(转述口径,建议核对原文)

2026-10-29 — 从生产失败建立可复现的评测闭环

来源:AI Briefing 2026-10-29 Morning;@divaagurlxw。

该帖建议从真实生产失败开始建立 eval:抽样并归类轨迹,把高频失败转成初始指标;将输入、预期结果或 rubric、元数据写入版本化 golden set,并保留罕见高风险案例;再按 persona、意图、复杂度与边缘条件补合成样本。它主张先跑 schema、必填字段、代码执行等确定性检查,再使用模型评分;检索和生成分开评估,Agent 逐次记录工具调用及恢复行为;重复运行以衡量波动与评审偏差,并把生产失败持续回流到带标签的评测集,同时记录质量、成本和延迟。

这是单条 X 帖对作者方法的转述,未独立验证其阈值或效果;它补充了本页已有的“失败驱动闭环”,没有改变 evals 账本的定义。

Sources (2026-10-29 addendum)

Pending Jean review (2026-10-29)

2026-10-29 Afternoon: CI throughput and test selection

@kunchenguid 将 Agent 加速开发下的 CI 瓶颈归纳为每次变更都运行完整构建、lint 和测试。作者建议按风险在 CI 与 CD 间分配检查、按模块与依赖缩小运行范围、持续审查测试选择。他称某跨平台项目提速约 15 倍,另一大型项目提速约 20 倍且很少漏测;这些是个人项目自述,未提供复现资料。本例补充评测账本的吞吐约束:优化必须同时跟踪漏测和发布后故障。

Sources (addendum)

Pending Jean review

2026-11-02 — 评测从失败轨迹出发,LLM Judge 放到最后

来源:AI Briefing 2026-11-02 Morning,转述自 @luhsnaa 与 @_vmlops。

两篇文章补充了同一条实践路径:先读真实 trace、弄清失败类型,再用范围明确的确定性检查和小型 golden set 覆盖重要回归;只有在任务与标准已说清时,才把 LLM judge 接入评分。judge 应围绕单一失败模式提问,使用真实样例和“未知”选项,并人工抽查标签与分类表现。@luhsnaa 另把 20–50 个代表任务、约 100 条 trace(先人工看 30 条,最近 20 条没有新失败类型时停止)作为起步经验;@_vmlops 则建议人工复核 20 条 judge 结果。这些数字是作者给出的启发式起点,不是通用阈值或对照实验结论。

这与本页既有的“生产失败回流评测集”相接:评测集应代表真实失败,简单检查优先,自动评分需要可抽查和校准。pass@k 与 pass^k 也提醒团队先定义需要“至少一次成功”还是“每次都可靠”,再选择聚合指标。

Counterpoints & Gaps

  • 两篇材料是作者的方法建议;这里没有复算其样本量或 judge 指标,也不把这些数字当作项目门槛。
  • Judge 的准确率会受样本选择、rubric 和失败分布影响;抽查样本还需覆盖不同类别,不能只看总体一致率。

Sources (2026-11-02 addendum)

Pending Jean review (2026-11-02)

  • harness-engineering/evals-as-ledger — page status remains human_verified; the new sample-size figures remain attributed heuristics. Before using them as a gate, compare deterministic checks and judge results on representative, human-labeled tasks.

主题补充(AI 草稿)

  • 评测作为运营会计系统:主张是把每次 AI 产出的成本、质量与审批链记成可审计账本,cost per accepted PR 作为组织设计信号暴露 review 瓶颈与路由错配;从公共基准到个人基准再到组织账本的三段跃迁已被人工确认为成立。跨组织口径未标准化,有沦为 vanity metric 的风险。
  • 评分器自身的失败与操纵:独立复核实锤了 RL 环境预置评测原题、verifier 大规模 bug 等操纵;分身模拟显示 73 轮评分优化后原业务目标被毁——评分独立不等于目标完整。缓解手段(确定性检查前置、LLM judge 最后)为经验法则,无系统比较。
  • 从生产失败轨迹建评测闭环:多条来源同一路径:先读真实 trace 分类失败,再用小 golden set 和确定性检查覆盖重要回归;CI 侧按风险与模块缩小运行范围换取吞吐。提速倍数均为单一帖子转述,样本口径待核。

拆分前完整原文与来源

Sources

Synthesized from 19 sources
  • AI Briefing 2026-09-01 — businessbarista:AI Native Company 的 30 个组织特征Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-08-31 — AI Native Company 的 30 个特征(早期版)Supporting source listed by this page.Whole pagemediumbody
  • businessbarista — What the hell is a Software Factory?Supporting source listed by this page.Whole pagemediumbody
  • Every — Copilot Gets a Seat in the Org Chart (Ryan Sloan, 2026-09-25)Supporting source listed by this page.Whole pagemediumbody
  • Every — Why Evals Are So Hot Right NowSupporting source listed by this page.Whole pagemediumbody
  • Every — How to Create Your Own Personal AI Benchmark (Mike Taylor, 2026-09-21)Supporting source listed by this page.Whole pagemediumbody
  • 万字干货:理解 Harness Engineering,看这一篇就够了Supporting source listed by this page.Whole pagemediumbody
  • Ben's Bites — OpenAI DevDay 2026Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-10-17 — 提示词压缩的收益证据(转述口径)Supporting source listed by this page.Whole pagemediumbody
  • 2026-10-10 not much happened todaySupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-18 [AINews] High Taste Testers Ep. 1Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-21 AINews - not much happened todaySupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-18 Codex’s Comeback Up CloseSupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-29-20-41Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-29-21-16Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-11-02-08-05Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-11-11-18-05Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-07 Quasi-Riemann-Hypothesis - OpenAI Math ReleaseSupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-10 You Already Signed This Off (In the Simulation)Supporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 19 sources.

    From AI Briefing 2026-09-01 — businessbarista:AI Native Company 的 30 个组织特征, AI Briefing 2026-08-31 — AI Native Company 的 30 个特征(早期版), businessbarista — What the hell is a Software Factory?, Every — Copilot Gets a Seat in the Org Chart (Ryan Sloan, 2026-09-25), Every — Why Evals Are So Hot Right NowTo Evals as Ledger — 评测即账本
    Sources: raw/briefing/AI Briefing/2026-09-01-08-09.md · raw/briefing/AI Briefing/2026-08-31-17-42.md · raw/to-learn/What the hell is a Software Factory?.md · raw/newsletters/Every/2026-09-26 Copilot Gets a Seat in the Org Chart.md · raw/newsletters/Every/2026-09-25 Why Evals Are So Hot Right Now.md · raw/newsletters/Every/2026-09-21 How to Create Your Own Personal AI Benchmark.md · raw/to-learn/万字干货:理解 Harness Engineering,看这一篇就够了.md · raw/newsletters/Ben's Bites/2026-10-01 OpenAI DevDay 2026.md · raw/briefing/AI Briefing/2026-10-17-20-29.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/AINews/2026-10-10 not much happened today.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/AINews/2026-10-18 [AINews] High Taste Testers Ep. 1.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/AINews/2026-10-21 AINews - not much happened today.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Every/2026-10-18 Codex’s Comeback Up Close.md · raw/briefing/AI Briefing/2026-10-29-20-41.md · raw/briefing/AI Briefing/2026-10-29-21-16.md · raw/briefing/AI Briefing/2026-11-02-08-05.md · raw/briefing/AI Briefing/2026-11-11-18-05.md · raw/newsletters/AINews/2026-10-07 Quasi-Riemann-Hypothesis - OpenAI Math Release.md · raw/newsletters/Every/2026-10-10 You Already Signed This Off (In the Simulation).md

Linked from