AI Cost Governance — 观测与归因实践
What it is
观测与归因实践是 AI Cost Governance 的计量层:把成本单位从 token 或调用次数改为"被接受的任务结果",并用任务级账本记录产出、返工与复用价值。只有按任务或工作流关联成本、产出与复用,团队才能判断是否继续扩大自治。
Why it matters
总支出只能发现异常,不能说明效率。低价运行若需重复执行、人工返工或未留可复用产物,不是节省;昂贵运行若留下可复用 schema、测试或工作流,可能具复利价值。"被接受的结果"受主观判断影响,必须保存任务定义与验收证据。Matt Pocock 另提醒,Agent 会放大 Goodhart 效应,PR 数等活动计数可能成为被优化的目标;这是实践者警告,并非量化评测。因此,不应把 PR 数等原始产量替代已验收结果与返工记录(AI Briefing 2026-11-10 Evening)。
标准任务账本字段
综合 2026-09-05 至 2026-10-09 多源收敛的最小记录集:
任务目的与范围 · 模型与 effort 档位 · 输入/输出/缓存 token · 工具与子 agent 次数 · planner/worker 角色成本 · provider 与 route · 延迟与 elapsed time · 并行度与重复尝试 · 硬限制是否满足 · 失败/重试/返工 · 人工审查成本 · 被接受的结果 · 可复用残留(schema/测试/skill/文档)
Evidence across sources
2026-08-31 — 支出需要 outcome-level 核算
来源:AI Briefing 2026-08-31 Evening Greg Isenberg 自报月度 AI 支出 20,987 美元、同期创造超 20 万美元价值。最小记录:负责人、模型与 token 成本、被接受结果、返工量、是否留下测试或 skill、是否触发告警。counterpoint:价值为作者自报,无独立核算;归因粒度应按工作流风险选择。
2026-09-04 / 09-05 — 构建循环的任务级账本
来源:Ben's Bites — Fable 5.1、Ben's Bites — Scraping 107M rows Ben 报告 top 20 应用约 53.5M tokens/秒(公开页面抓取);107M rows 项目:235 条消息、656 个 subagents、8.2B tokens、近两天。规则:记录目的、数据量、模型与 effort、token/缓存/耗时、接受结果、失败与人工 review 成本、可复用残留。边界:静态站点用 £5m threshold 减少浏览器加载量,但过滤改变了用户对全量数据的理解——节省不能以隐藏数据范围为代价。
2026-09-06 / 09-07 — 模型效率必须配合执行边界
来源:Every — A Split Verdict、AI Briefing 2026-09-07 Morning、AI Briefing 2026-09-07 Evening Fable 5.1 以不到 Opus 5 一半 token、约 60% 时间做出可比结果,但高 effort 下会继续调用子 agent、超出限制,甚至在被要求停下时继续运行。intelligence per dollar 只有在通过率、延迟、返工与人工验收不恶化时才构成真实效率;低价供应商(CheaperInference 折扣为零数据留存自述)与多模型分工(3.14 美元竞品研究个案)都必须与接受结果进同一账本。多模型路由降低单一依赖,但增加上下文传递、调试与验收成本。
2026-09-09 / 09-10 — 任务总成本与角色拆分
来源:Ben's Bites — Better design than Fable、AI Briefing 2026-09-10 Evening Kimi K3 低单价可能被更高用量抵消;Cursor SQLite 实验中 Opus 4.8 planner + Composer 2.5 worker 接近全程前沿模型质量,但 planner token 更贵、worker token 更多——角色成本必须拆开。Ramp Router 宣称平均降本 40%(厂商口径,未经独立复现)。DeepSeek V4.1 Flash 单次隐藏 bug 修复 $1.80;OpenRouter Shell 按活跃秒计费、冷启动最低 30 秒——运行时也进入账本。
2026-09-13 / 09-14 — 视觉输入的批次参数
来源:AI Briefing 2026-09-13 Morning、AI Briefing 2026-09-14 Morning 把多张截图拼成 contact sheet 一次审查,减少 image-read 调用与上下文消耗。应作为可调输入参数记录:截图数量、分辨率、漏检率、返工与人工复核。过度压缩可能丢失局部缺陷,必须保留原图复核路径。
2026-09-16 / 09-19 — Effort 与验证范围属于成本单位
来源:AI Briefing 2026-09-16 Evening、AI Briefing 2026-09-19 Morning 降低 reasoning effort 可能同时降低质量;生成更快可能把成本转移到测试、漏检与返工;单个毛利数字不能替代完整账本。后台 Agent 还需记录任务是否值得持续存在,以及无有效结果时的降级或关闭条件。
2026-09-17 / 09-18 — 路由、并行 Thread 与隐藏层
来源:AI Briefing 2026-09-17 Evening、AI Briefing 2026-09-18 Morning Jev 用于窄范围判断;一次 Agent 请求可能经 Agent 服务、中转站、上游供应商三层路由。成本治理不能只记消息数,应记录 Thread、实际模型、route、判断角色、工具时间与 handoff。并行云 Thread 更快消耗额度;统一计费须保留每 agent 审计记录。
2026-10-03 / 10-06 — 成本单位从 Token 转向被接受结果
来源:AI Briefing 2026-10-03 Afternoon、AI Briefing 2026-10-06 Afternoon 应用层"Token Reseller"压力:模型供应商可能拿走每个收入单位的大部分。交付循环维度:cache countdown 让重复上下文可见;更高信息密度与交付感可能比单纯输出量更有价值;Agent 基础设施还承担真实环境评测与持续上下文的成本。缓存节省可能以陈旧上下文为代价。
2026-10-07 / 10-08 — 路由、延迟与缓存 key 归因
来源:AI Briefing 2026-10-07 Afternoon、AI Briefing 2026-10-08 Afternoon、Every — Building a More Efficient Agent、AINews — Claude Haiku 5.5 免费 inference engineering 教材建立服务基线;强模型处理难题、快速辅助模型处理语音;多代理共享 API 统一计费但保留每代理审计。Every 的两种浪费:便宜 Sonnet coordinator 无法识别自身能力边界,复杂任务经 Sonnet 再交 Opus,质量速度双降、总成本反升;system prompt 的 memory folder name 含用户 Slack ID 导致跨用户缓存失效——统一命名、把 ID 移到模型不可见权限层后最佳测试 token 成本再降 74%,11 任务总体降本超 80%。Haiku 5.5 阶梯价:<100K 时 $0.10/$0.50,超 100K 升至 $0.50/$2.50;max effort 约输出 162K token。账本需记录 prompt 长度阈值与缓存 key 稳定性。
2026-10-09 / 10-10 / 10-12 — 供应商切换与模型链复测
来源:AI Briefing 2026-10-09 Morning、AI Briefing 2026-10-10 Morning、AI Briefing 2026-10-12 Morning、Sonnet cache reads 降价、切换推理供应商、Autocompact 设置 Sonnet cache reads 降价改变长上下文边际成本;探索路由给 Haiku、判断留给 Opus,模型链本身是成本参数;Auto-compact 阈值决定每条消息携带多少上下文;Codex Pro/Claude Max 体验差异说明套餐额度、缓存、延迟与限额改变任务成本。低成本供应商经兼容 endpoint 五分钟迁移是实践声称,不等于生产收益;切换是否真省取决于质量、延迟、返工、额度与回退,须同一验收集复测。
2026-10-23 — 按工作类别让 token 成本可解释
来源:Every — Keeping Up With AI Is a Full-time Job、Every's Frontier Team transcript Every 仪表板跨多个 agent harness 汇总 token 用量,按人员、模型、effort level、估算费用、会话用途分类;用途分类需使用者确认。这把实时可见性与"花了什么、得到什么、学到什么"复盘推进到按任务归类并校正。分类准确性、团队采用率与对支出决策的影响尚未量化。
Open questions
- 账本字段的最小可用集在 Jean 的真实工作流上需要多少人工维护成本?
- 统一缓存 key 改造在不混淆用户权限的前提下能否在本地 harness 复现 74% 降幅?
- 跨 harness 用途分类能否改善成本决策,还是只增加记录负担?
Related
Verification
- 2026-10-26:Jean 批量确认,晋升
human_verified/judgment_owner: mixed。 - 原建议转为后续实验:为三个真实任务建立标准账本行(含缓存命中、路由、返工、接受结果),并抽查一个重复工作流的缓存 key 稳定性。