Skip to content
Back/Harness Engineering

AI Cost Governance — 参数与预算机制

View in Graph
Updated 2026-11-01
3 min read
528 words

AI Cost Governance — 参数与预算机制

What it is

参数与预算机制是 AI Cost Governance 的执行层:把模型花费当作可调参数(断路器、effort 档位、配额、例行预算、高端模型子预算、硬路由),而不是静态年度预算。核心来源是 Every 在 GPT-5.6 Sol 测试导致日用量飙升 230% 后的操作化响应。详见 hub 页的参数而非政策框架。

Why it matters

固定 token 预算双向失败:挡住高价值实验,或被单次失控任务打穿。真正有效的控制点位于执行前形成硬边界(路由层阈值、额度上限、例行任务预算),并配套升级与人工接管路径,而不是依赖提示词里的自我约束。

机制清单

  • 断路器,不是天花板:卡片限额 + Slack 告警,触发后由人决定是否继续。
  • Effort 档位:先定义验收标准,再用满足标准的最低 effort 执行;日常 subagent 用 medium,困难任务才升档。
  • 配额与重置窗口:剩余额度、重置时间进入任务账本,额度变化触发例行任务审计。
  • 例行任务预算:为每个 recurring 自动化设 token 上限,同时验证截断后的恢复行为。
  • 高端模型子预算:在总预算内按任务复杂度分配 premium 模型额度。
  • 硬路由优于提示词:任务类型、文件规模、能力阈值在执行前形成可审计边界。

Evidence across sources

2026-08-17 — Every 断路器框架

来源:Every — Our AI Costs Jumped 230 Percent Sol 测试使 OpenAI 日 credits 从 11,520 升至 26,685(约 230%)。Every 的响应是断路器、全团队可见的用量面板、事后复盘,而非永久上限。这是本页全部机制的原型。

2026-09-01 — Token 浪费是系统工程问题

来源:AI Briefing 2026-09-01 Morning 浪费来自:所有任务路由到最强模型、上下文超过有效长度、默认加载过多工具、多轮轮询、让 agent 无图谱地重新发现仓库上下文。控制层包括模型路由、上下文压缩、prompt caching、工具搜索、per-key 与 per-user 预算。

2026-09-02 — 紧急度是显式成本参数

来源:AI Briefing 2026-09-02 Evening Grok Bot 的 P0 流程每五分钟检查 transcript 并主动 steering,作者明确提醒该模式快速消耗 token,只应留给真正紧急的任务。高频监控、重复 follow-up、长时间运行都应按任务价值和 blast radius 决定是否启用。

2026-09-03 — Effort 档位与缓存命中率

来源:AI Briefing 2026-09-03 Evening Fable 5.1 SVG 测试显示 low/medium/high 输出差异有限,xhigh 和 max 显著增加时间与费用;Prompt Caching 命中率应被监控。规则:先定验收标准,再用最低满足标准的 effort,并记录缓存命中、耗时、成本与结果质量。

2026-09-06 evening — 硬路由比提示词约束可靠

来源:AI Briefing 2026-09-06 Evening Spotify Portal 案例:两个便宜模型处理打开文件、重复代码与样板,昂贵模型只处理新颖推理;超过 350 行的文件直接阻止交给昂贵模型。报告称 Claude Code token 消耗下降 90%,但原始文章与账单未提供,需本地复现;硬路由必须配套失败回退与验收数据。

2026-09-08 morning — 额度与用量反馈

来源:AI Briefing 2026-09-08 Morning Astra 显示剩余用量与重置时间,帮助用户决定是否继续长任务。额度消耗、重置窗口、实际花费和任务是否成功应分开记录;产品方数字需在账户中回读。

2026-09-11 — 周期性 Agent 工作的预算边界

来源:AI Briefing 2026-09-11 Morning Replit 为每个 Routine 设置 token 预算。频率决定调用次数,确定性代码决定可重复部分,单次预算决定失控边界。注意:预算只截断任务而不留可恢复状态时,会把成本风险转化为可靠性风险;token 上限 ≠ 美元上限 ≠ 覆盖工具与审查成本。

2026-09-12 evening — 额度治理触发任务级审计

来源:AI Briefing 2026-09-12 Evening Claude Code 临时额度提升将于 9 月 14 日结束。建议把 /usage 的 24h 与 7 天视图、Prompt cache、effort、/clear、/compact 放入同一审计流程。治理单位是被接受的任务结果,不是单次 token。

2026-09-16 — 预算、等待与权限作为成本单位

来源:Every — You're Probably Sleeping On Computer Use、Ben's Bites — Good luck slowing this down Fable 5.1 约用一半 Opus 5 token,典型工作负载约省 25%、长时自主运行约省 45%(厂商估计)。Bolt Forge 把"最多 50 倍用量"与逐次 opt-in 绑定;SF Autoresearch 允许为每个 agent workspace 设置 token 与美元额度,签发 24 小时有效 token,分别配置数据保留、SSO 与访问边界。更大额度只有在任务有明确停止条件、数据边界和可复用产出时才有意义。

2026-09-17 — 高端模型子预算与任务复杂度挂钩

来源:AI Briefing 2026-09-17 Afternoon Databricks 约 200 人试点 Astra 后推广到约 3,500 名工程师;系统设计与长程工程任务收益明显,中低复杂度任务差异有限,coding 模型支出上升约 60%。响应是模型专属子预算:复杂工作用 Astra,例行任务在总预算内用便宜模型。

2026-09-23 — Effort 档位纳入例行治理

来源:AI Briefing 2026-09-23 Evening Opus 5.5 讨论:日常 subagent 用 medium,困难任务升档,避免硬编码模型 ID。更便宜的模型让实验型工作流可承受更多 token。规则仍是先验收标准、后 effort 选择,并记录成本、耗时、缓存与接受结果。

2026-11-01 — Babysit-runs:低 effort + 批评循环替代极高 effort

来源:AI Builders Digest 2026-11-01(Swyx 推文)

Andrej Karpathy 在 Hackertube 项目上使用 Opus 5.5 的 medium effort。Swyx 由此主张:effort 档位是按任务调节的参数,不是越高越好——类比 tabs vs spaces 之争,属于品味与任务匹配问题。对吞吐量受限的场景,他推荐自己的 babysit-runs 工作流:先用低 effort 生成,再用 critique loop 迭代修正,而不是每次把单次运行推到极高 effort。

这与本页「先验收标准、后 effort 选择」的规则互补:effort 调节的单位可以是一次「生成-批评」循环的总预算,而非单次调用。循环结构的成本核算见 harness-engineering/self-verification-loops。

2026-10-01 — 订阅档位倍数化与 $2/$10 能力锚点

来源:Ben's Bites — OpenAI DevDay 2026 Pro 100/200/500 = 5x/10x/25x。API 侧 GPT-6.1 Sol 与 Gemini 4 Argon 同价对打(输入 $2 / 输出 $10,缓存输入 95% off),GPT-6 Luna 锚 $0.10/$0.50。含义:①档位选择成为显式决策;②Ultrafast 以 6 倍额度换 8 倍速度,是"参数而非政策"的反面诱惑,只对高价值长任务可能成立;③缓存价打到标准输入 5%,重复上下文负载应优先缓存友好档。

2026-10-02 — 订阅成本需用真实工作负载测量

来源:AI Briefing 2026-10-02 Afternoon 可复现方法:刻意消耗不同订阅的周额度,记录每次模型调用,按公开 API 价格换算。把"订阅比 API 便宜"从口号变成可检查的工作负载实验;套餐选择应同时记录任务类型、实际额度、输出质量与接受结果。

2026-10-05 — 预算治理同时限制失控与错误节省

来源:AI Briefing 2026-10-05 Afternoon 为时间、token、工具调用、重试设默认硬上限防失控;同时按模型组合、缓存命中、重置、人工返工与接受结果比较订阅价值。硬预算必须配套升级、人工接管与可恢复重试,否则截断复杂任务。

Open questions

  • 硬路由阈值(如 350 行)在哪些任务族上成立,回退率多少?
  • 订阅 vs API 的有效成本拐点在什么工作负载上出现?
  • 高端模型子预算应多久按 cohort 证据复调一次?

2026-10-08:成本会计——agent 按调用结构计费,人类按标价预期

两个 10-08 信源给出成本治理的会计层结论:

  • Ben's Bites 2026-10-08(与 Claude Code 团队聊成本):Anthropic 内部将 agent 成本管理视为「成本会计」(cost accounting)问题。agent 按调用结构计费——每次模型调用的上下文长度、工具循环轮数、checkpoint 频率都有成本;但人类按标价预期成本,两者错位。下一代计费需要任务级可见性。
  • Every 2026-10-08(神秘高性能成本):生产级 agent 成本被系统性低估,原因是只看 token 标价忽略调用结构。实战配置经验是成本目标与功能目标必须同时优化。

含义:本页 parameters/budgets 层需补「调用结构画像」维度——不看每次调用多贵,而看任务完成需要多少次调用、每次多长的上下文。

Verification

  • 2026-10-26:Jean 批量确认("all pending can go ahead"),晋升 human_verified/judgment_owner: mixed。
  • 原建议转为后续实验:按新 $2/$10 锚点重算个人路由表,并为一个 recurring workflow 设置带恢复行为的预算。

Sources

Synthesized from 18 sources
  • Every — Our AI Costs Jumped 230 PercentSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-01 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-02 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-03 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-06 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-08 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-11 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-12 EveningSupporting source listed by this page.Whole pagemediumbody
  • Every — You're Probably Sleeping On Computer UseSupporting source listed by this page.Whole pagemediumbody
  • Ben's Bites — Good luck slowing this downSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-17 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-23 EveningSupporting source listed by this page.Whole pagemediumbody
  • Ben's Bites — OpenAI DevDay 2026Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-10-02 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-10-05 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • 2026-10-08 Text is so 2023Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-08 Building a More Efficient AgentSupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-11-01Supporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 18 sources.

    From Every — Our AI Costs Jumped 230 Percent, AI Briefing 2026-09-01 Morning, AI Briefing 2026-09-02 Evening, AI Briefing 2026-09-03 Evening, AI Briefing 2026-09-06 EveningTo AI Cost Governance — 参数与预算机制
    Sources: raw/newsletters/Every/2026-08-17 Our AI Costs Jumped 230 Percent I’m Not Setting Token Budgets Yet.md · raw/briefing/AI Briefing/2026-09-01-08-09.md · raw/briefing/AI Briefing/2026-09-02-00-34.md · raw/briefing/AI Briefing/2026-09-03-02-03.md · raw/briefing/AI Briefing/2026-09-06-23-01.md · raw/briefing/AI Briefing/2026-09-08-08-14.md · raw/briefing/AI Briefing/2026-09-11-08-05.md · raw/briefing/AI Briefing/2026-09-12-23-00.md · raw/newsletters/Every/2026-09-16 You're Probably Sleeping On Computer Use.md · raw/newsletters/Ben's Bites/2026-09-16 Good luck slowing this down.md · raw/briefing/AI Briefing/2026-09-17-22-03.md · raw/briefing/AI Briefing/2026-09-23-22-58.md · raw/newsletters/Ben's Bites/2026-10-01 OpenAI DevDay 2026.md · raw/briefing/AI Briefing/2026-10-02-17-45.md · raw/briefing/AI Briefing/2026-10-05-17-45.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Ben's Bites/2026-10-08 Text is so 2023.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Every/2026-10-08 Building a More Efficient Agent.md · raw/briefing/AI Builders Digest/2026-11-01.md

Linked from