AI Cost Governance — 参数与预算机制
What it is
参数与预算机制是 AI Cost Governance 的执行层:把模型花费当作可调参数(断路器、effort 档位、配额、例行预算、高端模型子预算、硬路由),而不是静态年度预算。核心来源是 Every 在 GPT-5.6 Sol 测试导致日用量飙升 230% 后的操作化响应。详见 hub 页的参数而非政策框架。
Why it matters
固定 token 预算双向失败:挡住高价值实验,或被单次失控任务打穿。真正有效的控制点位于执行前形成硬边界(路由层阈值、额度上限、例行任务预算),并配套升级与人工接管路径,而不是依赖提示词里的自我约束。
机制清单
- 断路器,不是天花板:卡片限额 + Slack 告警,触发后由人决定是否继续。
- Effort 档位:先定义验收标准,再用满足标准的最低 effort 执行;日常 subagent 用 medium,困难任务才升档。
- 配额与重置窗口:剩余额度、重置时间进入任务账本,额度变化触发例行任务审计。
- 例行任务预算:为每个 recurring 自动化设 token 上限,同时验证截断后的恢复行为。
- 高端模型子预算:在总预算内按任务复杂度分配 premium 模型额度。
- 硬路由优于提示词:任务类型、文件规模、能力阈值在执行前形成可审计边界。
Evidence across sources
2026-08-17 — Every 断路器框架
来源:Every — Our AI Costs Jumped 230 Percent Sol 测试使 OpenAI 日 credits 从 11,520 升至 26,685(约 230%)。Every 的响应是断路器、全团队可见的用量面板、事后复盘,而非永久上限。这是本页全部机制的原型。
2026-09-01 — Token 浪费是系统工程问题
来源:AI Briefing 2026-09-01 Morning 浪费来自:所有任务路由到最强模型、上下文超过有效长度、默认加载过多工具、多轮轮询、让 agent 无图谱地重新发现仓库上下文。控制层包括模型路由、上下文压缩、prompt caching、工具搜索、per-key 与 per-user 预算。
2026-09-02 — 紧急度是显式成本参数
来源:AI Briefing 2026-09-02 Evening Grok Bot 的 P0 流程每五分钟检查 transcript 并主动 steering,作者明确提醒该模式快速消耗 token,只应留给真正紧急的任务。高频监控、重复 follow-up、长时间运行都应按任务价值和 blast radius 决定是否启用。
2026-09-03 — Effort 档位与缓存命中率
来源:AI Briefing 2026-09-03 Evening Fable 5.1 SVG 测试显示 low/medium/high 输出差异有限,xhigh 和 max 显著增加时间与费用;Prompt Caching 命中率应被监控。规则:先定验收标准,再用最低满足标准的 effort,并记录缓存命中、耗时、成本与结果质量。
2026-09-06 evening — 硬路由比提示词约束可靠
来源:AI Briefing 2026-09-06 Evening Spotify Portal 案例:两个便宜模型处理打开文件、重复代码与样板,昂贵模型只处理新颖推理;超过 350 行的文件直接阻止交给昂贵模型。报告称 Claude Code token 消耗下降 90%,但原始文章与账单未提供,需本地复现;硬路由必须配套失败回退与验收数据。
2026-09-08 morning — 额度与用量反馈
来源:AI Briefing 2026-09-08 Morning Astra 显示剩余用量与重置时间,帮助用户决定是否继续长任务。额度消耗、重置窗口、实际花费和任务是否成功应分开记录;产品方数字需在账户中回读。
2026-09-11 — 周期性 Agent 工作的预算边界
来源:AI Briefing 2026-09-11 Morning Replit 为每个 Routine 设置 token 预算。频率决定调用次数,确定性代码决定可重复部分,单次预算决定失控边界。注意:预算只截断任务而不留可恢复状态时,会把成本风险转化为可靠性风险;token 上限 ≠ 美元上限 ≠ 覆盖工具与审查成本。
2026-09-12 evening — 额度治理触发任务级审计
来源:AI Briefing 2026-09-12 Evening Claude Code 临时额度提升将于 9 月 14 日结束。建议把 /usage 的 24h 与 7 天视图、Prompt cache、effort、/clear、/compact 放入同一审计流程。治理单位是被接受的任务结果,不是单次 token。
2026-09-16 — 预算、等待与权限作为成本单位
来源:Every — You're Probably Sleeping On Computer Use、Ben's Bites — Good luck slowing this down Fable 5.1 约用一半 Opus 5 token,典型工作负载约省 25%、长时自主运行约省 45%(厂商估计)。Bolt Forge 把"最多 50 倍用量"与逐次 opt-in 绑定;SF Autoresearch 允许为每个 agent workspace 设置 token 与美元额度,签发 24 小时有效 token,分别配置数据保留、SSO 与访问边界。更大额度只有在任务有明确停止条件、数据边界和可复用产出时才有意义。
2026-09-17 — 高端模型子预算与任务复杂度挂钩
来源:AI Briefing 2026-09-17 Afternoon Databricks 约 200 人试点 Astra 后推广到约 3,500 名工程师;系统设计与长程工程任务收益明显,中低复杂度任务差异有限,coding 模型支出上升约 60%。响应是模型专属子预算:复杂工作用 Astra,例行任务在总预算内用便宜模型。
2026-09-23 — Effort 档位纳入例行治理
来源:AI Briefing 2026-09-23 Evening Opus 5.5 讨论:日常 subagent 用 medium,困难任务升档,避免硬编码模型 ID。更便宜的模型让实验型工作流可承受更多 token。规则仍是先验收标准、后 effort 选择,并记录成本、耗时、缓存与接受结果。
2026-11-01 — Babysit-runs:低 effort + 批评循环替代极高 effort
来源:AI Builders Digest 2026-11-01(Swyx 推文)
Andrej Karpathy 在 Hackertube 项目上使用 Opus 5.5 的 medium effort。Swyx 由此主张:effort 档位是按任务调节的参数,不是越高越好——类比 tabs vs spaces 之争,属于品味与任务匹配问题。对吞吐量受限的场景,他推荐自己的 babysit-runs 工作流:先用低 effort 生成,再用 critique loop 迭代修正,而不是每次把单次运行推到极高 effort。
这与本页「先验收标准、后 effort 选择」的规则互补:effort 调节的单位可以是一次「生成-批评」循环的总预算,而非单次调用。循环结构的成本核算见 harness-engineering/self-verification-loops。
2026-10-01 — 订阅档位倍数化与 $2/$10 能力锚点
来源:Ben's Bites — OpenAI DevDay 2026 Pro 100/200/500 = 5x/10x/25x。API 侧 GPT-6.1 Sol 与 Gemini 4 Argon 同价对打(输入 $2 / 输出 $10,缓存输入 95% off),GPT-6 Luna 锚 $0.10/$0.50。含义:①档位选择成为显式决策;②Ultrafast 以 6 倍额度换 8 倍速度,是"参数而非政策"的反面诱惑,只对高价值长任务可能成立;③缓存价打到标准输入 5%,重复上下文负载应优先缓存友好档。
2026-10-02 — 订阅成本需用真实工作负载测量
来源:AI Briefing 2026-10-02 Afternoon 可复现方法:刻意消耗不同订阅的周额度,记录每次模型调用,按公开 API 价格换算。把"订阅比 API 便宜"从口号变成可检查的工作负载实验;套餐选择应同时记录任务类型、实际额度、输出质量与接受结果。
2026-10-05 — 预算治理同时限制失控与错误节省
来源:AI Briefing 2026-10-05 Afternoon 为时间、token、工具调用、重试设默认硬上限防失控;同时按模型组合、缓存命中、重置、人工返工与接受结果比较订阅价值。硬预算必须配套升级、人工接管与可恢复重试,否则截断复杂任务。
Open questions
- 硬路由阈值(如 350 行)在哪些任务族上成立,回退率多少?
- 订阅 vs API 的有效成本拐点在什么工作负载上出现?
- 高端模型子预算应多久按 cohort 证据复调一次?
2026-10-08:成本会计——agent 按调用结构计费,人类按标价预期
两个 10-08 信源给出成本治理的会计层结论:
- Ben's Bites 2026-10-08(与 Claude Code 团队聊成本):Anthropic 内部将 agent 成本管理视为「成本会计」(cost accounting)问题。agent 按调用结构计费——每次模型调用的上下文长度、工具循环轮数、checkpoint 频率都有成本;但人类按标价预期成本,两者错位。下一代计费需要任务级可见性。
- Every 2026-10-08(神秘高性能成本):生产级 agent 成本被系统性低估,原因是只看 token 标价忽略调用结构。实战配置经验是成本目标与功能目标必须同时优化。
含义:本页 parameters/budgets 层需补「调用结构画像」维度——不看每次调用多贵,而看任务完成需要多少次调用、每次多长的上下文。
Related
Verification
- 2026-10-26:Jean 批量确认("all pending can go ahead"),晋升
human_verified/judgment_owner: mixed。 - 原建议转为后续实验:按新 $2/$10 锚点重算个人路由表,并为一个 recurring workflow 设置带恢复行为的预算。