Model Routing Economics — 成本与任务经济学
路由的经济学依据:单位任务成本、成本上限与真实基准数据。本页是 Model Routing 的子页;决策框架见 Model Routing Strategies,实现与运维见 Model Routing Operations。
What it is
路由的经济目标是让每一分钱花在特定任务最高效的 token 上。核心原则是 Put Opus where the thinking happens:生成环节用最强模型保证质量,验证环节用足够好的模型判断对错。
Why it matters
企业级 token 成本正成为热门话题且使用规模超出预期(Aaron Levie, Box CEO):路由能力将从成本优化工具升级为产品竞争力来源。同时生产路由比理论困难——质量/成本权衡没有通用公式,需要针对产品特定任务持续基准测试,而非依赖公开 leaderboard;企业演进路径是 2024 默认 GPT → 2025 初过度优化最小/最便宜模型,但评估体系尚未成熟(Madhu Guru, 2026-06-07, AI 简报 2026-06-07 Evening)。
Evidence across sources
核心经济数据
- Cheap Verifier Pattern(Harvey/LangChain, 2026-06-03, [[raw/newsletters/AINews/2026-06-03 [AINews] Microsoft Build MAI-Thinking-1 and MAI Family models.md|AINews 2026-06-03]]):DeepSeek V4 Flash 验证器对比 Opus 4.7 生成结果,一致性 94–96%;逐标准模式成本降低 18 倍,批处理模式降低约 1000 倍;3,200 次 RL rollout 验证成本从 $18,000 降至 $18。生成是思考,验证是检查。
- Harvey 混合 agent 基准(2026-06-04, 同来源):GLM 5.1 主力 + Opus 4.7 顾问在 all-pass 率上击败纯 Opus(18% vs 14%),成本 $368 vs $954(100 任务);SFT 可将 Kimi 2.6 从 11% 提升到 15%,以约 11 倍更低成本击败 Opus。路由 + 后训练开放模型通常在成本/速度/控制上获胜(@ClementDelangue)。
企业成本治理
- 硬性成本上限(2026-06-04, 同来源):Uber reportedly 将编码 Agent 支出上限设为每位员工每月每工具 $1,500(@simonw);LangChain 框定为 LangSmith Gateway 用例;@Yuchenj_UW 提出三方选择——让所有人 "tokenmaxx"、设定预算上限,或裁员并将支出重新分配给最高效的 AI 赋能工作者。
- Token governance(2026-09-01 Afternoon, AI Briefing 2026-09-01 Afternoon):Guillermo Rauch 将 coding tokens 类比为基础设施预算:企业不会给所有人无限制 AWS key,却常类似地开放 AI token;AI Gateway 的 per-key/per-user budget 说明路由正从"选哪个模型更便宜"升级为"谁、在什么任务、以什么预算消耗 token"的治理问题。Claude 20x 争议也提示:配额表达只写营销倍数而不写窗口、周上限和 reset cadence,会削弱用户对工具经济性的判断。Qwen3.8-Flash 的架构效率(125B backbone、每 token 激活 6B)提示低成本模型可能靠架构效率进入候选集——但这类报告应进入 eval 待测清单,而不是直接变成信任配置。
单位任务经济学
- cost per task / time per task(2026-09-03 Afternoon, AI Briefing 2026-09-03 Afternoon):Nick Baumann 认为给足 test-time compute 后许多模型都能产出强结果,因此
cost per task和time per task应成为主要指标;trq212 补充低 effort 适合验证需求低的任务——如果切换 effort 不再破坏 prompt cache,router 可以把 effort level 当作任务参数。 - outcome cost / dollars-per-fix(2026-09-04 Evening, AI Briefing 2026-09-04 Evening;2026-09-06 Morning, AI Briefing 2026-09-06 Morning):Pawel Huryn 105 hidden bug 测试把路由评价从模型分数扩展到每个已验证修复的成本。路由表至少需记录任务完成率、漏失类型、成本和人工复核结果;多模型策略应以失败类型和切换成本为条件,而不是把模型数量本身当收益。
- 缓存价格 vs 任务成本(2026-09-05 Evening, AI Briefing 2026-09-05 Evening):Teknium 质疑 Astra 的 token 效率能否抵消相较 Fable 5.1 高约 8 倍的缓存读取价格;nicbstme 给出对应视角:若 Astra 用显著更少 token 得到正确结果,更高单 token 价格仍可能对应更低单任务成本。路由表不能只记 token 单价,必须同时记输入、输出和缓存读取三类价格。dotey 建议按完成任务成本和返工量比较模型,并在接受视觉结果前加一次浏览器或 Computer Use 验证;Kieran Klaassen 补充信任维度:Astra 展示性强,但日常工程可信度还不如 Fable。
- intelligence per dollar(2026-09-07 Morning, AI Briefing 2026-09-07 Morning):Yuchenj_UW 认为每美元可购买的有效推理正在快速增加;但低价和高能力不等于可以直接成为主力模型——"每美元智能量"如果不绑定成功任务、延迟、返工和最终验收,可能只是价格宣传指标。
- 总成本视角(Ben's Bites 2026-09-09, Ben's Bites 2026-09-09):Kimi K3 单 token 价格约为 GPT-5.6-Sol 的一半,但 token 消耗约为两倍,单价优势可能被总 token 抵消。Ramp Router 宣称平均降本 40%(Ramp 内部 30%)。Cursor 的 SQLite 实验:Opus 4.8 planner + Composer 2.5 worker 与全程单模型质量接近,但成本差异很大——路由记录应是"角色 + 任务类型 + 接受结果 + 成本 + 返工"。
- 通过率与成本(2026-09-10 Evening, AI Briefing 2026-09-10 Evening):Pawel 的 105 bug 比较:DeepSeek V4.1 Flash 修复 24 个($1.80),Opus 5 max 与 Grok 4.6 max 各 27 个($51.33 / $16.96)。价格性能可作为候选路由信号,但不支持脱离任务集宣布通用优胜者。
- Luna 与 kimi 的性价比警告(2026-11-15 Evening, AI Briefing 2026-11-15 Evening):Teknium 建议 Luna 用户直接换 DeepSeek Flash 或 Terra,理由是同价但准确率明显更高,Luna 想得更多、试得更多、失败也更多;他并称 kimi 的成本接近 Opus 5.5 而准确率甚至低于 DeepSeek Flash。单方经验帖、未附基准数据,按本页惯例进入待测池而不是直接改路由表。
真实仓库基准数据点
-
GLM-5.3-Flash(2026-08-26 Evening, AI 简报 2026-08-26 Evening):即 Ox Alpha,6 天处理超 20 万亿 token;混合稀疏 + 线性注意力、1M 上下文、131K 最大输出;首发定价输入 $0.075/M、输出 $0.25/M——为高效编码和长程 agent 任务增加高性价比候选。
-
GLM-5.3 Flash price-quality follow-up(2026-08-28 Afternoon, AI Briefing 2026-08-28 Afternoon):105 planted bugs 上 GLM-5.3 Flash 修复 13,Gemini 3.7 Flash 18,DeepSeek V4-Flash 14,Opus 4.8 为 9;且在该测试中比三者都便宜。启示:原始解决数低于顶级但成本低得多的模型仍可能接近 Pareto 前沿——便宜模型应先用于广度扫描、回归清扫和第一轮 bug 发现,而不是被信任做最终判断。
-
OpenCode Go 经济性(2026-08-29 Evening, AI Briefing 2026-08-29 Evening):OpenCode Go 作者表示目标是让更多人使用 Agent 并尽量不亏钱;另一条时间线展示 Codex/Luna 调度 + ChatGPT 重推理 + Codex 修改测试的多模型分工。路由还要处理配额、访问连续性、上下文传递和最终验证。
-
Fable 5.1 / Qwen3.8-Max(2026-09-02 Morning, AI Briefing 2026-09-02 Morning):Fable 5.1 在 Bug Hunt Bench 解决 43/105(社区观察建议低验证需求任务用 lower effort、关注 prompt cache);Qwen3.8-Max-0902 宣称 2.4T 参数、1M 上下文、CodeArena WebDev Pareto frontier。两者都应先进待测池,用真实任务小范围验证,而不是凭 leaderboard 进入默认配置。
-
effort、成本与额度(2026-09-03 Morning, AI Briefing 2026-09-03 Morning):Simon Willison 的 Fable 5.1 SVG 案例给出约 $3.30 单次产物成本;Muse Spark 1.3 宣称工具调用减少约 20%、token 减少约 25%;Pawel 的测试显示仍有 43 个问题没被任何受测模型修复。路由不应只按能力排序,还应同时看任务所需 effort、token/工具成本、供应商和额度可用性,以及跨模型家族的失败差异。
-
Astra 数据点(2026-09-05 Afternoon, AI Briefing 2026-09-05 Afternoon):Pawel 报告 Astra 修复 48/105,高于 Fable 5.1 的 43;Aaron Levie 表示 Box 在企业复杂知识工作评测中把 Astra 评为最高模型。这些材料不应把 Astra 直接提升为默认模型,但说明路由表需单独记录 Computer Use 任务、企业知识工作、真实 repo 修复、UI 细节敏感任务和单位已验收结果成本。
-
Harvey PMF 案例(Next Token Weekly #004, 2026-10-09, Next Token Weekly #004):Harvey 此前每收用户 1 美元需向模型公司付 1.5 美元;基于 Kimi K3 训练自有模型后毛利率首次转正。杨攀的判断:只有做到 Harvey 水平(已统治细分市场、商业闭环稳定)才接得住开源模型替换;多数公司 PMF 未稳就换模型,反而会因不用前沿模型被竞争对手打死。
-
Fable 5.2 effort、成本与耗时(2026-11-10 Evening, AI Briefing 2026-11-10 Evening):Paweł Huryn 报告 low / medium / high / xhigh / max 的分数分别为 41 / 41.5 / 43 / 49 / 58,成本为 $24.32 / $26.55 / $46.67 / $61.01 / $139.65,耗时为 19 / 20 / 40 / 57 / 143 分钟;max 与 xhigh 各 n=3,其余档位各 n=2。作者称 medium 与 Opus 5.5 max 接近,但该小样本报告不能确定通用排名。模型选择应在固定任务集上比较已验收结果、总成本与耗时。
Open questions
- DeepSeek V4 Flash 验证器 94–96% 一致性是否在所有领域成立,还是仅在法律这种结构化场景有效?
- Uber 上限、Ramp 40% 降本、Muse 节省比例均为单方宣称,需要按真实任务集验证。
- Astra 8 倍缓存读取价格来自单条时间线提问,未附完整价目对比;单任务成本优势需要在固定任务集上复现。
- 多数基准来自单一 builder 的 2 仓库 105 bug 测试,不能推广到所有代码库或模型版本。
Related
- harness-engineering/model-routing — 父页 hub
- harness-engineering/model-routing-strategies — 决策框架
- harness-engineering/model-routing-operations — 实现与运维细节
- harness-engineering/personal-ai-benchmark — owned evals 的操作层
- product-trends/token-optimization-economics — token 成本结构
Pending Jean review
- harness-engineering/model-routing-economics —
ai_draft;建议在一个固定任务集上复现 dollars-per-fix 对比后再提升。
2026-10:先查浪费再谈路由
来源:Every 2026-10-08、AINews 2026-10-08
便宜模型当 coordinator 的方案有隐性成本:coordinator 要先读请求、判难度,再可能转交昂贵模型;只要路由判断不准、或多数任务最终仍调用 Opus,协调步骤就是纯额外成本与延迟。Every 的结论:路由器必须与直接调用做端到端任务成本对照,不能只按单次调用价格推断。落地顺序是先查浪费再谈路由——Every 的四步效率工作流(先让 Agent 解释系统再提修改、提出多种修复候选、一次只改一个变量并对比修改前后、追踪剩余成本)即把"先测量、再优化"制度化。
评测口径上按任务而非 token 单价:Haiku 5.5 案例显示,最高 effort 下每项 Intelligence Index 任务约输出 162K token(约为 Luna max 的三倍),prompt 跨过 100K 后单价再升五倍,"单 token 更便宜"不必然等于"单任务更便宜";AA 尚未把阶梯价格纳入成本模型,cost-per-task 仍是待补数据。路由表因此应同时记录 prompt 长度、effort 档位、阶梯价阈值和任务级成本。同日的 Jev Router 反面数据点:4,700 多次 Agent Arena session 中未改善 Pareto frontier,成本反比直接调用 DeepSeek V4.1 Flash Max 高 38%——路由器和决策模型必须用端到端成本、延迟与成功率评测,不能只看分类准确率或厂商 benchmark。综合两条来源,路由的评测、验证与治理正在沉淀为独立的工程实践,与 context engineering 的学科化同向。
2026-10-29:模型更新频率与任务经济性
来源:Every — Every Model Has a Six-month Shelf Life Now。
- Anthropic 的 S-1 被 Every 解读为:截至 2026-09-30 前六个月发布的模型贡献第三季度收入 80% 以上,超过六个月的模型低于 20%。这是模型提供方的收入结构,不等于模型对终端用户任务的质量、成功率或成本结构。
- Anthropic 称新版本可让单任务成本下降约 25%–45%。该数字是公司主张;同一期 Every 建议用个人困难任务验证新模型,并记录质量、返工和费用。对路由而言,比较对象应是“已验收任务成本”,而不是模型年龄、token 单价或模型榜单。
- Evan Armstrong 的 S-1 解读强调长周期算力合约和可随使用量变化的收入之间存在期限错配,并把模型研发投入视为会快速折旧的成本。此为公司层面的财务分析,可提醒下游团队关注模型供应、版本更新与成本,但不能直接推导某个模型该何时退役。
Counterpoints & Gaps
- 收入按模型发布时间分组的公司数据,不能代替对自身任务的模型评测。
- 25%–45% 单任务降本是供应商主张;不同任务、Harness、effort 与 token 使用量可能改变实际节省。
- 2028 年算力承诺等数字属于对披露内容的估算,不是已实现支出。
2026-11-01: Higher effort is not reliably better
来源:Every — Agents Choose What You Read Now,转述 Kaiser Sun 等人的研究 arXiv:2610.34491。
研究比较专有模型与开放权重模型在四个基准上的不同 reasoning-effort 设置,覆盖单次推理和长程 Agent 任务。提高 effort 可改善总体准确率,但并不保证保留低 effort 已完成的单项任务;在所有档位均能完成的简单任务中,最高档成本最高可达最低档的 42 倍。较高 effort 也会改变解题路径并增加 token 与轨迹长度,不一定改变任务结果。
论文摘要报告的策略是从最低 effort 开始,只在验证失败后升级。在该研究覆盖的模型与基准上,这种策略以较低成本匹配或超过固定最高 effort。路由系统因此可将 effort 作为任务参数,并用经过验证的失败作为升级信号;不能把最高 effort 当作普遍的质量保证。
Counterpoints & Gaps
- 本页引用的是 newsletter 对 arXiv 论文的转述;具体基准结果与任务分布仍应以论文全文为准。
- 研究结论不等于此处工具链上的实测。生产使用前应在代表性任务集上同时记录成功率、失败类型、成本与延迟。
Sources (addendum)
Pending Jean review (addendum)
- harness-engineering/model-routing-economics — ai_draft; 在固定任务集比较低 effort 起步与固定高 effort,记录经验证的结果、升级率、总成本和延迟。
2026-11-10:Fable 5.2 的配额结构与任务形状
来源:AI Builders Digest 2026-11-10,转述自 @bcherny 与 @danshipper 的 X 帖子。
- 配额结构(Boris Cherny, Anthropic):Fable 5.2 订阅用户按套餐与订阅时长获得使用重置次数——Pro 一次,Max、Ultra 与 Team Premium 最多三次,具体次数取决于订阅年限。这是配额表达从"营销倍数"走向"按套餐和 tenure 分档的 reset cadence"的具体样本,与本页 2026-09-01 的配额治理判断相互印证:路由与成本模型需要记录 reset 规则,而不只是标价。
- 任务形状(Dan Shipper, Every):Fable 5.2 首日体验报告——三天做出定制视频编辑器、把孩子的玩具变成赛车游戏、把研究访谈剪成纪录片。他的判断是模型适合目标明确、可以连续运行数小时的大任务,但速度慢、消耗 token 多;日常写作或快速编程他会选别的模型。这与本页已收录的 effort/成本小样本(2026-11-10 Evening)方向一致:Fable 5.2 的比较优势在大任务形状,不在交互式小任务。
Counterpoints & Gaps
- 重置政策是官方口径,实际到账次数与重置窗口未独立验证。
- Shipper 的体验是单日发布日的个案,"慢且费 token"缺少与其他模型在同一任务集上的对照数据。
Sources (addendum)
Pending Jean review (addendum)
- harness-engineering/model-routing-economics — ai_draft; 把 Fable 5.2 的 reset cadence 与任务形状写进个人路由表,用同一个大任务和一个小任务各跑一次对照。