Token Optimization Economics — 压缩与需求的博弈
Token 成本优化正在从工程师的 side project 变成 CFO 的议程。但优化本身正在重塑 AI 行业的经济模型。
心智模型
AI spend = 用户数 × 每用户任务数 × 每任务 token 数 × 混合 $/token
前半部分(用户和任务)几乎肯定会继续高速增长。Claude Code 的采用曲线比同期 Cursor 更陡峭。张力在第二部分:tokens/task 和 $/token。
三个优化杠杆
杠杆 1:同样的工作,更便宜的 token(↓ $/token)
- 模型路由: trivial 任务送 Haiku,复杂推理保留 Opus → 可削减 60-80% 花费
- 批量折扣:$1M+ 账户的 table stakes
- 开源模型替代商品任务:自托管 Llama/Qwen 做 boilerplate → 零 per-token 成本,换 GPU capex
- 最简单的策略:等待 —— token 价格约每 18 个月下降 10 倍
杠杆 2:同样的工作,更少的 token(↓ tokens/task)
- Prompt caching:重复系统提示词缓存,读取成本为输入价格的 10%
- 上下文窗口管理:总结历史而非重发完整对话,剪枝无关文件
- Thinking budget tuning:简单 completion 限制思考 token,难题放开
- Prompt engineering:"return only the diff" vs "explain your changes"
- Response caching:50 个工程师问 "how do I set up X" → 缓存,零边际 token
- Agent loop pruning:多数 agent 浪费 50-70% token 在冗余工具调用、重试和无意义子 agent 生成上
杠杆 3:停止不必要的工作(↓ 任务数)
谁在优化什么
| 层级 | 优化目标 |
|---|---|
| 基础设施(NVIDIA、AMD、Cerebras、Groq) | tokens/watt、tokens/second、tokens/dollar、TTFT latency |
| 模型提供商(Anthropic、OpenAI、Google) | quality/token、gross margin、task success rate、thinking efficiency |
| 应用层(Cursor、Claude Code、Codex) | cost/task、tokens/task、cache hit rate、routing accuracy |
| 企业买家(Uber 等) | cost/engineer、output/dollar、ROI vs headcount |
每层的收益对周围层产生压力。更快硬件迫使模型提供商降价;更好模型减少应用层所需 token;应用层路由侵蚀 premium 定价;企业 CFO 要求以上全部。
熊 vs 牛
熊 case
- Rationalization 是 CFO 的第一本能:Uber CTO 回顾 AI 预算时,反应不是"great, let's 10x",而是"finally back inside the envelope"。节省流向 bottom line,不回流 token
- 模型路由是收入攻击:从 Opus 路由到 Haiku 提供几乎相同的用户体验,模型提供商每任务收入下降 10-20 倍
- 开源正在缩小差距:一年前"not even close",三个月前"almost there"。一旦 good enough,工作负载迁移到自托管 —— 收入不是缩小,是消失
- Caching 是纯 token 毁灭:cache hit = 零收入。没有新需求产生
- Thinking efficiency 是自食:Anthropic 将 extended thinking 提升 3 倍,同一推理任务计费下降 2/3
牛 case
- 当前使用受成本约束,非需求约束:Uber 超预算后不得不 throttle。成本降 5 倍,所有因预算被杀的用例都会回来
- 渗透率仍是单位数:更便宜 token 不仅意味着现有用户做更多,还意味着新用户和新公司采用
- Agentic workflows 是 token 乘数:human-in-the-loop 对话数千 token,自主 agent 复杂任务数十万 token。优化压缩每一步;agentic 架构乘步骤数
- 新模态是净新需求:视觉、音频、视频 —— token 量 dwarf 文本,不受现有文本优化压力
- Jensen Huang 框架:$500K/年工程师应至少消耗 $250K/年 token。在 $5K 时,你严重 under-leveraging AI
领先指标
与其选边,不如跟踪揭示哪股力量占上风的指标:
- Revenue growth vs token growth:token 仍在爆炸但收入减速?价格压缩获胜
- Frontier model mix:最贵模型的收入份额在缩小?流量向小模型迁移 = 定价权侵蚀
- Expansion patterns:个人用户消耗更多(脆弱、可优化)vs 更多 seat 和工作流(持久、难压缩)
- Net dollar retention:优化压力下 NDR 下降 —— 除非新用例扩展跑赢它
- Gross margin:价格下降快于推理成本 = 利润压缩;推理成本下降快于价格 = 利润维持
- Inference infra 创业:Fireworks、Together、Anyscale 积极融资增长 = 企业从直接 API 转向成本效益 infra,从模型提供商抽走支出
- API 定价节奏:频繁大幅降价 = 竞争压力迫使利润回吐
- OSS benchmark 收敛:每次新 Llama/Qwen,检查 SWE-bench 和 HumanEval 差距。缩小 = 迁移摩擦降低 = 定价权削弱
- Cost-normalized performance:不是谁得分最高,而是每美元性能最多。小模型快速缩小此差距 = 路由激励增强
企业 Token 支出实证(2026-05-20)
来源:AI Agent 时代的工作、算力与组织 — Jason Lemkin, Rory O'Driscoll (20VC)
- Salesforce 年度 token 支出:约 3 亿美元,几乎全部用于 coding;按 2 万名开发者计算,每人每月约 1,200 美元,占总工程师支出的约 4%
- 行业均值:Jason 调查 40 家公司,平均每开发者每月花 1.2–1.3 千美元在 token 上
- Klaviyo AI VP agent 成本:运行一个 AI VP of Marketing + AI VP of Customer Success,两个 agent 加起来每月只需 257 美元
- 万亿 token 收入的门槛:要做到 Anthropic 和 OpenAI 合起来一万亿美元 token 收入,大概需要替代掉全球软件研发工资的 20%
- Salesforce 可能只走了四分之一:要么停在 3 亿美元(TAM 被高估),要么继续往上走,把 token 支出再翻四倍
CapEx 泡沫与第二层软件
Hyperscaler 和模型公司已决定每年花 5,000 亿到 1 万亿美元建设基础设施。其中 50% 给了 Nvidia,10% 给了电力,10% 给了网络。接下来只会发生两种情况之一:要么美国企业界在没有中间软件层的情况下消化价值 1 万亿美元的 token(不可能全部消化),要么第二层软件必须真正开始起作用。
Rory O'Driscoll 提出一个有趣的"救命"机制:审批太慢、数据中心没法按人们想要的速度上线,"可能反而会把我们从自己手里救出来"。如果一万亿美元收入变成五千亿,但你只建成了一半数据中心,那算力仍然相对稀缺。
结论
优化者会赢得每场个别战役。每个缓存技巧、每个路由层、每个修剪的 agent 循环都会有效。每任务成本将大幅下降。
但任务数量、用户数量和委托给 AI 的复杂性增长速度将超过效率压缩支出的速度。
Token 成本在下降。Token 支出在上升。两者都为真,且不矛盾。
2026-08-18 补充:从 token 压缩到 token portfolio
No Priors 节目中的 Sarah 与 Elad 将企业 AI 资源配置进一步表述为 return on invested tokens:当 compute 成为稀缺资源,问题不只是降低每个 token 的价格,而是决定哪些项目和哪些人应该获得超额 token 预算。可衡量的回报包括核心产品进展、毛利改善、生产率提升和学习收益。
节目因此认为“软件即将死亡”的说法过于简单。企业可能从低价值 SaaS 订阅中撤出预算,再将 token 投向核心产品、开源能力或高回报的内部工具。该判断仍是访谈嘉宾的观点,不是独立的企业支出统计。
同一份简报转述 Anthropic Cost Optimization cookbook 的一个案例:任务成本从每次 0.29 美元下降约 90%,且没有降低准确率;建议先改进上下文、调用、路由和验证流程,把 model downgrade 放到最后。它补充了本页的三个杠杆:降低单价只是第一步,减少无效任务和提高每次任务的端到端回报同样重要。
Counterpoints & Gaps
- 该分析偏重 infra 和应用层,对模型提供商内部成本结构(如 Anthropic 的 inference 优化)信息有限
- "等待 18 个月降 10 倍" 的假设基于历史趋势,若供应链受限可能不成立
- 企业 seat 扩张的可持续性取决于 agent 实际产生可衡量 ROI 的能力
Related
- claude-code/token-optimization-toolkit
- Cache TTL Drop (2026-04)
- harness-engineering/model-routing
- outputs/archives/wiki-audit-2026-11-12/one-off/product-trends/enterprise-agent-adoption-2026-04
将预算视为可学习的运行参数,而不是固定政策(2026-08-18)
来源:Every — Our AI Costs Jumped 230 Percent
Every 的 Sol 测试把模型成本从抽象的单价问题变成了运营事件:上线后的前五个完整工作日,日均 credit 使用量从 11,520 上升到 26,685;文章同时记录 7 月 OpenAI credits 支出为 31,300 美元,其中 26,800 美元发生在异常之后。作者没有据此主张固定 token budget,而是采用四个可调整参数:设置断路器、让使用量可见、先用轻量摩擦,并根据证据改变权限和限制。
这补充了本页的核心判断:成本优化不只是降低 $/token 或 tokens/task,也要把“这笔钱买来了什么、学到了什么、下次能否复用”放进同一个反馈回路。一次高成本运行如果交付基础设施并留下可复用方法,不能只按当次账单判断;持续高频但没有相称价值的自动化,则应降低频率或暂停。
这套机制被作者限定在约 30 人、能够承受探索成本且处于前沿试验阶段的公司。更大或受监管的组织可能需要更早采用检查与限制,因此本文不把“暂不设置固定 token budget”推广成普遍政策。
2026-08-30 补充:额度浪费来自编排层
来源:AI Briefing 2026-08-30 Morning
OpenAI 对 Codex 和 ChatGPT Work 付费用户重置额度,并将额度可用性提升归因于一组编排层修复:图像压缩保留旧图片、memory worker 继承 Stop hooks、/goal 停止条件失效、自动化运行频率异常、子代理模型选择不当、历史摘要重复和 MCP 结果重复编码。Tibo 称不同使用方式下额度可延长 10% 到 50%。
这补充了本页的 agent loop pruning 杠杆。Token 成本优化不能只看模型价格、prompt 长度或缓存命中率。目标停止条件、后台 worker、自动化调度、工具结果编码和历史摘要策略都会改变有效产出/额度。对 Jean 的自动化,运行记录应区分真实产出、重试、重复后台工作和无效工具循环。
2026-09-21 补充:长上下文会话的成本陷阱
来源:AI 简报 2026-09-21 Afternoon — @kunchenguid
- 一个未命中缓存的 500K 上下文请求直接超过 $5,订阅额度下也会肉疼
- 最容易踩坑的路径:离开长会话较久后回来,缓存已过期(Claude 默认 1 小时,Codex 默认 30 分钟),此时整个历史重新按全价输入计费
- 反直觉点:回来看到上下文很大,跑
/compact想省钱,compaction 本身就是一次真实全价请求,当场再花 $5 - 正确姿势:离开前先 compact;回来时若上下文已很大,直接开新会话,让 agent 去读上一个会话的 transcript 找上下文
这属于杠杆 2(上下文窗口管理)的操作细则:压缩的时机和缓存 TTL 一样,是成本变量。