Skip to content
Back/Product Trends

Token Optimization Economics — 压缩与需求的博弈

View in Graph
Updated 2026-09-21
3 min read
677 words

Token Optimization Economics — 压缩与需求的博弈

Token 成本优化正在从工程师的 side project 变成 CFO 的议程。但优化本身正在重塑 AI 行业的经济模型。

心智模型

AI spend = 用户数 × 每用户任务数 × 每任务 token 数 × 混合 $/token

前半部分(用户和任务)几乎肯定会继续高速增长。Claude Code 的采用曲线比同期 Cursor 更陡峭。张力在第二部分:tokens/task 和 $/token。

三个优化杠杆

杠杆 1:同样的工作,更便宜的 token(↓ $/token)

  • 模型路由: trivial 任务送 Haiku,复杂推理保留 Opus → 可削减 60-80% 花费
  • 批量折扣:$1M+ 账户的 table stakes
  • 开源模型替代商品任务:自托管 Llama/Qwen 做 boilerplate → 零 per-token 成本,换 GPU capex
  • 最简单的策略:等待 —— token 价格约每 18 个月下降 10 倍

杠杆 2:同样的工作,更少的 token(↓ tokens/task)

  • Prompt caching:重复系统提示词缓存,读取成本为输入价格的 10%
  • 上下文窗口管理:总结历史而非重发完整对话,剪枝无关文件
  • Thinking budget tuning:简单 completion 限制思考 token,难题放开
  • Prompt engineering:"return only the diff" vs "explain your changes"
  • Response caching:50 个工程师问 "how do I set up X" → 缓存,零边际 token
  • Agent loop pruning:多数 agent 浪费 50-70% token 在冗余工具调用、重试和无意义子 agent 生成上

杠杆 3:停止不必要的工作(↓ 任务数)

谁在优化什么

层级 优化目标
基础设施(NVIDIA、AMD、Cerebras、Groq) tokens/watt、tokens/second、tokens/dollar、TTFT latency
模型提供商(Anthropic、OpenAI、Google) quality/token、gross margin、task success rate、thinking efficiency
应用层(Cursor、Claude Code、Codex) cost/task、tokens/task、cache hit rate、routing accuracy
企业买家(Uber 等) cost/engineer、output/dollar、ROI vs headcount

每层的收益对周围层产生压力。更快硬件迫使模型提供商降价;更好模型减少应用层所需 token;应用层路由侵蚀 premium 定价;企业 CFO 要求以上全部。

熊 vs 牛

熊 case

  • Rationalization 是 CFO 的第一本能:Uber CTO 回顾 AI 预算时,反应不是"great, let's 10x",而是"finally back inside the envelope"。节省流向 bottom line,不回流 token
  • 模型路由是收入攻击:从 Opus 路由到 Haiku 提供几乎相同的用户体验,模型提供商每任务收入下降 10-20 倍
  • 开源正在缩小差距:一年前"not even close",三个月前"almost there"。一旦 good enough,工作负载迁移到自托管 —— 收入不是缩小,是消失
  • Caching 是纯 token 毁灭:cache hit = 零收入。没有新需求产生
  • Thinking efficiency 是自食:Anthropic 将 extended thinking 提升 3 倍,同一推理任务计费下降 2/3

牛 case

  • 当前使用受成本约束,非需求约束:Uber 超预算后不得不 throttle。成本降 5 倍,所有因预算被杀的用例都会回来
  • 渗透率仍是单位数:更便宜 token 不仅意味着现有用户做更多,还意味着新用户和新公司采用
  • Agentic workflows 是 token 乘数:human-in-the-loop 对话数千 token,自主 agent 复杂任务数十万 token。优化压缩每一步;agentic 架构乘步骤数
  • 新模态是净新需求:视觉、音频、视频 —— token 量 dwarf 文本,不受现有文本优化压力
  • Jensen Huang 框架:$500K/年工程师应至少消耗 $250K/年 token。在 $5K 时,你严重 under-leveraging AI

领先指标

与其选边,不如跟踪揭示哪股力量占上风的指标:

  1. Revenue growth vs token growth:token 仍在爆炸但收入减速?价格压缩获胜
  2. Frontier model mix:最贵模型的收入份额在缩小?流量向小模型迁移 = 定价权侵蚀
  3. Expansion patterns:个人用户消耗更多(脆弱、可优化)vs 更多 seat 和工作流(持久、难压缩)
  4. Net dollar retention:优化压力下 NDR 下降 —— 除非新用例扩展跑赢它
  5. Gross margin:价格下降快于推理成本 = 利润压缩;推理成本下降快于价格 = 利润维持
  6. Inference infra 创业:Fireworks、Together、Anyscale 积极融资增长 = 企业从直接 API 转向成本效益 infra,从模型提供商抽走支出
  7. API 定价节奏:频繁大幅降价 = 竞争压力迫使利润回吐
  8. OSS benchmark 收敛:每次新 Llama/Qwen,检查 SWE-bench 和 HumanEval 差距。缩小 = 迁移摩擦降低 = 定价权削弱
  9. Cost-normalized performance:不是谁得分最高,而是每美元性能最多。小模型快速缩小此差距 = 路由激励增强

企业 Token 支出实证(2026-05-20)

来源:AI Agent 时代的工作、算力与组织 — Jason Lemkin, Rory O'Driscoll (20VC)

  • Salesforce 年度 token 支出:约 3 亿美元,几乎全部用于 coding;按 2 万名开发者计算,每人每月约 1,200 美元,占总工程师支出的约 4%
  • 行业均值:Jason 调查 40 家公司,平均每开发者每月花 1.2–1.3 千美元在 token 上
  • Klaviyo AI VP agent 成本:运行一个 AI VP of Marketing + AI VP of Customer Success,两个 agent 加起来每月只需 257 美元
  • 万亿 token 收入的门槛:要做到 Anthropic 和 OpenAI 合起来一万亿美元 token 收入,大概需要替代掉全球软件研发工资的 20%
  • Salesforce 可能只走了四分之一:要么停在 3 亿美元(TAM 被高估),要么继续往上走,把 token 支出再翻四倍

CapEx 泡沫与第二层软件

Hyperscaler 和模型公司已决定每年花 5,000 亿到 1 万亿美元建设基础设施。其中 50% 给了 Nvidia,10% 给了电力,10% 给了网络。接下来只会发生两种情况之一:要么美国企业界在没有中间软件层的情况下消化价值 1 万亿美元的 token(不可能全部消化),要么第二层软件必须真正开始起作用。

Rory O'Driscoll 提出一个有趣的"救命"机制:审批太慢、数据中心没法按人们想要的速度上线,"可能反而会把我们从自己手里救出来"。如果一万亿美元收入变成五千亿,但你只建成了一半数据中心,那算力仍然相对稀缺。

结论

优化者会赢得每场个别战役。每个缓存技巧、每个路由层、每个修剪的 agent 循环都会有效。每任务成本将大幅下降。

但任务数量、用户数量和委托给 AI 的复杂性增长速度将超过效率压缩支出的速度。

Token 成本在下降。Token 支出在上升。两者都为真,且不矛盾。

2026-08-18 补充:从 token 压缩到 token portfolio

来源:AI 简报 2026-08-18 Afternoon

No Priors 节目中的 Sarah 与 Elad 将企业 AI 资源配置进一步表述为 return on invested tokens:当 compute 成为稀缺资源,问题不只是降低每个 token 的价格,而是决定哪些项目和哪些人应该获得超额 token 预算。可衡量的回报包括核心产品进展、毛利改善、生产率提升和学习收益。

节目因此认为“软件即将死亡”的说法过于简单。企业可能从低价值 SaaS 订阅中撤出预算,再将 token 投向核心产品、开源能力或高回报的内部工具。该判断仍是访谈嘉宾的观点,不是独立的企业支出统计。

同一份简报转述 Anthropic Cost Optimization cookbook 的一个案例:任务成本从每次 0.29 美元下降约 90%,且没有降低准确率;建议先改进上下文、调用、路由和验证流程,把 model downgrade 放到最后。它补充了本页的三个杠杆:降低单价只是第一步,减少无效任务和提高每次任务的端到端回报同样重要。

Counterpoints & Gaps

  • 该分析偏重 infra 和应用层,对模型提供商内部成本结构(如 Anthropic 的 inference 优化)信息有限
  • "等待 18 个月降 10 倍" 的假设基于历史趋势,若供应链受限可能不成立
  • 企业 seat 扩张的可持续性取决于 agent 实际产生可衡量 ROI 的能力

将预算视为可学习的运行参数,而不是固定政策(2026-08-18)

来源:Every — Our AI Costs Jumped 230 Percent

Every 的 Sol 测试把模型成本从抽象的单价问题变成了运营事件:上线后的前五个完整工作日,日均 credit 使用量从 11,520 上升到 26,685;文章同时记录 7 月 OpenAI credits 支出为 31,300 美元,其中 26,800 美元发生在异常之后。作者没有据此主张固定 token budget,而是采用四个可调整参数:设置断路器、让使用量可见、先用轻量摩擦,并根据证据改变权限和限制。

这补充了本页的核心判断:成本优化不只是降低 $/token 或 tokens/task,也要把“这笔钱买来了什么、学到了什么、下次能否复用”放进同一个反馈回路。一次高成本运行如果交付基础设施并留下可复用方法,不能只按当次账单判断;持续高频但没有相称价值的自动化,则应降低频率或暂停。

这套机制被作者限定在约 30 人、能够承受探索成本且处于前沿试验阶段的公司。更大或受监管的组织可能需要更早采用检查与限制,因此本文不把“暂不设置固定 token budget”推广成普遍政策。

2026-08-30 补充:额度浪费来自编排层

来源:AI Briefing 2026-08-30 Morning

OpenAI 对 Codex 和 ChatGPT Work 付费用户重置额度,并将额度可用性提升归因于一组编排层修复:图像压缩保留旧图片、memory worker 继承 Stop hooks、/goal 停止条件失效、自动化运行频率异常、子代理模型选择不当、历史摘要重复和 MCP 结果重复编码。Tibo 称不同使用方式下额度可延长 10% 到 50%。

这补充了本页的 agent loop pruning 杠杆。Token 成本优化不能只看模型价格、prompt 长度或缓存命中率。目标停止条件、后台 worker、自动化调度、工具结果编码和历史摘要策略都会改变有效产出/额度。对 Jean 的自动化,运行记录应区分真实产出、重试、重复后台工作和无效工具循环。

2026-09-21 补充:长上下文会话的成本陷阱

来源:AI 简报 2026-09-21 Afternoon — @kunchenguid

  • 一个未命中缓存的 500K 上下文请求直接超过 $5,订阅额度下也会肉疼
  • 最容易踩坑的路径:离开长会话较久后回来,缓存已过期(Claude 默认 1 小时,Codex 默认 30 分钟),此时整个历史重新按全价输入计费
  • 反直觉点:回来看到上下文很大,跑 /compact 想省钱,compaction 本身就是一次真实全价请求,当场再花 $5
  • 正确姿势:离开前先 compact;回来时若上下文已很大,直接开新会话,让 agent 去读上一个会话的 transcript 找上下文

这属于杠杆 2(上下文窗口管理)的操作细则:压缩的时机和缓存 TTL 一样,是成本变量。

Sources

Synthesized from 4 sources

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 4 sources.

    From Token Optimization, AI Agent 时代的工作、算力与组织 — 十期播客深度综合, AI Briefing 2026-08-30 Morning, 2026-09-21-22-20To Token Optimization Economics — 压缩与需求的博弈
    Sources: raw/to-learn/Token Optimization.md · raw/to-learn/xiaoyuzhou-magazine-synthesis-v2.md · raw/briefing/AI Briefing/2026-08-30-08-10.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-21-22-20.md

Linked from