DeepSeek DeepInfer — 开源生产级推理栈
What it is
DeepInfer 是 DeepSeek 于 2026-10 在 PyTorch 大会开源的生产级推理引擎(V4.1 Flash 的服务栈),基于 vLLM 深度定制(Apache 2.0,致谢 SGLang 与 TensorRT-LLM),同时发布覆盖 NVIDIA 与华为昇腾双平台。它是头部实验室首次把"日入千万美元级"的推理栈连同详细工程报告一起开源。
Why it matters
这次发布直接挑战"推理效率是闭源 infra 公司护城河"的叙事,并首次让外界能定量估算前沿模型的推理毛利结构。同时它披露了 Agent 时代的服务形态:超长 prompt 缓存保留与高缓存命中率才是吞吐与经济的真正来源,而非原始生成速度。
Key points
- 生产数字(第一方口径):单集群 155T tokens/天(约 2,400 张 GPU)、96% 输入缓存命中率、平均 TTFT 400ms、生成速度 230 tokens/s(编程场景 300 tokens/s)。低谷定价下每加速卡小时 $38 收入,按 $5–8/卡/时全包成本估算推理毛利超过 80%;集群级外推约 $166B/GW,回本周期约 81 天(DeepSeek 内部口径 10 个月)。
- 缓存是王冠宝石,但只开源了一半:持久块 KV 存于独立 3FS 存储集群(约 100 PiB SSD),Agent 流量保留 3 天、聊天流量 7 天;支持最长 72 小时 prompt 缓存(对比 OpenAI 同期宣布的 12 小时)。超优化 KV cache、prefill/decode 分离与负载均衡组件因耦合内部基础设施未完全释放。
- 155T 是"服务 tokens"而非"新生成 tokens":缓存命中计入统计,直接读作算力产出会严重高估。
- 架构按算力预算调度,而非按 token 数:prefill、decode、视觉编码拆为独立阶段各自扩展;prefill 路由不需要缓存亲和(前缀池化在共享存储);SWA Bounded Replay 用最新 128 tokens 重建短寿命状态,报告几乎将总 prefill 计算减半。
- vLLM 的回应压缩了叙事:vLLM 报告在 GB200 匹配配置下 decode 吞吐达到 DeepInfer 公布结果的 6% 以内。争论焦点从"独门绝技"转向"服务级编排与缓存经济学",这才是部署方真正买不到的部分。
- 开源对生态的含义双向:可公开部署的栈改善提供方经济性,同时加剧托管定价竞争(对 Moonshot/智谱类托管协议的影响合理但未测量)。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| AINews 2026-10-22 — DeepInfer | 全部生产数字、开源边界、vLLM 对照、毛利测算谱系 | 主源;数字均为第一方或社区估算,未经独立审计 |
Open questions
- 84–96% 的毛利测算未充分分摊 SSD 缓存集群、CPU、网络、冗余容量与工程支持成本;高推理毛利与公司层面亏损可以并存。
- NVIDIA 与昇腾的生产效率对比没有同台基准;Blackwell 配置中似乎未用张量并行,是解读而非披露。
- V4.1 Flash 的"开源模型第一"评测(Agent Arena、企业内网渗透任务)存在争议:DeepSeek 效率低数倍(约 4.3× tokens),"把省下的钱花在重跑上"仍是假设。
Prompts for witness
- 我的 agent 工作负载(wiki-absorb、briefing 的长上下文重放)在 96% 缓存命中假设下能省多少 token 成本?哪些调用模式在吃缓存红利,哪些在白白重算?
- 如果推理毛利真有 80%+,我应该预期 token 价格继续下降还是算力价格上升?这对我的模型路由策略意味着什么?
Related
- ai-ecosystem/deepseek-v4 — DeepSeek-V4:DeepInfer 服务的模型本体
- ai-ecosystem/llm-inference-mechanics — 推理机制的一般页面
- reiner-pope-llm-inference-economics — 推理经济学
- harness-engineering/model-routing — 模型路由