Skip to content
Back/AI Ecosystem

DeepSeek DeepInfer — 开源生产级推理栈

View in Graph
Updated 2026-10-26
1 min read
211 words

DeepSeek DeepInfer — 开源生产级推理栈

What it is

DeepInfer 是 DeepSeek 于 2026-10 在 PyTorch 大会开源的生产级推理引擎(V4.1 Flash 的服务栈),基于 vLLM 深度定制(Apache 2.0,致谢 SGLang 与 TensorRT-LLM),同时发布覆盖 NVIDIA 与华为昇腾双平台。它是头部实验室首次把"日入千万美元级"的推理栈连同详细工程报告一起开源。

Why it matters

这次发布直接挑战"推理效率是闭源 infra 公司护城河"的叙事,并首次让外界能定量估算前沿模型的推理毛利结构。同时它披露了 Agent 时代的服务形态:超长 prompt 缓存保留与高缓存命中率才是吞吐与经济的真正来源,而非原始生成速度。

Key points

  • 生产数字(第一方口径):单集群 155T tokens/天(约 2,400 张 GPU)、96% 输入缓存命中率、平均 TTFT 400ms、生成速度 230 tokens/s(编程场景 300 tokens/s)。低谷定价下每加速卡小时 $38 收入,按 $5–8/卡/时全包成本估算推理毛利超过 80%;集群级外推约 $166B/GW,回本周期约 81 天(DeepSeek 内部口径 10 个月)。
  • 缓存是王冠宝石,但只开源了一半:持久块 KV 存于独立 3FS 存储集群(约 100 PiB SSD),Agent 流量保留 3 天、聊天流量 7 天;支持最长 72 小时 prompt 缓存(对比 OpenAI 同期宣布的 12 小时)。超优化 KV cache、prefill/decode 分离与负载均衡组件因耦合内部基础设施未完全释放。
  • 155T 是"服务 tokens"而非"新生成 tokens":缓存命中计入统计,直接读作算力产出会严重高估。
  • 架构按算力预算调度,而非按 token 数:prefill、decode、视觉编码拆为独立阶段各自扩展;prefill 路由不需要缓存亲和(前缀池化在共享存储);SWA Bounded Replay 用最新 128 tokens 重建短寿命状态,报告几乎将总 prefill 计算减半。
  • vLLM 的回应压缩了叙事:vLLM 报告在 GB200 匹配配置下 decode 吞吐达到 DeepInfer 公布结果的 6% 以内。争论焦点从"独门绝技"转向"服务级编排与缓存经济学",这才是部署方真正买不到的部分。
  • 开源对生态的含义双向:可公开部署的栈改善提供方经济性,同时加剧托管定价竞争(对 Moonshot/智谱类托管协议的影响合理但未测量)。

Evidence across sources

Source Key Claim Relevance
AINews 2026-10-22 — DeepInfer 全部生产数字、开源边界、vLLM 对照、毛利测算谱系 主源;数字均为第一方或社区估算,未经独立审计

Open questions

  • 84–96% 的毛利测算未充分分摊 SSD 缓存集群、CPU、网络、冗余容量与工程支持成本;高推理毛利与公司层面亏损可以并存。
  • NVIDIA 与昇腾的生产效率对比没有同台基准;Blackwell 配置中似乎未用张量并行,是解读而非披露。
  • V4.1 Flash 的"开源模型第一"评测(Agent Arena、企业内网渗透任务)存在争议:DeepSeek 效率低数倍(约 4.3× tokens),"把省下的钱花在重跑上"仍是假设。

Prompts for witness

  • 我的 agent 工作负载(wiki-absorb、briefing 的长上下文重放)在 96% 缓存命中假设下能省多少 token 成本?哪些调用模式在吃缓存红利,哪些在白白重算?
  • 如果推理毛利真有 80%+,我应该预期 token 价格继续下降还是算力价格上升?这对我的模型路由策略意味着什么?

Sources

Synthesized from 1 source
  • AINews 2026-10-22 — DeepSeek DeepInferPrimary source for this page.Whole pagehighbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 1 source.

    From AINews 2026-10-22 — DeepSeek DeepInferTo DeepSeek DeepInfer — 开源生产级推理栈
    Sources: raw/newsletters/AINews/2026-10-22 AINews DeepSeek DeepInfer Open Source SOTA Inference.md