Skip to content
Back/Forecasts

AI 硬件版图

View in Graph
Updated 2026-10-25
2 min read
297 words

AI 硬件版图

What it is

AI 硬件版图是前沿模型时代计算基础设施的竞争格局:NVIDIA GPU、Google TPU、AMD、Cerebras、AWS Trainium、Groq 等加速器对同一系统瓶颈——矩阵计算增速远快于数据搬运增速——给出不同回答,而 OpenAI Jalapeño 等自研推理芯片把竞争从"哪种通用架构更好"推向"模型厂商是否应该拥有全栈"。

Why it matters

  • 带宽墙是组织性约束:现代 AI 芯片的每秒运算次数远超从内存取数速度。推理通常是 memory-bandwidth-bound 而非 compute-bound;量化、KV-cache 压缩、注意力稀疏性等减少数据移动的优化,往往比增加 FLOPS 更重要(Reiner Pope)。
  • 架构选择决定工作负载:GPU 胜在通用性与 CUDA 生态,TPU 用编译器规划的矩阵效率换灵活性,Groq 用确定性编译调度换低延迟,Cerebras 用晶圆级片上移动换极端特化。加速器选型应从负载瓶颈出发,而非 benchmark 峰值。
  • 垂直整合正在改写格局:OpenAI Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 上峰值吞吐每瓦性能为对比系统的 1.5–1.9 倍,端到端延迟低 1.7–3.6 倍——证明在超大规模模型服务中,垂直整合推理系统可以超越通用芯片的渐进式优化。

版图分层

通用层(云服务主力)

玩家 核心赌注 关键约束
NVIDIA GPU CUDA 生态 + 全栈协同设计 功耗(GB200 1200W / GB300 1400W)、内存带宽
Google TPU 编译器规划的矩阵效率 非标准架构灵活性、XLA 依赖
AMD 内存容量与开放标准 软件生态成熟度

特化层(低延迟 / 晶圆级 / 云经济)

玩家 核心赌注 关键风险
Groq 确定性编译调度、低延迟 模型架构变迁使特化失效
Cerebras 晶圆级片上数据移动 窄负载覆盖
AWS Trainium 云经济学与互联 绑定自家云生态

垂直整合层(头部实验室自研)

  • OpenAI Jalapeño(2026-08-28 公布):芯片、内存、网络、软件和机架级系统协同优化;AI 辅助设计,从初步设计到流片仅 9 个月;标称功耗 700W,实测持续功率不超过 550W。编程模型对人类和 AI 都清晰,降低并行编程难度。
  • 未来分化:通用云服务继续依赖 NVIDIA,头部模型厂商越来越多采用自研或半定制推理芯片——基础设施分化为两层。

关键判断

  1. 带宽墙从芯片内部扩展到机架级:不只是 HBM 带宽,而是 chip-to-chip、node-to-node、software scheduling 的联合优化。
  2. MFU 不是越高越好:Jensen Huang 主张系统应过度配置以预留脉冲负载余量,真正值得关注的指标是"每瓦智能"(intelligence per watt)。
  3. 加速计算的百万倍来自协同设计:NVIDIA 跨 CPU、GPU、网络、交换机乃至存储整体优化,十年实现百万倍提升,远超摩尔定律的十年百倍。
  4. 选型方法论:先按负载定义瓶颈,再分别评估内存容量、数据移动、互联带宽、延迟、可编程性、功耗和总成本——不要从峰值算力出发。

Evidence across sources

Open questions

  • 模型架构若从 dense transformer 迁走,特化芯片(Groq、Cerebras)的先发优势还剩多少?
  • CUDA 护城河在 PyTorch 2.0、Triton 等抽象成熟后是强化还是弱化?
  • chip-to-chip 互联带宽在什么训练规模下成为硬约束?
  • 垂直整合层是否会向中型实验室开放(半定制模式),还是锁定在超大厂?

Pending Jean review

  • forecasts/ai-hardware-landscape — ai_draft; suggested action: keep draft, then audit one current workload against memory, interconnect, runtime, scheduling, and total-cost constraints.

Sources

Synthesized from 4 sources
  • Reiner Pope × Dwarkesh Patel — AI 芯片设计课Supporting source listed by this page.Whole pagemediumbody
  • Ben's Bites — Who let the agents inSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-08-30 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-14 EveningSupporting source listed by this page.Whole pagemediumbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 4 sources.

    From Reiner Pope × Dwarkesh Patel — AI 芯片设计课, Ben's Bites — Who let the agents in, AI Briefing 2026-08-30 Evening, AI Briefing 2026-09-14 EveningTo AI 硬件版图
    Sources: raw/to-learn/ai芯片.md · raw/newsletters/Ben's Bites/2026-08-28 Who let the agents in.md · raw/briefing/AI Briefing/2026-08-30-23-07.md · raw/briefing/AI Briefing/2026-09-14-22-58.md

Linked from