AI 硬件版图
What it is
AI 硬件版图是前沿模型时代计算基础设施的竞争格局:NVIDIA GPU、Google TPU、AMD、Cerebras、AWS Trainium、Groq 等加速器对同一系统瓶颈——矩阵计算增速远快于数据搬运增速——给出不同回答,而 OpenAI Jalapeño 等自研推理芯片把竞争从"哪种通用架构更好"推向"模型厂商是否应该拥有全栈"。
Why it matters
- 带宽墙是组织性约束:现代 AI 芯片的每秒运算次数远超从内存取数速度。推理通常是 memory-bandwidth-bound 而非 compute-bound;量化、KV-cache 压缩、注意力稀疏性等减少数据移动的优化,往往比增加 FLOPS 更重要(Reiner Pope)。
- 架构选择决定工作负载:GPU 胜在通用性与 CUDA 生态,TPU 用编译器规划的矩阵效率换灵活性,Groq 用确定性编译调度换低延迟,Cerebras 用晶圆级片上移动换极端特化。加速器选型应从负载瓶颈出发,而非 benchmark 峰值。
- 垂直整合正在改写格局:OpenAI Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 上峰值吞吐每瓦性能为对比系统的 1.5–1.9 倍,端到端延迟低 1.7–3.6 倍——证明在超大规模模型服务中,垂直整合推理系统可以超越通用芯片的渐进式优化。
版图分层
通用层(云服务主力)
| 玩家 |
核心赌注 |
关键约束 |
| NVIDIA GPU |
CUDA 生态 + 全栈协同设计 |
功耗(GB200 1200W / GB300 1400W)、内存带宽 |
| Google TPU |
编译器规划的矩阵效率 |
非标准架构灵活性、XLA 依赖 |
| AMD |
内存容量与开放标准 |
软件生态成熟度 |
特化层(低延迟 / 晶圆级 / 云经济)
| 玩家 |
核心赌注 |
关键风险 |
| Groq |
确定性编译调度、低延迟 |
模型架构变迁使特化失效 |
| Cerebras |
晶圆级片上数据移动 |
窄负载覆盖 |
| AWS Trainium |
云经济学与互联 |
绑定自家云生态 |
垂直整合层(头部实验室自研)
- OpenAI Jalapeño(2026-08-28 公布):芯片、内存、网络、软件和机架级系统协同优化;AI 辅助设计,从初步设计到流片仅 9 个月;标称功耗 700W,实测持续功率不超过 550W。编程模型对人类和 AI 都清晰,降低并行编程难度。
- 未来分化:通用云服务继续依赖 NVIDIA,头部模型厂商越来越多采用自研或半定制推理芯片——基础设施分化为两层。
关键判断
- 带宽墙从芯片内部扩展到机架级:不只是 HBM 带宽,而是 chip-to-chip、node-to-node、software scheduling 的联合优化。
- MFU 不是越高越好:Jensen Huang 主张系统应过度配置以预留脉冲负载余量,真正值得关注的指标是"每瓦智能"(intelligence per watt)。
- 加速计算的百万倍来自协同设计:NVIDIA 跨 CPU、GPU、网络、交换机乃至存储整体优化,十年实现百万倍提升,远超摩尔定律的十年百倍。
- 选型方法论:先按负载定义瓶颈,再分别评估内存容量、数据移动、互联带宽、延迟、可编程性、功耗和总成本——不要从峰值算力出发。
Evidence across sources
Open questions
- 模型架构若从 dense transformer 迁走,特化芯片(Groq、Cerebras)的先发优势还剩多少?
- CUDA 护城河在 PyTorch 2.0、Triton 等抽象成熟后是强化还是弱化?
- chip-to-chip 互联带宽在什么训练规模下成为硬约束?
- 垂直整合层是否会向中型实验室开放(半定制模式),还是锁定在超大厂?
Pending Jean review
- forecasts/ai-hardware-landscape —
ai_draft; suggested action: keep draft, then audit one current workload against memory, interconnect, runtime, scheduling, and total-cost constraints.