GPU战争进入“每MW Token”时代NVIDIA、AMD 与 Google TPU,到底应该怎么比?
当Power、Land与Capital成为AI Factory的硬约束,峰值FLOPS已经不足以回答投资问题。真正需要统一的是:相同模型质量、相同上下文、相同TTFT/ITL与相同MW边界下,哪套系统能生产更多可售Token,并以更低TCO把这些Token变成Useful Intelligence、Revenue与ROIC。
给你1MW,真正的问题已经不是“哪颗芯片FLOPS最高”
假设土地、电力、Shell和资本全部准备好,只给NVIDIA、AMD、Google各自相同的1MW IT Power。投资人真正想知道的不是谁能塞更多芯片,而是谁能在用户可接受的延迟与质量约束下,生产最多可以真正卖出去的智能输出。
这就是本篇的核心:Token是AI Factory最容易计量的中间产品,但不是最终经济产出。
Token数量必须绑定延迟、质量与可靠性,否则“吞吐领先”可能没有商业价值
系统A可以在1MW下生成100万Token/s,但用户要等20秒才看到第一个Token;系统B只有80万Token/s,却能在0.8秒内开始输出。对离线Batch,A可能更优;对Chat、Coding Agent和交互式Reasoning,B可能更值钱。
任何“快3倍、便宜30%”之前,先统一这17个变量
| 变量 | 为什么必须统一 |
|---|---|
| Model / Quality | DeepSeek、Llama、Gemini及不同参数规模、MoE结构、输出质量不可混比。 |
| Precision | FP8、FP6、FP4、MXFP4、NVFP4会直接改变吞吐和精度。 |
| ISL / OSL | 输入与输出长度决定Prefill、Decode与KV Cache压力。 |
| TTFT / ITL SLA | Batch吞吐不能直接拿来代表Interactive体验。 |
| Concurrency | 并发越高,系统吞吐与单用户体验之间存在Pareto权衡。 |
| Batch Size | 大Batch可以抬高吞吐,却可能恶化单用户延迟。 |
| Speculative Decoding / MTP | 是否开启推测解码、多Token预测会显著改变结果。 |
| KV Cache Policy | Cache hit、offload、prefix reuse直接改变重复Prefill与Memory pressure。 |
| Serving Engine | TensorRT-LLM、vLLM、SGLang、XLA等软件栈本身就是性能变量。 |
| System Boundary | 单卡、8卡、72卡rack、pod、cluster的扩展效率完全不同。 |
| Power Boundary | GPU MW、IT MW、Utility MW不是一个分母。 |
| PUE | 是否把冷却、供配电与设施损耗算进去。 |
| Utilization | Peak benchmark与全年真实利用率不能混为一谈。 |
| Uptime | 可售Token必须扣除维护、故障与调度损耗。 |
| Economic Depreciation | Tokens/$TCO必须考虑GPU、网络与设施真实经济寿命。 |
| Realized Price | Revenue/MW取决于真实客户价格,不是标价。 |
| Task Success | Agent时代Token更多不等于完成任务更多。 |
最容易被偷换的变量其实是“MW到底是哪一个MW”
GPU MW < IT MW < Utility MW。如果NVIDIA使用GPU power,AMD使用rack power,Google使用facility power,三个“Tokens/MW”完全不能比较。因此Kerwin框架优先统一到IT MW;如果数据完整,再进一步统一到Utility MW。
NVIDIA:Define the Factory——系统级损耗控制是Rubin真正的赌注
NVIDIA 2026年7月披露,CoreWeave在真实Vera Rubin NVL72硬件上运行DeepSeek-R1时,相比Grace Blackwell NVL72实现约10× throughput per megawatt。这个数据非常重要,因为它直接把竞争单位落到power-constrained AI Factory;但它证明的是Rubin相对上一代NVIDIA平台的一代际改善,不是Rubin对MI455X或TPU 8i的统一横评。
AMD:Open the Factory——Memory、开放标准与TCO可能让“每美元Token”成为另一种冠军
AMD Helios把72颗MI455X、18颗EPYC Venice、Pensando networking、UALink / UALoE、Ultra Ethernet与ROCm组成rack-scale系统。AMD官方称Helios在其测试口径下可实现最高约30%更多tokens per dollar,这与NVIDIA强调throughput/MW形成了非常有意思的分母差异。
对于Long Context、Large KV Cache、MoE与Agentic workload,HBM容量本身可能转化成更少offload、更少data movement与更少recompute。所以Agent时代的GPU战争不再只是FLOPS,而是:
AMD的战略反击不是否定系统级整合,而是用OCP、UALink、Ultra Ethernet和开放软件栈降低vendor lock-in,并争取在Tokens/$TCO这一层建立优势。
Google:Own the Factory——TPU 8i直接针对Agent、KV Cache与延迟重新设计
Google TPU 8i的公开规格表显示:288GB HBM、约8.6TB/s HBM带宽、384MB on-chip SRAM、10.1 PFLOPS FP4,单Pod可扩展到1,152 TPU。Google明确把8i定位为sampling、serving与reasoning,并把on-chip SRAM提高到上一代的3倍,用于把更多KV Cache留在silicon附近。
Google披露TPU 8t/8i相对Ironwood最高可实现约2× performance-per-watt;Google Cloud还称TPU 8i针对inference可实现相对前代约80% better performance/$。这些仍是Google自身一代际与平台口径,而不是对NVIDIA / AMD的统一外部benchmark。
NVIDIA:Define the Factory
AMD:Open the Factory
Google:Own the Factory
不存在脱离Workload的AI芯片总冠军
| Workload | 核心瓶颈 | 更应该看的指标 |
|---|---|---|
| Interactive Chat / Coding | TTFT、ITL、tail latency | Latency-adjusted Tokens/MW |
| Agentic / Reasoning | Long context、KV Cache、multi-turn、memory movement | Tokens/MW + Cache reuse + Useful Work/Token |
| Batch / Offline | 最大吞吐与成本 | Tokens/$TCO |
| Training | Time-to-quality、通信、checkpoint、能耗 | Time-to-Target-Quality / MW / $ |
同一套系统可能在Batch throughput领先,却在严格Interactive SLA下失去优势。任何“谁最快”的结论都必须先说明是哪一种生产任务。
Token本身也可能是“假生产率”:Agent时代最终要走向 Useful Intelligence/MW
如果模型A用10万Token完成一次Coding任务,模型B用50万Token完成同一件事,而B因为硬件吞吐更高在Tokens/MW上领先,那么单看Token数量会奖励一个更啰嗦、更低效的系统。
这也是为什么MLCommons 2026年7月启动Agentic Inference benchmark:它开始测量multi-turn、growing context、KV Cache reuse、closed-loop progress,并把aggregate throughput与per-user progress放进同一条Pareto曲线。行业的计量单位本身正在从“单次Token生成”向“Agent轨迹中的有效进展”移动。
最终要形成三层排行榜,而不是一张冠军榜
如果Power极度稀缺,Tokens/MW权重最高;如果Power充足而资本昂贵,Tokens/$TCO可能更重要。不存在脱离约束条件的“最佳AI芯片”。
五组数字不能直接横比
① Rubin PFLOPS vs MI455X PFLOPS
如果低精度格式、稀疏性与有效精度不同,理论数字不能直接代表真实模型吞吐。
② NVIDIA Tokens/MW vs AMD Tokens/$
分母不同,不能用两家公司宣传数字直接得出谁更强。
③ Google Cloud TPU价格 vs GPU采购价
前者包含Cloud margin与服务层,后者是资产采购成本,经济层级不同。
④ GPU TDP vs Rack Power vs Facility MW
Power boundary不统一会制造虚假的能效优势。
⑤ Batch Throughput vs Interactive Throughput
没有TTFT / ITL约束的离线吞吐不能代表交互式用户体验。
AI Compute战争正在从FLOPS战争进入生产函数战争
Power、Land与Capital成为约束以后,最有价值的芯片不一定是峰值FLOPS最大的芯片,也不一定是单卡最便宜的芯片。真正的问题是:在相同模型质量、相同上下文、相同用户延迟和相同电力预算下,哪套系统能够生产最多可售智能,并以最低总资本成本交付这些智能。
Power-Constrained时代,核心是 Billable Tokens/MW @ SLA;Agent时代再进一步,要走向 Useful Intelligence/MW。
这也意味着Kerwin AI Factory Production Function可以正式写成:
ROIC = NOPAT / Invested Capital
主要资料与证据边界
AI Factory生产函数系列
EnyaClawd
把GPU参数、系统架构、功率边界、SLA、KV Cache、TCO与Revenue/MW放进同一条生产函数。专题⑤不宣布未经统一口径验证的“总冠军”,而是建立以后所有AI Compute比较必须先过的计量标准。