KERWIN RESEARCH HUBRESEARCH ACCESS
KERWIN
RESEARCH
AI FACTORY生产函数系列⑤

GPU战争进入“每MW Token”时代

输入 “K” 查看专题⑤从FLOPS走向Tokens/MW@SLA、Tokens/$TCO与ROIC。

Press K
Kerwin Research Hub · Private research access
Kerwin Research Hub · AI Factory Production FunctionSnapshot 2026-08-24 HKT
kerwinRESEARCH HUB研究首页 ↗
AI Factory生产函数系列⑤

GPU战争进入“每MW Token”时代NVIDIA、AMD 与 Google TPU,到底应该怎么比?

当Power、Land与Capital成为AI Factory的硬约束,峰值FLOPS已经不足以回答投资问题。真正需要统一的是:相同模型质量、相同上下文、相同TTFT/ITL与相同MW边界下,哪套系统能生产更多可售Token,并以更低TCO把这些Token变成Useful Intelligence、Revenue与ROIC。

研究日期 2026-08-24系列 05核心指标 Tokens/MW@SLA → Tokens/$TCO → Useful Work/MW → Revenue/MW → ROIC
证据边界:截至本文,公开资料并不存在一个完全统一、公开、同模型同精度同SLA同功率边界的 Vera Rubin vs MI455X/Helios vs TPU 8i “Tokens/MW冠军榜”。本文因此不伪造总冠军,而是建立统一比较卡。厂商给出的10× throughput/MW、30% more tokens/$、80% better performance/$等均按各自测试口径呈现,不能直接横向相除。

给你1MW,真正的问题已经不是“哪颗芯片FLOPS最高”

假设土地、电力、Shell和资本全部准备好,只给NVIDIA、AMD、Google各自相同的1MW IT Power。投资人真正想知道的不是谁能塞更多芯片,而是谁能在用户可接受的延迟与质量约束下,生产最多可以真正卖出去的智能输出。

FLOPS芯片理论计算能力。
Tokens/MW @ SLA工厂层电力生产率。
Tokens/$TCO完整经济成本效率。
Useful Work/MWAgent实际完成多少有价值任务。
ROIC最终资本回报。
FLOPS → Billable Tokens/MW @ SLA → Tokens/$TCO → Useful Intelligence/MW → Revenue/MW → NOPAT/MW → ROIC

这就是本篇的核心:Token是AI Factory最容易计量的中间产品,但不是最终经济产出。

Token数量必须绑定延迟、质量与可靠性,否则“吞吐领先”可能没有商业价值

系统A可以在1MW下生成100万Token/s,但用户要等20秒才看到第一个Token;系统B只有80万Token/s,却能在0.8秒内开始输出。对离线Batch,A可能更优;对Chat、Coding Agent和交互式Reasoning,B可能更值钱。

TTFTTime to First Token,首Token延迟。决定用户第一次看到响应要等多久。
ITL / TPOTInter-Token Latency / Time Per Output Token,决定后续输出是否流畅。
Quality / Reliability不能靠截短回答、降低精度或牺牲正确率换取吞吐。
所以正式指标不是“Tokens/MW”,而是 Billable Tokens/MW @ SLABillable意味着这些Token在模型质量、延迟、可靠性约束下可以真正交付给客户,而不是实验室峰值。

任何“快3倍、便宜30%”之前,先统一这17个变量

变量为什么必须统一
Model / QualityDeepSeek、Llama、Gemini及不同参数规模、MoE结构、输出质量不可混比。
PrecisionFP8、FP6、FP4、MXFP4、NVFP4会直接改变吞吐和精度。
ISL / OSL输入与输出长度决定Prefill、Decode与KV Cache压力。
TTFT / ITL SLABatch吞吐不能直接拿来代表Interactive体验。
Concurrency并发越高,系统吞吐与单用户体验之间存在Pareto权衡。
Batch Size大Batch可以抬高吞吐,却可能恶化单用户延迟。
Speculative Decoding / MTP是否开启推测解码、多Token预测会显著改变结果。
KV Cache PolicyCache hit、offload、prefix reuse直接改变重复Prefill与Memory pressure。
Serving EngineTensorRT-LLM、vLLM、SGLang、XLA等软件栈本身就是性能变量。
System Boundary单卡、8卡、72卡rack、pod、cluster的扩展效率完全不同。
Power BoundaryGPU MW、IT MW、Utility MW不是一个分母。
PUE是否把冷却、供配电与设施损耗算进去。
UtilizationPeak benchmark与全年真实利用率不能混为一谈。
Uptime可售Token必须扣除维护、故障与调度损耗。
Economic DepreciationTokens/$TCO必须考虑GPU、网络与设施真实经济寿命。
Realized PriceRevenue/MW取决于真实客户价格,不是标价。
Task SuccessAgent时代Token更多不等于完成任务更多。

最容易被偷换的变量其实是“MW到底是哪一个MW”

Accelerator MW只看GPU / TPU芯片。
Rack IT MW加入CPU、NIC、Switch、Storage。
Facility IT MW整个计算大厅的IT load。
PUE加入冷却与供配电损耗。
Utility MW电网真正交付给园区的功率。
Billable Tokens最后真正可售的智能产出。

GPU MW < IT MW < Utility MW。如果NVIDIA使用GPU power,AMD使用rack power,Google使用facility power,三个“Tokens/MW”完全不能比较。因此Kerwin框架优先统一到IT MW;如果数据完整,再进一步统一到Utility MW。

NVIDIA:Define the Factory——系统级损耗控制是Rubin真正的赌注

NVIDIA 2026年7月披露,CoreWeave在真实Vera Rubin NVL72硬件上运行DeepSeek-R1时,相比Grace Blackwell NVL72实现约10× throughput per megawatt。这个数据非常重要,因为它直接把竞争单位落到power-constrained AI Factory;但它证明的是Rubin相对上一代NVIDIA平台的一代际改善,不是Rubin对MI455X或TPU 8i的统一横评。

Rubin提高Compute/Watt。
NVLink降低Scale-up等待。
Spectrum-X降低Scale-out瓶颈。
TensorRT-LLM提高Tokens/GPU。
Dynamo / KV提高Fleet utilization并减少重复计算。
DSX / MaxLPS提高Compute/MW与Time-to-Production。
NVIDIA的核心命题:即使某些单项参数不是最大,只要从chip-to-grid的系统损耗最低,最终仍可以赢 Tokens/MW @ SLA

AMD:Open the Factory——Memory、开放标准与TCO可能让“每美元Token”成为另一种冠军

AMD Helios把72颗MI455X、18颗EPYC Venice、Pensando networking、UALink / UALoE、Ultra Ethernet与ROCm组成rack-scale系统。AMD官方称Helios在其测试口径下可实现最高约30%更多tokens per dollar,这与NVIDIA强调throughput/MW形成了非常有意思的分母差异。

432GBMI455X单GPU HBM4容量。
23.3TB/sMI455X单GPU HBM带宽。
31TB72-GPU Helios rack HBM4总容量。
2.9 EFHelios官方FP4峰值计算口径。

对于Long Context、Large KV Cache、MoE与Agentic workload,HBM容量本身可能转化成更少offload、更少data movement与更少recompute。所以Agent时代的GPU战争不再只是FLOPS,而是:

FLOPS × Memory Capacity × Memory Bandwidth × Network × Runtime → Tokens/MW @ SLA

AMD的战略反击不是否定系统级整合,而是用OCP、UALink、Ultra Ethernet和开放软件栈降低vendor lock-in,并争取在Tokens/$TCO这一层建立优势。

Google:Own the Factory——TPU 8i直接针对Agent、KV Cache与延迟重新设计

Google TPU 8i的公开规格表显示:288GB HBM、约8.6TB/s HBM带宽、384MB on-chip SRAM、10.1 PFLOPS FP4,单Pod可扩展到1,152 TPU。Google明确把8i定位为sampling、serving与reasoning,并把on-chip SRAM提高到上一代的3倍,用于把更多KV Cache留在silicon附近。

SiliconTPU 8i针对Inference / RL / Agentic workload做专门化。
NetworkBoardfly + ICI + CAE降低collective与tail latency。
Vertical IntegrationGoogle同时控制TPU、JAX/XLA、Gemini、Scheduler、Data Center与Power。

Google披露TPU 8t/8i相对Ironwood最高可实现约2× performance-per-watt;Google Cloud还称TPU 8i针对inference可实现相对前代约80% better performance/$。这些仍是Google自身一代际与平台口径,而不是对NVIDIA / AMD的统一外部benchmark。

三家公司可以用一句话概括:
NVIDIA:Define the Factory
AMD:Open the Factory
Google:Own the Factory

不存在脱离Workload的AI芯片总冠军

Workload核心瓶颈更应该看的指标
Interactive Chat / CodingTTFT、ITL、tail latencyLatency-adjusted Tokens/MW
Agentic / ReasoningLong context、KV Cache、multi-turn、memory movementTokens/MW + Cache reuse + Useful Work/Token
Batch / Offline最大吞吐与成本Tokens/$TCO
TrainingTime-to-quality、通信、checkpoint、能耗Time-to-Target-Quality / MW / $

同一套系统可能在Batch throughput领先,却在严格Interactive SLA下失去优势。任何“谁最快”的结论都必须先说明是哪一种生产任务。

Token本身也可能是“假生产率”:Agent时代最终要走向 Useful Intelligence/MW

如果模型A用10万Token完成一次Coding任务,模型B用50万Token完成同一件事,而B因为硬件吞吐更高在Tokens/MW上领先,那么单看Token数量会奖励一个更啰嗦、更低效的系统。

Useful Work/MW = Billable Tokens/MW × Useful Work/Token
CodingAccepted Coding Tasks/MW。
Customer ServiceResolved Tickets/MW。
Research / AgentSuccessful Completed Tasks/MW。

这也是为什么MLCommons 2026年7月启动Agentic Inference benchmark:它开始测量multi-turn、growing context、KV Cache reuse、closed-loop progress,并把aggregate throughput与per-user progress放进同一条Pareto曲线。行业的计量单位本身正在从“单次Token生成”向“Agent轨迹中的有效进展”移动。

最终要形成三层排行榜,而不是一张冠军榜

① Tokens/MW @ SLA回答谁最省稀缺Power。
② Tokens/$TCO @ SLA回答谁的完整经济成本最低。
③ Useful Work/MW回答谁真正完成更多有价值工作。
④ Revenue/MW → ROIC回答谁最终为股东创造更多经济价值。
TCO = Compute + Network + Memory + Facility + Power + Software + Operations + Economic Depreciation
Revenue/MW = Useful Intelligence/MW × Realized Price/Useful Intelligence

如果Power极度稀缺,Tokens/MW权重最高;如果Power充足而资本昂贵,Tokens/$TCO可能更重要。不存在脱离约束条件的“最佳AI芯片”。

五组数字不能直接横比

① Rubin PFLOPS vs MI455X PFLOPS

如果低精度格式、稀疏性与有效精度不同,理论数字不能直接代表真实模型吞吐。

② NVIDIA Tokens/MW vs AMD Tokens/$

分母不同,不能用两家公司宣传数字直接得出谁更强。

③ Google Cloud TPU价格 vs GPU采购价

前者包含Cloud margin与服务层,后者是资产采购成本,经济层级不同。

④ GPU TDP vs Rack Power vs Facility MW

Power boundary不统一会制造虚假的能效优势。

⑤ Batch Throughput vs Interactive Throughput

没有TTFT / ITL约束的离线吞吐不能代表交互式用户体验。

AI Compute战争正在从FLOPS战争进入生产函数战争

Power、Land与Capital成为约束以后,最有价值的芯片不一定是峰值FLOPS最大的芯片,也不一定是单卡最便宜的芯片。真正的问题是:在相同模型质量、相同上下文、相同用户延迟和相同电力预算下,哪套系统能够生产最多可售智能,并以最低总资本成本交付这些智能。

FLOPS正在失去作为AI基础设施第一生产率指标的地位。
Power-Constrained时代,核心是 Billable Tokens/MW @ SLA;Agent时代再进一步,要走向 Useful Intelligence/MW
Watt → Compute → Token → Agent Work → Economic Output

这也意味着Kerwin AI Factory Production Function可以正式写成:

AI Productivity = Useful Intelligence / MW
ROIC = NOPAT / Invested Capital

主要资料与证据边界

NVIDIA · Vera Rubin Driving Performance Per Watt, Lower Token Costs2026-07-21 · CoreWeave DeepSeek-R1 · ~10× throughput/MW vs Grace Blackwell NVL72。
AMD · Instinct MI455X Specifications432GB HBM4、23.3TB/s、MI455X accelerator specifications。
AMD · AAI 2026 / Helios72 MI455X + 18 EPYC Venice · up to 30% more tokens/$,属AMD厂商测试口径。
Google Cloud · TPU 8t / TPU 8i Technical Deep DiveTPU 8i:288GB HBM、384MB SRAM、10.1 PFLOPS FP4、Boardfly / ICI、Inference定位。
Google Cloud · AI Infrastructure at Next ’26TPU 8i agentic inference定位、KV Cache on-silicon、80% better performance/$ vs prior generation。
MLCommons · MLPerf Inference v6.0GPT-OSS 120B、DeepSeek-R1 interactive scenario、speculative decoding与power submissions。
MLCommons · Agentic Inference for MLPerf InferenceMulti-turn、growing context、KV-cache reuse、closed-loop trajectories与per-user/system Pareto metrics。

AI Factory生产函数系列

EnyaClawd

Enya:香港首个由 OpenClaw 打造的女性投顾 Agent
底层模型:GPT 5.6 Sol 及 Claude Fable 付费版

把GPU参数、系统架构、功率边界、SLA、KV Cache、TCO与Revenue/MW放进同一条生产函数。专题⑤不宣布未经统一口径验证的“总冠军”,而是建立以后所有AI Compute比较必须先过的计量标准。

Kerwin选题、投资框架与最终审核。
Enya证据整理、比较口径、网页排版与持续维护。