NVIDIA GB200 NVL72

它是什么

GB200 NVL72 是 NVIDIA 的一台机架级（rack-scale）计算机。按 NVIDIA 的说法，它把 36 颗 Grace CPU 和 72 颗 Blackwell GPU 连接在一个液冷设计中^[1]。它的目标不是把一堆彼此独立的服务器塞进机柜，而是让整个机架像一块大加速器那样工作：72 颗 GPU 构成一个 NVLink 域，NVIDIA 称其表现得像一块超大的 GPU^[1]。这对编程方式有直接影响——单个 GPU 显存装不下的模型，可以直接摊到这个域上运行。

由来

2024 年 3 月 18 日，NVIDIA 在 GTC 上发布了 Blackwell 平台，以及基于 GB200 Grace Blackwell 超级芯片构建的 DGX SuperPOD^[2]。构成它的基本单元是 GB200 Grace Blackwell 超级芯片：两颗 Blackwell GPU 加一颗 Grace CPU，通过 NVLink-C2C 相连^[1]。机架把这个比例放大：那次发布中每台 DGX GB200 系统同样是 36 颗 Grace CPU 配 72 颗 Blackwell GPU，与 GB200 NVL72 机架里 36 比 72 的配比一致^[2]。

内部是怎么搭的

机架内部的通信走 NVLink Switch System，NVIDIA 给出的规格是每秒 130 TB 的低延迟 GPU 通信带宽^[1]。规格表还列出整机的 13.4 TB HBM3E 内存、576 TB/s 的显存带宽，以及 2592 个 Arm Neoverse V2 CPU 核心^[1]。GPU 上用的是第二代 Transformer 引擎（Transformer Engine），NVIDIA 说它使 FP4 精度的人工智能计算成为可能，也就是用 4 位浮点在 transformer 最吃重的矩阵运算里换取更高的吞吐^[1]。散热采用液冷；NVIDIA 的能效对比明确是针对采用风冷基础设施的 H100 系统^[1]。

公布的数字

整机的规格表列出 1440 petaflops 的 NVFP4 张量核心性能（含稀疏），以及 720 petaflops 的 FP8/FP6 张量核心性能^[1]。这两个数字并不矛盾：FP4 用 FP8 一半的位宽表示每个数，同样面积的芯片能塞进更多运算，而 NVFP4 那一项是在稀疏模式下给出的，也就是允许跳过大量权重。

与上一代相比，NVIDIA 称 GB200 NVL72 在万亿参数大模型的实时推理上比 H100 GPU 快 30 倍，训练快 4 倍^[1]；同时称 GB200 在同等功耗下，性能是采用风冷的 H100 基础设施的 25 倍^[1]。这些都是厂商自己发布的对比，每一行数字背后的精度格式、稀疏设置和系统配置并不相同，因此更适合当作性能提升的方向和大致量级来看，而不是严格的同条件基准测试。

它处在什么位置

GB200 NVL72 是 NVIDIA 把 Blackwell 这一代产品打包交付给大规模人工智能的形态：被采购、被散热、被组网的是一整个机架，而不是一块单板^[1][2]。它的设计同时押注两件事——让几十颗 GPU 协同工作的互联结构，以及让每颗 GPU 跑得更便宜的窄位宽运算。两者指向同一个目标：训练，尤其是服务参数量在万亿级别的大模型，因为这种模型放不进单颗芯片，芯片之间搬运数据的开销已经和计算本身一样重要。