NVIDIA GB300 NVL72

整个机架就是一台机器

2025 年 3 月 18 日，NVIDIA 在 GTC 大会上发布 Blackwell Ultra，以及基于这一代芯片的两套系统：机架级的 GB300 NVL72 与 HGX B300 NVL16。^[1] GB300 NVL72 是其中规模更大的一套：它在同一个机架里装入 72 颗 Blackwell Ultra GPU 和 36 颗基于 Arm Neoverse 的 Grace CPU，并让整个机柜像一颗巨大的 GPU 那样工作。^[1]

这正是名字里「NVL72」的含义。它不以单台服务器为单位、再用普通网络把服务器连起来，而是直接把机架本身当成一台计算机。对软件来说，它看到的是一整块算力和一整套内存，而不是几十块彼此独立的加速卡。这种做法对大模型尤其重要：参数规模很大的模型通常必须切分到多颗芯片上，芯片之间挨得越近、能共享的内存越多，切分带来的通信代价就越低。

规格与数字

NVIDIA 给出的核心说法是：GB300 NVL72 的 AI 性能是上一代机架系统 GB200 NVL72 的 1.5 倍。^[1] 与更早的 Blackwell GPU 相比，同样的机架提供 1.5 倍的密集 FP4 Tensor Core 算力（FLOPS），注意力（attention）运算性能则提高到 2 倍。^[2] FP4 指用 4 位浮点数表示权重和激活值，精度更低，但 Tensor Core 每秒能处理的数更多；「密集」（dense）是不计稀疏加速的口径。规格表另行列出整机架 1,440 petaflops 的 FP4 Tensor Core 性能（含稀疏）。^[2] 稀疏指的是跳过大量取值为零的参数，只计算真正携带信息的部分。

内存是另一半故事。规格表列出整机架 37 TB 的快速内存和最高 576 TB/s 的带宽。^[2] 带宽经常才是真正的瓶颈：无论是训练还是推理，在芯片之间搬运权重和缓存所花的时间，可能比算术本身还多。网络也按同样的思路配置，每颗 GPU 通过 ConnectX-8 SuperNIC 获得 800 Gb/s 的连接带宽。^[2]

每兆瓦能产出多少

NVIDIA 称，与 Hopper 系统相比，GB300 NVL72 的用户响应速度提升 10 倍，每兆瓦吞吐提升 5 倍，合起来相当于 AI 工厂产出提升 50 倍。^[2] 每兆瓦吞吐之所以成为常被引用的指标，是因为在数据中心里，限制往往来自电力而不是占地面积：同样的电力能跑出多少 token，直接决定了这台机器值不值得开。

上市时间与软件

NVIDIA 表示，基于 Blackwell Ultra 的产品预计从 2025 年下半年起由合作伙伴供应。^[1] 与硬件一同发布的还有开源推理框架 Dynamo。^[1] 把训练好的模型同时服务给大量用户，与训练模型是两类不同的问题，NVIDIA 把这两件事放在一起宣布，用意也在于此。

在路线图中的位置

GB300 NVL72 延续了 GB200 NVL72 开创的机架级形态，性能提升主要来自更新的 GPU，以及每个机架更多的内存和网络带宽。^[1][2] 它处在 Blackwell Ultra 产品线的顶端，而 HGX B300 NVL16 则把同一代芯片做成另一套规模更小的系统。^[1] 上面这些数字都出自 NVIDIA 自己的材料；它们落到真实负载上能兑现多少，要等系统交付客户、第三方测试出来之后才有答案。