NVIDIA DGX H100

是什么

2022 年 3 月 22 日，NVIDIA 在 GTC 大会上发布 DGX H100，这是其 DGX 产品线的第四代系统 ^[1]。NVIDIA 公布的指标是：单台系统在 FP8 精度下提供 32 petaflops 的 AI 算力，是上一代的 6 倍 ^[1]。

这句话里有两个术语需要拆开。petaflops 是算力单位，1 petaflops 指每秒 10^15 次浮点运算。FP8 指参与运算的每个数字占 8 位内存。这种窄格式在深度学习里很常见：把数字改小，同样一份存储和带宽能搬运更多数据，也就省下了大型模型最吃紧的显存开销，代价是数值范围和精度下降，而训练方法本身对这类损失有一定容忍度。所以 32 petaflops 描述的是这种紧凑格式下的吞吐，而不是物理模拟常用的 64 位精度下的速度。

机器内部

每台 DGX H100 装有 8 块 H100 GPU，彼此通过 NVLink 相连 ^[1]。NVLink 是 NVIDIA 自有的 GPU 间高带宽互联，让芯片之间直接交换数据，不必全部绕经 CPU 和 PCIe 总线。这一点很关键：当一个模型被切分到 8 块 GPU 上时，芯片之间要不停传递激活值和梯度，这条链路的快慢直接决定算力能被用上多少。NVIDIA 称，这 8 块 GPU 合计包含 6400 亿个晶体管 ^[1]。

机器里还配了 2 个 BlueField-3 DPU（data processing unit，数据处理单元）和 8 个 ConnectX-7 400 Gb/s InfiniBand 网卡 ^[1]。DPU 是一种专门承担网络、存储和安全处理任务的处理器，把这些工作从主 CPU 手里接过来。InfiniBand 是超级计算机和 GPU 集群中常见的高速网络，400 Gb/s 是这些网卡的端口速率。把这些部件装进每一台机器，好处是搭集群时可以直接用一台台配置相同的整机堆叠，而不必另行采购服务器和交换机再逐一对接调试。

扩展到 SuperPOD

NVIDIA 同时给出了 DGX SuperPOD 的配置：由 DGX H100 节点搭建的集群，在 256 块 H100 GPU 上可提供 1 exaflop 的 FP8 性能 ^[1]。1 exaflop 是每秒 10^18 次运算，相当于 1000 petaflops。到了这个量级，被描述的对象已经从一台 8 卡服务器变成了一整个按超级计算机单位计量的集群。

在发展中的位置

DGX 不是单卖 GPU，而是 NVIDIA 的整机产品线：GPU、它们之间的互联，以及连接机器与机器的网络，被打包成一台交付即可运行的系统，用户拿到的是整机，而不是一份还要自己集成的零件清单。第四代系统给出的数字——单机 32 petaflops、一个 SuperPOD 1 exaflop——也说明衡量 AI 基础设施的单位已经从单块芯片变成了机柜和集群。