NVIDIA H100

是什么

NVIDIA H100 是一款数据中心 GPU，也是首款基于 Hopper 架构的芯片^[1]。它面向人工智能计算——既用于训练大型神经网络，也用于把这些模型跑起来提供服务——接替的是两年前推出的 Ampere 架构^[1]。Hopper 一名来自计算机科学家 Grace Hopper（格蕾丝·霍珀）^[1]。

发布

NVIDIA 于 2022 年 3 月 22 日在 GTC 大会上发布 H100，并表示该芯片将从 2022 年第三季度起供货^[1]。

芯片与显存

H100 有 800 亿个晶体管，采用台积电为 NVIDIA 定制的 4N 工艺制造^[1]。NVIDIA 称它是首款支持 PCIe Gen5 的 GPU，也是首款使用 HBM3 显存的 GPU^[1]。HBM 即高带宽显存：把 DRAM 多层堆叠、放在离 GPU 核心很近的位置，让数据走远比普通显存更宽的通路。

SXM 版本的 H100 配备 80 GB HBM3，带宽 3.35 TB/s，热设计功耗可配置到最高 700 W^[2]。NVIDIA 给出的 Tensor Core 性能是 FP16 下 1,979 万亿次浮点运算（TFLOPS）、FP8 下 3,958 TFLOPS，这些数字按稀疏性计算——稀疏性指跳过取值为零的权重，从而把标称算力成倍放大^[2]。采用 PCIe 形式的 H100 NVL 每块 GPU 有 94 GB 显存、带宽 3.9 TB/s^[2]。

互联与新指令

第四代 NVLink 为每块 GPU 提供 900 GB/s 的 GPU 间带宽，外部的 NVLink Switch 可以把最多 256 块 H100 连成一张网^[2]。这一点很关键，因为一次训练通常要摊到许多块 GPU 上，卡与卡之间要不停交换数据。H100 还引入了机密计算（confidential computing），让数据在处理过程中也受到保护，并加入了面向动态规划算法的 DPX 指令^[2]。

Transformer Engine 与 Tensor Core

H100 的 Transformer Engine 是专门为 Transformer 模型设计的，而 Transformer 正是今天大多数大语言模型采用的神经网络结构；NVIDIA 称它能让这类模型比上一代最快提升 6 倍，同时不损失精度^[1]。这块芯片的第四代 Tensor Core 增加了 FP8 精度，这是一种比 FP16 更低的数值格式，所需存储和带宽大约减半；NVIDIA 称训练 1750 亿参数的 GPT-3 比上一代最快提升 4 倍^[2]。

系统

围绕这块芯片搭建的八卡服务器 DGX H100，在 FP8 精度下的 AI 性能标称为 32 petaflops^[1]。

出口管制

在 H100 出货之前，2022 年 8 月 26 日，美国政府告知 NVIDIA，向中国（含香港）和俄罗斯出口 A100 以及「即将推出的 H100」需要许可证^[3]。NVIDIA 表示，这一限制可能影响它按时完成 H100 的开发^[3]。也就是说，通知到达时产品还在收尾阶段，这块芯片从诞生之初就处在政策争论之中，而不是在市场上销售多年之后才被卷入。

在架构序列中的位置

H100 是 Ampere 的后继，也是 NVIDIA 开始用一个功能去命名它所服务的模型家族——Transformer Engine——的那一代产品^[1][2]。从 HBM3、FP8，到 NVLink Switch 和 700 W 的功耗上限，它的规格表勾勒出模型变大之后大规模 AI 硬件的形状：更大的显存带宽、更低精度的算术，以及把更多 GPU 连在一起的组网方式。