英伟达发布 Hopper 架构与 H100

背景

AI 加速器（accelerator）是专门为并行完成海量算术运算而设计的处理器，训练和运行大型神经网络正需要这样的算力。英伟达（NVIDIA）的数据中心 GPU 是这类硬件中常见的一种，很多大模型都在其上训练和提供服务。因此新一代芯片的发布对关注 AI 的人来说是一个标志性事件：它大致决定了接下来一段时间里，模型能用到多少算力、多快的显存和什么样的互联。

发布内容

2022 年 3 月 22 日，在 GTC 大会上，英伟达发布了 Hopper 架构，以及首款采用该架构的 GPU——H100。英伟达称 H100 是全球最大、最强的加速器，拥有 800 亿个晶体管^[1]。

Transformer 引擎

最受关注的特性是 Transformer 引擎（Transformer Engine），它是芯片上专为 Transformer 模型设计的一部分。Transformer 是一种网络结构：序列中的每个元素（一个词、图像的一个小块）通过注意力与其他元素相互结合，模型由此判断输入的哪些部分对当前输出更重要。Transformer 网络后来成为大多数大语言模型的基础，而它们对某一类算术运算的消耗特别大。英伟达表示，Transformer 模型已成为自然语言处理的标准模型选择，并称该引擎能把这类模型加速至多 6 倍，同时不损失精度^[1]。

性能宣称

英伟达还给出了两项与具体模型相关的说法。其一是聊天机器人可以运行 Megatron 530B——英伟达称其为全球最强的单体 Transformer 语言模型——吞吐量比上一代最高提升 30 倍；其二是训练一个 3950 亿参数的混合专家（mixture-of-experts）模型最多可快 9 倍^[1]。混合专家模型指每次输入只激活网络中一部分的结构，因此可以用上比实际运算量多得多的参数。这些数字是英伟达对新芯片相对上一代的对比，对应的是特定负载下的加速比，而不是所有任务上的普遍提升。

显存、互联与其他特性

围绕处理器核心，英伟达还公布了一系列配置：HBM3 显存，带宽 3 TB/s；PCIe Gen5；第二代多实例 GPU（Multi-Instance GPU），可把一颗芯片切成若干较小的独立实例；机密计算（confidential computing）；以及用于动态规划（dynamic programming）的 DPX 指令^[1]。互联方面，第四代 NVLink 在 DGX H100 中为每颗 GPU 提供 900 GB/s 的带宽，外部的 NVLink Switch 最多可连接 256 颗 GPU^[1]。把许多 GPU 连起来之所以重要，是因为单颗芯片放不下的模型必须拆到多颗芯片上，芯片之间的链路速度直接决定整体跑得多快。

系统、云与上市时间

采用第四代设计的 DGX H100 系统装有 8 颗 H100，在新引入的 FP8 精度下达到 32 petaflops 的 AI 性能^[1]。FP8 是一种 8 位浮点（floating-point）格式；精度越低，单次运算的开销越小，同一颗芯片单位时间内完成的运算就越多，标称性能正是按这一精度给出的。阿里云、亚马逊云科技（Amazon Web Services）、百度智能云、谷歌云、微软 Azure、甲骨文云和腾讯云都计划提供 H100 实例，英伟达表示芯片将从 2022 年第三季度起供货^[1]。此外，英伟达还发布了 Grace Hopper 超级芯片（Superchip），把一个 Hopper GPU 与一颗英伟达 Grace CPU 通过 NVLink-C2C 互联组合在一起^[1]。

意义

H100 的发布说明 AI 硬件已经在围绕一类模型来设计。英伟达放在最前面的卖点直接以 Transformer 命名，标称性能所用的 FP8 也是为吞吐量而选的低精度格式，显存、互联和多实例这些配置则指向同一个问题：怎样让一个很大的模型在多颗芯片上跑得起来、跑得快。计划提供实例的云厂商名单说明了这块芯片预期被用在哪里——不是放在桌面上，而是放在数据中心里，以租用的形式支撑聊天机器人和其他语言服务。英伟达给出的 6 倍、30 倍、9 倍这些数字，都限定在具名的模型和具体的负载上，属于厂商自己公布的对比数据。