NVIDIA H200

是什么

H200 是 NVIDIA 于 2023 年 11 月 13 日在 SC23 上发布的数据中心 GPU^[1]。它是面向大模型训练与推理的 Tensor Core GPU，NVIDIA 称它是首款采用 HBM3e 显存的 GPU^[1]。单颗 H200 提供 141 GB 显存，带宽 4.8 TB/s；与 A100 相比，容量接近翻倍，带宽是后者的 2.4 倍^[1]。

HBM（high-bandwidth memory，高带宽内存）的做法是把 DRAM 芯片一层层垂直堆叠，再通过很宽的接口连到处理器，而不是像传统显卡那样把内存颗粒平铺在电路板上。堆叠缩短了信号要走的距离，也让处理器一次能并行读写更多数据，因此在带宽比「以后还能扩充显存」更重要的场合被普遍采用。HBM3e 是这一标准较新的一代^[1]。

为什么强调显存

跑一个大语言模型，瓶颈常常不在算力而在显存。参数必须整个放得进显存，容量因此直接决定了单颗芯片能装下多大的模型；而模型每生成一个 token，都要把这些参数从显存里读一遍，带宽因此决定了它回答得能有多快。这两个数字提升，通常直接对应到更大的单卡模型、更长的输入、更大的批量或更快的响应。NVIDIA 公布 H200 时，重点讲的正是显存容量与带宽^[1]。

算力、功耗与互联

NVIDIA 表示，八路 HGX H200 系统（一块基板上装 8 颗 GPU）可提供超过 32 petaflops 的 FP8 深度学习算力，以及 1.1 TB 的高带宽内存总量^[1]。FP8 是 8 位浮点格式：与 16 位格式相比，每个数占用的位数减半，同样的芯片每秒能完成更多运算，代价是精度下降，所以只用在能容忍这种误差的计算上。

NVIDIA 的规格表列出 H200 SXM 在稀疏条件下的 FP8 Tensor Core 性能为 3958 teraflops，可配置 TDP 最高 700 W^[2]。稀疏支持指硬件可以跳过取值为零的权重、不做无意义的乘法；TDP 则是这颗芯片设计时对应的功耗与散热上限。同一张表还列出 H200 SXM 的 NVLink 带宽为 900 GB/s^[2]。NVLink 是 NVIDIA 自家的 GPU 间直连通道，让多颗 GPU 交换数据时不必绕道通用的 PCIe 总线。

不同的封装形态

H200 并不只以单卡形式提供。NVIDIA 表示，带 HBM3e 的 H200 也出现在 GH200 Grace Hopper 超级芯片中，这一封装把 GPU 与 NVIDIA 自己的 Grace CPU 放在一起^[1]。此外还有 H200 NVL 版本，最多可用 NVLink 连接 4 颗 GPU，大模型推理速度比 H100 NVL 快 1.7 倍^[2]。

在发展中的位置

NVIDIA 表示，搭载 H200 的系统预计在 2024 年第二季度开始出货^[1]。与显存数字并列的核心性能说法是：在 700 亿参数的 Llama 2 70B 上，H200 的推理速度接近 H100 的两倍^[1]。这个对比指向的正是它被安排的工作——把已经训练好的模型跑起来对外服务，这类任务受限于把权重从显存里读出来的速度；相比之下，训练更依赖原始的算力吞吐。

对采购方来说，这次发布回答的实际问题是：一台设备能装下多大的模型，又能以多快的速度把结果提供出来，而容量与带宽这两个数字就是答案。