英伟达发布 Blackwell 平台

发布了什么

2024 年 3 月 18 日，英伟达在 GTC 上发布 Blackwell 平台，它是两年前推出的 Hopper 架构的继任者^[1]。发布中最核心的说法围绕成本：英伟达称，机构可以用比 Hopper 低至 25 倍的成本与能耗，在万亿参数的语言模型上运行实时生成式 AI^[1]。英伟达同时表示，Blackwell 的各项技术支持 AI 训练与实时推理，可扩展到 10 万亿参数的模型^[1]。该架构以数学家 David Harold Blackwell 命名^[1]。

六项技术

英伟达在发布中列出了六项技术^[1]。GPU 本身有 2080 亿个晶体管，由两块裸片（die）通过一条 10 TB/s 的链路连接而成；把一颗很大的芯片拆成两块再做高速互连，只有在两块之间的数据通路足够快、合起来仍像一颗芯片时才有意义。

第二代 Transformer Engine 加入了 4 位浮点（4-bit floating point）推理^[1]。Transformer 是当前大多数语言模型采用的网络结构；推理时用更少的比特表示权重与激活值，可以减少访存和计算量，这是降低服务成本的一条路径，代价是数值精度有所损失。

第五代 NVLink 每颗 GPU 带宽 1.8 TB/s，最多可连接 576 颗 GPU^[1]。NVLink 是英伟达 GPU 之间的专用互联，用于模型大到单卡放不下、必须拆分到多张卡上的场合。RAS 引擎对应可靠性、可用性与可服务性（reliability, availability, serviceability），也就是检测硬件故障并从中恢复的机制，连在一起的器件越多，这件事越重要。名为 Secure AI 的特性属于机密计算（confidential computing），让数据在处理过程中也受到保护，而不只是在存储和传输时受保护。此外还宣布了一项解压引擎（decompression engine）^[1]。

产品

发布的产品有四类^[1]。B200 是 GPU 本身；GB200 Grace Blackwell Superchip 把两颗 B200 与一颗 Grace CPU 组合在一起；GB200 NVL72 是一台液冷机架，内含 72 颗 Blackwell GPU 和 36 颗 Grace CPU，被组织成一颗 GPU 对外提供 1.4 exaflops 的 AI 算力^[1]；HGX B200 则是八卡主板^[1]。exaflop 指每秒 10 的 18 次方次浮点运算；把整个机架当作一颗 GPU 使用，针对的是单块板卡装不下的大模型。

谁准备使用

英伟达点名的预期采用者包括 Amazon Web Services、Dell、Google、Meta、Microsoft、OpenAI、Oracle、Tesla 和 xAI，Sam Altman、Demis Hassabis、Mark Zuckerberg、Elon Musk 等人给出了支持性的评价^[1]。在云服务一侧，AWS、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 将是首批提供 Blackwell 实例的云厂商，合作伙伴的产品从 2024 年晚些时候开始推出^[1]。

位置

Blackwell 接替的是两年前推出的 Hopper^[1]。它给出的卖点不是单次训练的峰值速度，而是同等规模模型的持续服务成本——生成式模型的推理开销随每一次请求反复发生，与一次性的训练开销性质不同。几个规模数字也指向同一处：10 万亿参数的上限、GPU 之间 1.8 TB/s 的带宽、最多 576 颗 GPU 的互联域，说明的是一个模型可以有多大、可以拆到多远^[1]。被点名的云厂商与硬件伙伴则表明，这个平台打算通过既有的数据中心渠道到达客户，而不只是作为一颗单独出售的部件^[1]。