NVIDIA DGX-2

一台围绕一个数字设计的服务器

NVIDIA 在 2018 年 3 月的 GTC 大会上发布了 DGX-2，并称它是第一台提供两千万亿次（two petaflops）浮点运算能力的单一服务器^[1]。千万亿次是衡量吞吐量的单位：每秒一千万亿（10^15）次浮点运算。这个数字之所以重要，是因为训练一个大型神经网络基本上就是在做海量的乘加运算，算得越快，一次训练所需的时间就越短。

DGX-2 不是一颗芯片，而是一台完整的服务器——一个机箱里装着许多处理器、它们的内存以及连接这些处理器的线路，作为单一整机出售，实验室或数据中心接通电源即可使用。

机箱里有什么

按照 NVIDIA 的数据表，这套系统搭载 16 块 Tesla V100 GPU，GPU 内存合计 512 GB；此外还有 12 个 NVSwitch、81,920 个 CUDA 核心和 1.5 TB 系统内存^[2]。CUDA 核心是 NVIDIA GPU 内部的算术单元，负责执行程序中的并行线程。

数据表给出的最大功耗是 10 kW^[2]。这个数字值得一提：10 kW 是小型集群而非工作站的量级，它决定了这样一台机器能装在哪里、需要怎样散热。

与它一同出现的 NVSwitch

NVIDIA 随 DGX-2 一起推出了 NVSwitch，它把全部 16 块 GPU 连接起来，聚合带宽达到 2.4 TB/s^[1][2]。

交换芯片要解决的是拓扑问题。在服务器内部，GPU 之间需要交换数据，而这种交换的代价取决于链路怎么排布。交换芯片相当于一个中心节点，许多 GPU 都可以接到它上面，于是任意两块 GPU 之间的数据不必再挤在固定的两两配对的链路上。一个机箱里放 16 块 GPU，这一点决定了整台机器是表现得像一个大加速器，还是像十六个彼此分离的加速器。

为什么拿数据中心作比

NVIDIA 用被替代的设备来给 DGX-2 定位：它的深度学习算力相当于 300 台服务器、占 15 个机架，而体积只有后者的六十分之一^[1]。这既是性能上的说法，也是封装上的说法——同样多的算力被压进很小的一块占地，并且有互联把各部分连成一体。

这种表述指向了这类系统的用途。过去必须拆到许多台机器上、机器之间的网络反而成为瓶颈的工作，原则上可以收进一个机箱之内。对研究者来说，这改变了购买的单位：从一整个集群变成一台整机。

它处在什么位置

DGX-2 体现的是一个明确的判断：通往更好 AI 结果的捷径，在于非常大、耦合非常紧的 GPU 系统，而客户会把它当作集成产品买回去，而不是自己攒。两千万亿次的算力、16 块 GPU 与 10 kW 的功耗边界，共同定义了这个判断的形状——大量算力集中在一处，密度高到使供电与散热成为设计本身的一部分。