NVIDIA DGX A100

它是什么

NVIDIA DGX A100 是一台面向人工智能计算的整机服务器。NVIDIA 把它算作 DGX 系统的第三代产品^[1]。DGX 是 NVIDIA 自己设计、自己组装、以整机形式出售的机器：GPU、GPU 之间的高速互联、内存和系统软件作为一套成品交付，用户不必自己挑选部件、再拼装成系统^[1]。这类系统的意义在于规模：训练一个大神经网络要做海量的矩阵乘法，计算必须分散到许多处理器上并行完成。

由来

NVIDIA 在 2020 年 5 月 14 日的 GTC 2020 大会上发布 DGX A100^[1]。这套系统的第一笔订单来自美国能源部（US Department of Energy）下属的阿贡国家实验室（Argonne National Laboratory），用于 COVID-19 研究^[1]。

内部构成

一台 DGX A100 装有 8 块 A100 GPU，GPU 显存合计 320 GB^[1]。让 8 块加速器像一台机器那样协同工作，主要是个通信问题：训练过程中，GPU 之间要不停交换梯度和中间结果。NVIDIA 的技术博客说，系统用 6 套第二代 NVSwitch 互联结构连接这 8 块 GPU，每块 GPU 的带宽为 600 GB/s，整机双向总带宽 4.8 TB/s^[2]。NVSwitch 是装在服务器内部的一类交换芯片，作用类似于网络交换机对计算机的作用：它让任意两块 GPU 都能高速直接通信，不必绕道 CPU 或外部网络。

整机的 AI 性能被 NVIDIA 标定为 5 petaflops^[1]。petaflops 指每秒一千万亿次（10 的 15 次方）浮点运算；用在 AI 场景上，这个数字概括的是机器在单位时间里能完成多少这类运算。

把它切开用

A100 支持多实例 GPU（multi-instance GPU），可以把一块物理 GPU 切分成若干相互隔离的分片，每个分片有自己的显存和计算资源。NVIDIA 表示，一台 DGX A100 用这种方式最多可以切分成 56 个实例^[1]。这一点之所以重要，是因为并非所有任务都需要整台机器：一个小组同时跑许多小规模实验，或者一个集群同时给众多用户提供推理服务，可以让每个任务独占一份分片，而不必排队等整机。同一台硬件因此既能当作一台大型训练机，也能当作几十台小机器使用，切换靠软件完成，不用另买设备。

在发展中的位置

DGX A100 是 DGX 系列的第三代^[1]。它和内部那颗 A100 GPU 的关系很直接：DGX 是把这颗芯片连同互联与系统软件打包成开箱即用系统的方式，卖出去的不是零散部件。第一笔订单落在阿贡国家实验室，使这套机器在刚问世时就进入了从事传染病研究的国家级实验室，成为它用于科学计算的一个早期公开例子^[1]。