NVIDIA DGX-1

一台完整的机器

DGX-1 是 NVIDIA 在 2016 年 4 月的 GPU 技术大会（GPU Technology Conference）上发布的一台计算机，官方把它称为世界上第一台深度学习超级计算机^[1]。它不是一个处理器，而是一套整机：8 块各带 16 GB 显存的 Tesla P100 GPU，加上处理器、内存、存储和供电散热，全部装在一个机箱里^[1][2]。客户买到的是可以直接通电使用的成品，而不是自己拿零件拼出来的集群。

为什么要把 8 块 GPU 装进一个机箱

训练神经网络是一个循环：先给模型看一批样本，算出它的答案错得有多离谱，再让每个参数朝误差变小的方向挪一点，如此反复。这类计算主要是矩阵乘法，天然可以拆成成千上万个互不依赖的小运算，正好是 GPU 这种拥有大量并行核心的芯片擅长的活。把 8 块 GPU 放进同一台机器，一是它们彼此之间的连接可以比 8 台独立服务器之间更紧密，二是大模型的参数总得有地方放。NVIDIA 的宣传口径是，一台 DGX-1 能提供相当于 250 台 x86 服务器的吞吐量^[1]。这是厂商自己的对比，不是第三方测量，但它说清了这台机器想表达的意思：一台塞满加速器的机器，可以顶替一屋子通用服务器。

规格

NVIDIA 给 DGX-1 配了 8 块 Tesla P100，每块 16 GB 显存，半精度峰值性能标称最高 170 万亿次浮点运算每秒（teraflops）^[1][2]。公开的数据表列出两颗 20 核的 Intel Xeon E5-2698 v4 处理器、512 GB 系统内存和 7 TB 固态硬盘存储，机箱为 3U，最大功耗 3,200 瓦^[1][2]。从这些数字看，它是数据中心里的设备，而不是放在工位下面的工作站，需要配套的供电和散热。

半精度是什么意思

170 万亿次这个数字是半精度（half precision）下的峰值。所谓半精度，是指每个浮点数用 16 位来存，而不是单精度常用的 32 位。位数少，需要搬运的数据就少，同样时间里能做的运算就多，代价是能表示的数值范围变窄、精度变粗。深度学习对这种误差的容忍度比多数数值计算高，所以 NVIDIA 把半精度的数字放在了最显眼的位置。峰值也只是理论上限：真实训练跑出来的速度只是它的一部分，这个数字本身也不说明某个具体模型训练得快不快。

在发展中的位置

在这类机器出现之前，做深度学习的研究组大多是买加速卡，再自己配服务器把它们装起来。DGX-1 卖的则是整套装配好的系统，GPU、处理器、存储、供电和散热打包成一个型号，规格表上的数字也归成了一套^[1]。对领域来说，真正起作用的是这种打包方式：加速卡的数量变成了一个可以直接下单采购的量，实验室也有了一个可以对照的参考配置。