英伟达把第一台 DGX-1 送到 OpenAI

背景

2016 年 4 月 5 日，英伟达（NVIDIA）在 GTC 大会上发布 DGX-1，称其为“世界上第一台深度学习超级计算机”。^[1] 它要卖的不是一颗芯片，而是一整台机器：硬件、深度学习软件与工具被整合进一个开箱即用的机箱里，英伟达称其吞吐量相当于 250 台 x86 服务器。^[1] 该产品定于 2016 年 6 月在美国上市。^[1]

这个时间点对应着深度学习做法上的变化。训练一个大神经网络，本质上是对大量数字反复做简单的运算，其中很大一部分是矩阵乘法；为图形而生的 GPU，恰好擅长这种高度并行的算术。把这种能力打包成一台调好的整机，研究团队就不必先自己搭一套集群、把环境调通，才能开始训练模型。

交付

2016 年 8 月，英伟达首席执行官黄仁勋（Jensen Huang）亲手把第一台 DGX-1 送到位于旧金山的 OpenAI 总部。^[2] TOP500 于 2016 年 8 月 15 日报道了这次交付。^[2] 当时的 OpenAI 还是一家年轻的研究机构，收到这一类新机器的第一台是个不太寻常的举动：厂商的负责人是自己把箱子搬过去的，而不是发货了事。

机器里有什么

这台机器装有 8 块 Tesla P100 GPU，每块显存 16 GB，通过 NVLink 混合立方网格（hybrid cube mesh）互联。^[1] 英伟达给出的半精度（FP16）性能最高为每秒 170 万亿次浮点运算——每秒 1 万亿次浮点运算即 1 teraflops，FP16 指半精度浮点算术，常用于神经网络的训练和推理。^[1] 整机还配有 7 TB 的 SSD 缓存、双 10GbE 与四路 100Gb InfiniBand 网络，装在 3U 机箱内，功耗 3,200 瓦。^[1]

随机附带的软件和芯片一样是产品的一部分：英伟达的 DIGITS 训练系统、cuDNN 5 库，以及经过优化的 Caffe、Theano 和 Torch 框架。^[1] 实际效果是，团队可以把自己的模型直接搬到这台机器上，而不必为硬件重写一遍。

OpenAI 打算用它做什么

据 TOP500 报道，OpenAI 将用这台机器处理一些计算上最吃力的工作，包括生成式建模（generative modelling）和对话式 AI。^[4] OpenAI 的研究科学家伊利亚·苏茨克维（Ilya Sutskever）称它是“一次巨大的进步”，能让团队去探索此前根本没法尝试的问题。^[4]