NVIDIA Tesla V100

是什么

NVIDIA Tesla V100 是一款数据中心 GPU，2017 年 5 月 10 日由黄仁勋（Jensen Huang）在 NVIDIA GTC 主题演讲中发布^[1]。它是第一款基于 Volta 的产品，NVIDIA 称 Volta 为其第七代 GPU 架构^[1]。黄仁勋说，数千名工程师花了三年多时间打造 Volta^[1]。所谓数据中心 GPU，指的是装在服务器板卡上出售的处理器：它没有显示输出，衡量标准是在给定功耗和机架空间下能完成多少大规模数值计算，比如训练神经网络、跑仿真。

芯片

名为 GV100 的芯片有 211 亿个晶体管，裸片面积 815 平方毫米，由台积电（TSMC）用为 NVIDIA 定制的 12 纳米 FFN 工艺制造^[2]。V100 使用的版本开放 80 个流式多处理器（streaming multiprocessor，SM），共 5120 个 CUDA 核心^[2]。CUDA 核心是执行 GPU 程序中普通浮点指令的小型运算单元。

张量核心

让 V100 区别于此前 NVIDIA 数据中心芯片的，是每个 SM 内部新增的一类单元。V100 引入了张量核心（Tensor Core），共 640 个，每个 SM 8 个^[2]。它在每个时钟周期里把两个 4×4 的 FP16 矩阵相乘，再把结果累加进一个 FP16 或 FP32 矩阵^[2]。也就是说，一次张量核心操作含 64 次乘加，而且由固定功能硬件一步做完，不必展开成一长串普通指令。矩阵乘法正是训练和运行神经网络时最吃算力的运算，因此专门划出一块电路做小规模矩阵乘加，是换取吞吐量的一条路。乘法用 FP16，每个数的存储与带宽开销减半；累加用 FP32，又让累加和不容易丢精度。

性能数字

NVIDIA 的架构白皮书给出深度学习 125 Tensor TFLOPS，并称这最多可达上一代 P100 上标准 FP32 运算训练吞吐峰值的 12 倍^[2]。同一份文件给出的 FP32 为 15.7 TFLOPS，FP64 为 7.8 TFLOPS^[2]。发布新闻稿把深度学习那一项取整为 120 teraflops^[1][2]。

显存、互联与功耗

板卡上有 16 GB HBM2 显存，由 NVIDIA 与三星（Samsung）共同开发，峰值带宽 900 GB/s，约为 P100 实际带宽的 1.5 倍^[2]。HBM2 把存储芯片堆叠起来、与 GPU 封装在一起，这样宽位宽的连接才放得上一张板卡。第二代 NVLink 最多支持 6 条链路、合计 300 GB/s 带宽，而 P100 是 4 条链路、160 GB/s^[2]。热设计功耗为 300 W^[2]。

谁宣布要用它

发布时，橡树岭国家实验室（Oak Ridge National Laboratory）表示，其将于 2018 年完成的 Summit 超级计算机将由 Volta GPU 驱动；亚马逊云科技（Amazon Web Services）、Google Cloud、微软（Microsoft）、百度、腾讯也宣布支持^[1]。

后来的位置

更长远的影响出现在机器学习领域。OpenAI 于 2020 年 5 月发表的 GPT-3 论文在第 2.3 节写道，其所有模型（最大到 1750 亿参数）都是在微软提供的高带宽集群的一部分上、用 V100 GPU 训练的^[3]。也就是说，一款 2017 年发布的芯片，承担了 2020 年那个 1750 亿参数语言模型的训练。