NVIDIA Tesla P100

是什么

Tesla P100 是 NVIDIA 在 2016 年 4 月 5 日的 GPU 技术大会上发布的数据中心 GPU，基于 Pascal 架构，NVIDIA 当时称它是其打造过的最先进的大规模数据中心加速器 ^[1]。它不是用来接显示器的显卡，而是一块计算卡：装在服务器里做浮点运算。

芯片本身

核心芯片 GP100 采用 16 纳米 FinFET 工艺制造，在 610 平方毫米的芯片面积上集成了 153 亿个晶体管，NVIDIA 称它是当时世界上最大的 FinFET 芯片 ^[2]。芯片内有 56 个流式多处理器（streaming multiprocessor），合计 3584 个 FP32 CUDA 核心 ^[2]。开启 GPU Boost 后，双精度峰值 5.3 万亿次浮点运算每秒（teraflops），单精度 10.6 万亿次，半精度（FP16）21.2 万亿次 ^[2]。最后这个数字对机器学习最关键：新增的半精度指令就是冲着深度学习去的——神经网络的运算可以容忍更窄的数值格式，换来每秒高得多的运算量。

显存与互联

P100 是第一个使用 HBM2 堆叠显存的 GPU。16 GB 显存与 GPU 做在同一封装上，采用 CoWoS（Chip-on-Wafer-on-Substrate，晶圆上芯片再上基板）工艺，带宽 720 GB/s，是上一代 Maxwell 架构的 3 倍；热设计功耗 300 瓦 ^[2]。把显存放到封装内而不是铺在电路板上，连线更短，这是在该功耗下做到这个带宽的原因。

它还首次引入 NVLink：一种 GPU 之间的互联，双向带宽 160 GB/s，是 PCIe Gen3 x16 的 31.5 GB/s 的 5 倍；一台服务器里最多可以连接 8 块 P100，让卡与卡直接交换数据，而不必都绕经 CPU 和 PCIe 总线 ^[2]。

性能说法

NVIDIA 声称，它在神经网络训练上的性能是其 Maxwell 方案（的计算方案）的 12 倍以上，并称要用 CPU 服务器完成 8 块 P100 在 AlexNet 训练上的工作量，需要 250 台双路服务器节点 ^[1]。这个对比正是产品的意义所在：过去要一间机房的处理器来做的事，被收进几块加速卡里。

首个系统

P100 最早随 NVIDIA DGX-1 系统出货，该系统 2016 年 6 月在美国正式上市。一台机器装 8 块 P100，每块 16 GB 显存，FP16 性能最高 170 万亿次 ^[3]。

在进程中的位置

最能说明这块卡带来了什么的，是后来建立在它之上的工作。2017 年的 Transformer 论文《Attention Is All You Need》写明，模型是在一台装有 8 块 NVIDIA P100 的机器上训练的：基础模型每步约 0.4 秒，训练 10 万步，约 12 小时；大模型每步 1.0 秒，训练 30 万步，约 3.5 天。论文在估算训练成本时，把 P100 的单精度持续性能取为 9.5 万亿次每秒 ^[4]。

把这些规格和这种用法放在一起，能看到一个变化：在此之前，训练大型神经网络往往要摊到许多台 CPU 机器上；而 HBM2 喂数据、FP16 做矩阵乘、NVLink 把 8 块卡连成一体之后，一台八卡服务器本身就成了一个可用的计算单位。高带宽堆叠显存、面向学习的低精度快速通路、专用的 GPU 互联，这三样在 P100 这一款数据中心产品上凑齐，后来的深度学习系统基本都沿着这个组合来设计。