英伟达 GTC 2017 发布 Volta 与 Tesla V100

面向另一种负载的 GPU

图形处理器最初用来绘制屏幕上的像素，这类运算天然可以拆成成千上万个小规模的并行计算。神经网络需要的恰好是同一种并行算术，而英伟达此前已把数据中心 GPU 卖进深度学习与科学计算领域。Volta 被宣布为「推动 AI 与高性能计算下一波进展」而打造的架构^[1]。

主题演讲

2017年5月10日，创始人兼首席执行官黄仁勋（Jensen Huang）在 GTC 主题演讲中发布 Volta^[1][2]。英伟达称它是全球最强的 GPU 计算架构^[1]。同场还发布了首款基于 Volta 的处理器——数据中心 GPU Tesla V100^[1]，这是一块供服务器使用、而非装进台式机的芯片。

V100 里有什么

Volta 是英伟达第七代 GPU 架构，由 210 亿个晶体管构成^[1]。V100 配有 640 个张量核心（Tensor Core）^[1]，这是一类专门做小矩阵乘法与累加的电路，而神经网络训练的主体运算正是这种乘加；用硬件直接完成，比走通用指令更省时间。英伟达给出的深度学习性能是 120 万亿次浮点运算每秒（teraflops），并称这相当于 100 颗 CPU 的性能^[1]。

存储器是设计的另一半。V100 配备 900 GB/s 的 HBM2 显存（DRAM），与三星合作开发，内存带宽比上一代 GPU 高 50%^[1]。带宽之所以关键，是因为训练网络要不停地在显存与处理器之间搬运权重和数据；供不上数据，运算单元就只能空等。英伟达也给出了代际对比：峰值浮点性能是 Pascal 的 5 倍，是 Maxwell 架构的 15 倍^[1]。

整机与价格

伴随芯片一起公布的还有价格：一台装有 8 块 Volta GPU 的 DGX-1 系统定价 14.9 万美元^[3]。DGX-1 是把 8 块 GPU 装进一个机箱的服务器，因此这个价格对应的是一台可以直接开工的整机，而不是一块零件；它也大致标出了当时一个团队想在自己的机房里用上 Volta 级算力所需的投入量级。

这场发布在论证什么

论证方式是比较。把 120 万亿次浮点运算说成相当于 100 颗 CPU，再拿 Pascal 和 Maxwell 作代际对照，实际是在说：过去需要一大片通用处理器集群来做的事，现在可以用少得多的 GPU 来完成^[1]。把 AI 与高性能计算并列为两个目标领域，则让这块芯片同时指向深度学习和传统的科学计算。峰值数字描述的是上限，而不是典型负载下的表现，这一点在理解这类对比时值得记住。