英伟达发布 A100 GPU

背景

A100 是英伟达数据中心 GPU 八代产品中的最新一款，公司称它是这一系列中性能提升最大的一次^[1]。这类芯片最主要的用途是机器学习：训练模型意味着在极大量的数据上反复做同样的运算，推理则是为每一次请求做量小得多的同类运算，两者都受益于能同时进行大量计算的处理器。

发布

2020年5月14日，英伟达在 GTC 2020 上宣布，基于 Ampere 架构的首款 GPU A100 已全面量产，并向全球客户发货^[1]。公司宣称其 AI 训练与推理性能最高可达前代产品的20倍^[1]。黄仁勋（Jensen Huang）把它称为一次20倍的 AI 性能跃升，也是一个端到端的机器学习加速器^[1]。

五项突破

英伟达围绕五项内容介绍这次发布。其一是 Ampere 架构本身，晶体管数量超过540亿，公司称其为世界上最大的7纳米处理器^[1]。其二是第三代张量核心（Tensor Core），即承担神经网络矩阵运算的专用单元，这一代加入了对 TF32 的支持^[1]。其三是多实例 GPU（Multi-Instance GPU），一块 A100 最多可划分为7个独立实例，让多个任务或用户共用一张卡^[1]。其四是第三代 NVLink，即让 GPU 之间直接高速交换数据、不必绕经 CPU 和系统内存的互联技术^[1]。其五是结构化稀疏（structural sparsity）：训练好的网络里大量权重为零或接近零，能跳过这些计算的硬件就少做许多功，英伟达称这可以使性能翻倍^[1]。

系统、云与超算

与芯片同时发布的还有 DGX A100 系统，8块 A100 通过 NVLink 互连，当天即可供货^[1]。8 GPU 的 HGX A100 板卡标称 AI 性能为 10 petaflops，即每秒一千万亿（10^15）次浮点运算^[1]。

计划提供 A100 服务的云厂商包括阿里云、AWS、百度云、谷歌云、微软 Azure、Oracle 和腾讯云^[1]。微软表示，已在当时那一代英伟达 GPU 上训练了 Turing NLG，接下来会在 Azure 中用数千块 A100 训练规模大得多的人工智能模型^[1]。发布时公布的早期超算用户包括印第安纳大学的 Big Red 200、德国于利希超级计算中心（Jülich Supercomputing Centre）、卡尔斯鲁厄理工学院（Karlsruhe Institute of Technology）、马克斯·普朗克计算与数据中心（Max Planck Computing and Data Facility），以及美国 NERSC 的 Perlmutter^[1]。

软件配套

新芯片要有软件才能用起来，英伟达同时发布了 CUDA 11 以及50多个 CUDA-X 库的新版本，以支持 A100^[1]。CUDA 是开发者用来为英伟达 GPU 编写通用程序的编程环境；CUDA-X 库则把常见任务（例如深度学习）的常用例程打包好，用户不必从零写起。

影响

这次发布呈现出数据中心 AI 芯片的一种典型节奏：新架构、与上一代相比的倍数说法、基于它打造的系统、云厂商的支持承诺，以及点名的一批超算安装，都在同一天公布^[1]。对构建 AI 系统的人来说，实际变化是大量算力会同时以按小时租用的形式出现在主流云上，并进入各国的超算中心^[1]。20倍是英伟达自己给出的、与前几代产品的比较；具体到真实任务能快多少，取决于所用的模型和数值精度。