NVIDIA A100

是什么

A100 是 NVIDIA 的数据中心 GPU，也是第一款基于 Ampere 架构的 GPU。它在 2020 年 5 月 14 日的 GTC 2020 上发布，NVIDIA 当时表示这款芯片已进入全面量产并开始出货，并称其 AI 性能最高可达上一代的 20 倍^[1]。

芯片本身

芯片核心代号 GA100，在 826 mm² 的裸片上集成了 542 亿个晶体管，由台积电以 7 nm 的 N7 工艺制造。NVIDIA 称它是世界上最大的 7 纳米处理器^[2]。这样大的裸片既是工程问题也是制造问题：芯片面积越大，每片晶圆上能切出的良品就越少，所以「发布即量产」本身就是发布叙事的一部分。

Tensor Core 与数值格式

第三代 Tensor Core 是 GPU 内部专门做矩阵乘加的单元，这一代增加了多种数值格式。TF32 可以在不改动代码的情况下加速原本按 32 位浮点写的计算，硬件同时支持 BF16 和 FP64。官方给出的稠密峰值是：Tensor Core 上 FP16/BF16 达 312 TFLOPS，TF32 达 156 TFLOPS，FP64 Tensor Core 运算 19.5 TFLOPS^[2]。用多种格式的思路在这类硬件上是通用的：用更少的比特表示一个数，同一块硅片每秒就能吞吐更多个数，只要所选格式对神经网络权重保留了足够的范围，就能换来速度。

稀疏

第二个吞吐来源是细粒度结构化稀疏（fine-grained structured sparsity）。训练出来的网络里很多权重是零，Tensor Core 可以跳过这些零而不是对它们做运算，在支持的稀疏模式下吞吐翻倍。稀疏峰值由此而来：FP16 为 624 TFLOPS，INT8 为 1,248 TOPS^[2]。

把一块 GPU 切成七份

多实例 GPU（Multi-Instance GPU，MIG）可以把一块 A100 划分成最多 7 个相互隔离的 GPU 实例^[2]。这解决的是利用率问题：对小任务来说，一整块加速卡是浪费，而相互隔离的实例让多个较小的负载共用一张卡又互不干扰。

显存

最初的 A100 配备 40 GB HBM2 显存，带宽 1,555 GB/s，另有 40 MB 的 L2 缓存。后来的 A100 80GB SXM 版本改用 HBM2e，带宽 2,039 GB/s，最大热设计功耗为 400 W^[3]。

系统与云端

NVIDIA 卖的不只是芯片。同一天发布的还有 DGX A100 系统，一台机器里装 8 块 A100^[1]。云厂商也同步跟进：阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure、Oracle 和腾讯云都计划提供 A100 服务^[1]。微软表示将在 Azure 中用数千块 A100 训练「规模大得多的 AI 模型」^[1]。

在大模型训练中的位置

A100 后来成为大语言模型实际训练所用的机器之一，相关论文记录了它在实践中是什么样子。Meta 的 LLaMA 论文（2023 年 2 月）报告，在 2,048 块 A100 80GB 上训练 650 亿参数模型时，每块 GPU 每秒约处理 380 个 token（词元），因此 1.4 万亿 token 的训练大约用了 21 天；团队估计开发这些模型一共用了 2,048 块 A100-80GB 约 5 个月^[4]。Llama 2 论文（2023 年 7 月）称，预训练在 Meta 的研究超算集群和内部生产集群上进行，两者都使用 NVIDIA A100，在 A100-80GB 硬件（热设计功耗 350–400 W）上共耗费 330 万 GPU 小时^[5]。

这些数字说明的不只是「一块很快的芯片」。它们显示出当时前沿训练是用什么单位做预算的——GPU 数量、每秒 token 数、GPU 小时——也说明为什么一块芯片的显存容量和带宽与它的算术峰值同样重要：模型总得被喂饱。