NVIDIA A30

是什么

NVIDIA A30 是一款数据中心 GPU，基于 NVIDIA 的 Ampere 架构。NVIDIA 为它设定的目标负载是 AI 推理（inference）和主流企业级计算。^[1] 推理是模型训练完成之后回答请求的阶段，训练则是把模型训练出来的阶段；A30 被放在前者以及日常的企业计算任务上。

规格

NVIDIA 为 A30 列出 24 GB 的 HBM2 显存和 933 GB/s 的显存带宽。^[1] HBM2 是一种堆叠式的高带宽显存。显存容量决定一张卡上能放下多大的模型或多大的批次，带宽则决定数据能以多快的速度送进计算单元。

算力方面，NVIDIA 列出 FP32 10.3 TFLOPS、带稀疏（sparsity）的 TF32 Tensor Core 165 TFLOPS、INT8 330 TOPS 和 INT4 661 TOPS。^[1][2] 这几个数字统计的对象并不相同。FP32 是普通的单精度浮点，通用 GPU 计算大多用它；TF32 是 Tensor Core 使用的一种格式，保留 FP32 的数值范围而降低精度，列出的 TF32 数字还假设启用了稀疏——跳过取值为零的权重，从而提高有效算力；INT8 和 INT4 是低精度整数格式，主要用于推理，数字越短，运算越快，需要搬运的数据也越少。

接口和功耗方面，NVIDIA 列出 165 W 的最大热设计功耗（thermal design power, TDP）和 PCIe Gen4 接口。^[1] 热设计功耗是散热系统和服务器必须按之设计的功耗上限；PCIe Gen4 则决定这张卡如何接入主机、如何在总线上传输数据。

把一张卡切成几份

NVIDIA 表示，A30 最多可以划分为 4 个 MIG 实例，每个 6 GB 显存；也可以划分为 2 个各 12 GB 的实例；或者作为一整块 24 GB 的设备使用。^[1] MIG（multi-instance GPU，多实例 GPU）把一块物理 GPU 切成若干份，各自拥有独立的显存和计算资源，多个任务或多个用户可以共用一张卡而互不干扰。NVIDIA 列出的这三种方式，区别只在于同样的 24 GB 被切得多细。

性能说法

NVIDIA 称 A30 的 AI 训练吞吐最高可达 V100 的 3 倍、T4 的 6 倍。^[1] 这是厂商在特定对比下给出的数字，实际结果取决于模型、批次大小和使用精度。

在架构中的位置

A30 属于 NVIDIA 的 Ampere 一代，通过 PCIe Gen4 接口连接主机。^[1] 24 GB 显存、165 W 的功耗上限和最多四份的切分能力，共同说明了它被出售时面向的负载：AI 推理和主流企业级计算，这类场景中一张卡常常被多个较小的任务或多个用户分着用，而不是整体交给一个大任务。^[1] NVIDIA 拿 V100 和 T4 做的对比是训练吞吐的对比，这也是它把这张卡放在自家前几代数据中心 GPU 之间的方式。^[1]