AMD Instinct MI250X

是什么

AMD Instinct MI250X 是一款面向数据中心的加速器（accelerator）：它的用途是计算而非绘图，作为部件装进服务器出售。AMD 给出的发布时间是 2021 年 11 月 8 日^[1]。这颗芯片基于 CDNA 2 架构，由台积电以 6 纳米 FinFET 工艺制造^[1]。CDNA 是 AMD 面向数据中心负载的 GPU 设计系列，其架构白皮书描述了为计算单元供给数据的存储与缓存层级^[2]。

算力

MI250X 有 220 个计算单元（compute unit）和 14,080 个流处理器（stream processor），峰值引擎频率 1,700 MHz^[1]。计算单元是 GPU 里反复出现的构建块，由一批算术通道、寄存器与本地存储组成；流处理器就是其中执行运算的单个通道。厂商标称的性能通常是峰值速率：假设每个通道都在工作、也不因等待数据而停顿，芯片每秒能完成多少次运算。

AMD 给出的峰值是：FP16 与 BF16 为 383 TFLOPS^[1]；FP32 为 47.9 TFLOPS、FP32 矩阵运算为 95.7 TFLOPS^[1]；FP64 为 47.9 TFLOPS、FP64 矩阵运算为 95.7 TFLOPS^[1]；INT4 与 INT8 为 383 TOPs^[1]。

这组数字里有两处值得注意。矩阵（matrix）运算是普通（向量）运算的整两倍，对应的是专门的矩阵硬件：一条指令不再只处理一对数，而是一次处理一小块数据。另一处是 FP64，也就是双精度——当结果需要在很长的计算链条上保持准确时会采用的格式，物理仿真就属于这一类——它被标到与 FP32 相同的 47.9 TFLOPS，而不是打个折扣。图形取向的 GPU 上，双精度通常远慢于单精度；不为这一点付出代价的芯片，是同时冲着科学计算和机器学习去的。在 AI 一侧，同一颗芯片在训练常用的 16 位格式上达到 383 TFLOPS，在 4 位、8 位整数上达到 383 TOPs，后者是推理常用的低精度格式。

显存

加速器带 128 GB HBM2e 显存，接口位宽 8,192 位，频率 1.6 GHz，合 3.2 TB/s 带宽^[1]。高带宽内存（HBM）把 DRAM 芯片垂直堆叠，用极宽的接口连到 GPU，这就是频率不算高也能换来每秒数 TB 的原因。AMD 白皮书还给出 6.96 TB/s 的峰值理论 L2 缓存切片带宽^[2]——那是位于计算单元与片外存储之间的片上缓存。容量与速度一样要紧：128 GB 是模型参数或仿真数据必须放下的地方，带宽则决定算术通道会不会因为等数据而空转。

形态与功耗

按配置不同，热设计功耗为 500 W 或 560 W；产品以被动散热的 OAM 模块形态出货，走 PCIe 4.0 x16，另有 8 条 Infinity Fabric 链路，每条 100 GB/s^[1]。被动散热意味着模块自身不带风扇，风由服务器机箱提供。OAM（OCP Accelerator Module）是一种夹层板形态：加速器装在机内的底板上，而不是像显卡那样插进插槽，这样一台机器里才装得下多块。Infinity Fabric 是 AMD 的互连，8 条链路每条 100 GB/s，为多块加速器之间、以及加速器与主机之间提供了直接的数据通路。

它的位置

把规格连起来看，MI250X 像是一颗被要求同时干两件事的芯片：一边是双精度仿真，一边是低精度神经网络，两者共用一大池高速内存。规格也说明它不是能单独使用的产品。500 W 以上的功耗、被动散热、OAM 底板与高速互连，都把这颗加速器放进一整套服务器系统里，而这套基础设施本身，正是它的各项数字所假定的前提。