AMD Instinct MI300X

是什么

AMD Instinct MI300X 是一款面向生成式 AI 的数据中心 GPU（图形处理器）。AMD 于 2023 年 6 月 13 日在数据中心与 AI 技术首映活动上首次公开它，2023 年 12 月 6 日正式发售；它基于 CDNA 3 架构 ^[4]。这类加速卡不装在工作站里，而是插在服务器中，承担现代 AI 的两件大事：用大量数据训练模型，以及训练完成后运行模型回答请求。MI300X 的许多设计取舍偏向后者——推理时，整个模型必须驻留在内存里。

小芯片设计

MI300X 不是一整块大硅片，而是小芯片（chiplet）设计：5 nm 计算裸片（compute die）与 6 nm I/O 裸片堆叠在同一个封装内，共 1530 亿个晶体管 ^[2]。小芯片的思路是，把较小的裸片分别制造再封装成一颗大芯片，比直接造一块超大裸片更便宜也更容易，堆叠还能让关系紧密的电路靠近计算部分。封装内共有 304 个计算单元、19,456 个流处理器和 1,216 个矩阵核心，最高运行频率 2,100 MHz ^[2]。矩阵核心执行的是神经网络里最密集的乘加运算。

内存是主打

AMD 主推的特点是内存。MI300X 配备 192 GB HBM3（高带宽内存，把 DRAM 分层堆叠、通过极宽的接口连接），位宽 8,192 位，峰值带宽 5.3 TB/s，另有 256 MB Infinity Cache ^[3]。容量决定一个模型能否装进单颗芯片；AMD 在 2023 年 6 月的发布中把 192 GB 与 Nvidia H100 的 80 GB 作了对比 ^[3]。带宽同样重要，因为生成文本时，绝大部分工作是把权重一遍遍送进计算单元。

算力与功耗

AMD 数据表给出的峰值理论性能为：FP16 与 BF16 1,307.4 TFLOPS，FP8 2,614.9 TFLOPS；启用结构化稀疏（structured sparsity）后分别翻倍到 2,614.9 和 5,229.8 TFLOPS ^[1]。FP8 是一种低精度数字格式，把每个数值的存储与搬移量减半；稀疏支持则让硬件跳过取值为零的权重。两者都是用数值精度换吞吐，所以峰值数字应当理解为上限，而不是真实负载能达到的成绩。整卡最大功耗为 750 W ^[1]，芯片的密度也对应着对供电和散热的要求。

与上一代相比

与此前的 MI250X 相比，AMD 给出的数字是计算单元增加近 40%、内存容量提升到 1.5 倍、峰值内存带宽提升到 1.7 倍，并新增对 FP8 与稀疏的支持 ^[3]。这些变化的方向——单芯片内存更大、计算精度更低——正是大模型工作方式改变之后所需要的。

系统与软件

8 颗 MI300X 通过 AMD Infinity Fabric 互联（每颗 GPU 有 7 条 128 GB/s 的链路），组成 AMD Instinct Platform，合计 1.5 TB HBM3 ^[2]。AMD 表示，单颗 MI300X 就能独立完成 700 亿参数模型（如 Llama 2）的推理 ^[2]，这具体说明了容量为什么是它的卖点。发布时公布的客户包括微软 Azure 的 ND MI300x v5 虚拟机，以及计划中的 Oracle 云基础设施（Oracle Cloud Infrastructure）裸金属实例；AMD 同时发布了 ROCm 6 开放软件平台 ^[3]。在这里，软件和芯片同样重要：对多数 AI 团队来说，加速卡是否有用，取决于他们已经在用的框架和库能否跑在上面。

在发展中的位置

MI300X 是数据中心 AI 硬件变成一个竞争性市场的一个标志：它明确地在「单卡内存容量」这一个最直接限制单台设备能服务什么模型的指标上，对标 Nvidia 的 H100。除了原始容量，互联、软件与功耗同样是整幅图景的一部分。