英特尔 Gaudi 3

是什么

英特尔 Gaudi 3 是一款 AI 加速器，用于在数据中心服务器上训练和推理生成式 AI 模型^[1]。英特尔于 2024 年正式推出这款产品^[2]。它以 OAM 模块的形式交付，这是一种服务器厂商插在共享底板上的夹层卡；由 8 颗加速器组成的底板，是英特尔给出报价的单位^[1][2]。

两颗芯片、几类计算单元

Gaudi 3 的计算部分由两颗采用 5 纳米工艺制造的芯片组成，两颗芯片通过中介层桥接（interposer bridge）相连^[1]。整颗芯片上有 64 个张量处理器核心（tensor processor core）和 8 个矩阵乘法引擎（matrix multiplication engine）^[1]。两类单元分工不同：矩阵乘法引擎是固定功能模块，专门执行稠密矩阵乘法，也就是神经网络训练和推理中占比最大的那类运算；张量处理器核心则是可编程单元，负责周边的向量运算与逐元素运算。芯片上另有 96 MB 片上 SRAM，带宽 12.8 TB/s^[1]。

显存与算力

Gaudi 3 配有 128 GB HBM2e 显存，由 8 个堆栈（stack）组成，总带宽 3.67 TB/s^[1]。矩阵运算方面，英特尔给出的数字是 BF16 与 FP8 均为 1,835 TFLOPS^[1]。芯片支持的矩阵运算数据格式包括 FP8、BF16、FP16、TF32 和 FP32^[2]。位宽越窄的格式，用精度换取吞吐和容量，FP8 每个数占用的位数只有 BF16 的一半。向量运算单独计算：BF16 为 28.7 TFLOPS，FP32 为 14.3 TFLOPS^[1][2]。

做进模块里的网络

OAM 模块采用 PCIe Gen5 x16，双向带宽 128 GB/s，并通过 48 条 112G PAM4 Serdes 集成 24 个 200GbE RoCE 端口^[1]。RoCE 即融合以太网上的远程直接内存访问（RDMA over Converged Ethernet），它让一台加速器可以直接读写另一台加速器的内存，不必让流量绕经主机处理器。在这里，这些以太网端口是直接做在加速器模块上的。

功耗与散热

热设计功耗在风冷条件下为 900 W，液冷条件下为 1,200 W^[1]。两个数字之间的差距，反映的是液冷回路能从这种密度的模块上带走多少额外的热量。

价格与上市

英特尔表示，一台装 8 颗 Gaudi 3 的底板价格约为 12.5 万美元，折算下来每颗芯片约 15,625 美元^[2]。戴尔、HPE 和 Supermicro 的系统原计划在当年第四季度上市^[2]。

要点

英特尔在 Hot Chips 2024 上公布了这款芯片的架构细节^[1]。综合来看，这一设计把大容量的高带宽显存及其带宽、BF16 与 FP8 相同的矩阵峰值算力，以及集成在模块上的 200GbE 网络放在一起，并给出了按 8 颗底板折算约每颗 15,625 美元的价格^[1][2]。