英特尔 Gaudi 2

是什么

英特尔 Gaudi 2 是一块面向数据中心的 AI 加速器：它被装进服务器，专门承担大型神经网络里密集的矩阵运算，本身并不负责运行整个操作系统。它的设计很大程度上由显存决定——在英特尔自己给出的对比表里，Gaudi 2 配备 96 GB 的 HBM2e（high bandwidth memory，高带宽显存），峰值带宽 2.46 TB/s^[1]。HBM2e 由堆叠的存储芯片与处理器封装在一起，连接通路很宽，带宽远高于普通服务器内存。对 AI 计算来说这一点有两重意义：模型参数必须装得进这块显存；参数被读取的速度又限制了芯片把它们算完的速度。

算力

同一张表里，Gaudi 2 的 BF16 峰值算力为 432 TFLOPS^[1]。BF16 是一种 16 位浮点格式，保留了 32 位浮点的指数范围而削减尾数，因此成为训练中常见的精度。据 Tom's Hardware 报道，这块芯片有 24 个张量处理器核心（tensor processor core）和 2 个矩阵乘法引擎^[2]，深度学习里占主导地位的乘加运算主要由它们完成。同一篇报道给出的 FP8 矩阵算力为 865 TFLOPS^[2]；FP8 用 8 位而非 16 位存放一个数，每个数值占用的存储与传输量大约减半，同样的硅片每秒能做更多运算，代价是精度下降。

芯片上的运算并不全是矩阵运算。Tom's Hardware 给出的 Gaudi 2 的 BF16 向量算力为 11 TFLOPS，明显低于英特尔为 Gaudi 3 给出的 28.7 TFLOPS^[2]。向量单元处理的是围绕大矩阵乘法的逐元素运算和其他非矩阵运算。

互联、封装与功耗

英特尔的表格里，Gaudi 2 的双向 PCIe 带宽为 64 GB/s^[1]。这是它与宿主机服务器之间的链路，数据靠它送进去、结果靠它送出来；主机链路慢了，再快的加速器也只能等。同一张表还列出 4.8 Tb/s 的嵌入式网卡带宽^[1]——网络接口做在加速器上，可以把很多块芯片连成集群。大模型训练通常分散在大量芯片上进行，芯片之间的链路因此和芯片到服务器的链路一样重要。这块芯片的热设计功耗为 600 W，采用 OAM 形态^[1]，这是一种加速器模块标准，服务器厂商可以按统一的尺寸与接口来设计板卡。

在代际中的位置

英特尔在同一张表里把 Gaudi 2 与 Gaudi 3 的数字并排列出，差距最明显的是向量算力：11 TFLOPS 对 28.7 TFLOPS^[2]。把两代产品放在一起读，正是这些公开规格最常见的用法——两代芯片用同一套口径描述（显存容量、带宽、BF16 与 FP8 吞吐、功耗），买家和工程师才能直接比较。规格表不会说的是，这些数字在实际负载里能变成多少吞吐：这取决于模型、批大小、软件栈和网络。所以上面这些数字描述的是硬件的上限，而不是真正跑出来的速度。