AWS Inferentia2

Inferentia2 是什么

AWS Inferentia2 是亚马逊云科技（AWS）为推理打造的芯片。推理指的是让已经训练好的神经网络跑起来、给出结果，而不是训练网络本身。它是 Inferentia 系列的第二代产品，每颗芯片上有两个第二代 NeuronCore，模型的各种运算就在这些计算单元上执行^[1]。

芯片内部

每颗 Inferentia2 芯片带 32 GB 的高带宽内存（HBM）。按 AWS 的说法，这是第一代产品总内存的 4 倍、内存带宽的 10 倍^[1]。推理时内存带宽之所以关键，是因为大模型每跑一次都要把权重从内存里读出来；内存喂不上数据，计算单元就只能空转。

在算力上，这颗芯片的 FP16 性能最高为 190 TFLOPS，也就是每秒能完成多少万亿次半精度运算^[1]。它支持多种数值格式：FP32、TF32、FP16、BF16、INT8，以及一种可配置的 FP8 数据类型^[1]。支持多种精度，使用者就能把模型里对数值敏感的部分留在较宽的格式里，让大部分计算跑在较窄的格式上，从而减少内存读写、加快执行。FP8 是其中位宽最窄的，每个数只有 8 位；做成可配置，意味着可以根据具体模型需要的数值范围和精度，来分配指数位与尾数位各占多少。

系统形态：EC2 Inf2

这颗芯片通过 EC2 Inf2 实例对外提供。一台实例最多可装 12 颗 Inferentia2 芯片，共享的加速器内存最高 384 GB^[2]。与上一代 Inf1 实例相比，AWS 给出的数字是：算力 3 倍、加速器内存 4 倍、吞吐最高 4 倍、延迟最高降低到十分之一^[2]。

Inf2 实例是首批支持「横向扩展的分布式推理」的推理优化型 EC2 实例，靠的是超高速的芯片间互联^[1]。分布式推理就是把一个模型拆到多颗芯片或多台实例上跑，当模型装不进单台设备、或单台设备达不到延迟目标时就需要这么做。芯片之间的高速链路让模型各部分交接数据的开销足够低，拆分才不至于把收益吃掉。

能效

AWS 称 Inf2 每瓦性能比同类 EC2 实例最高好 50%^[1]。对推理来说，这个指标和绝对吞吐一样重要：服务一个模型的成本，主要来自大量机器长时间开着，而不是一次性训练。

面向真实负载的特性

Inferentia2 还针对动态输入尺寸、用 C++ 编写的自定义算子以及随机舍入（stochastic rounding）做了硬件优化^[1]。动态输入尺寸指每次请求的输入长度或形状都可能变化，文本长短不一就是典型情况；把这部分交给硬件处理，就不必反复做形状调整。支持 C++ 自定义算子，让团队可以运行标准库没有覆盖的运算，而不必退回通用处理器。随机舍入是指把一个低精度结果向上或向下取整时，概率取决于它离精确值有多远，而不是一律取最近的可表示数；在许多次运算累积之后，这样可以避免普通舍入带来的系统性偏差。

定位

Inferentia2 是一颗专做推理的芯片，而不是通用加速器，选它意味着用一部分灵活性换取更贴合特定工作的硬件。它的设计取向——大容量高带宽内存、从 FP8 起步的一整套数值格式、用于拆分模型的芯片间链路、以及对每瓦性能的重视——指向的都是大规模服务模型时的成本账，而不是产出模型的那次训练。