AWS Inferentia

是什么

AWS Inferentia 是亚马逊云科技（AWS）自研的一款芯片，专门用于推理（inference），也就是模型训练完成之后，用它来做预测的阶段。这颗芯片不是为训练模型准备的，而是为运行模型准备的，用户通过 Amazon EC2 上的 Inf1 实例来使用它。^[1][2]

芯片结构

第一代 Inferentia 芯片每颗包含 4 个第一代 NeuronCore，这是软件调度计算任务时所对应的计算单元。^[1] 每颗芯片带有 8 GB 的 DDR4 内存，此外还有大量片上内存。^[1] 它支持 FP16、BF16 和 INT8 三种数据类型，这些都是运行模型时常用的低精度数字格式，用更少的位数换取更快的速度。^[1]

一个 EC2 Inf1 实例最多可以搭载 16 颗 Inferentia 芯片，因此单个实例能同时提供数量可观的 NeuronCore。^[1][2] Inf1 实例还采用第二代英特尔至强可扩展处理器，网络带宽最高可达 100 Gbps。^[2]

编程方式

开发者通过 AWS Neuron SDK 使用这颗芯片，该 SDK 与 PyTorch 和 TensorFlow 集成。^[1] 这意味着用这两个常见框架写成的模型，可以被编译并运行在 Inferentia 上，用户不必从零开始写芯片专用的代码。

为什么重要

AWS 表示，相比同类 EC2 实例，Inf1 实例的吞吐量最高可达 2.3 倍，每次推理的成本最高可降低 70%。^[1] 推理是模型投入生产后持续运行的那一部分，只要一个模型要服务大量用户，吞吐量和单次预测成本就非常关键。用一颗专门为此设计的芯片取代通用处理器，是同时改善这两个指标的一条路径。

在其中的位置

Inferentia 是大型云厂商自研机器学习芯片这一趋势的一部分：不再只依赖现成的通用硬件，而是自己设计硅片。对用户来说，吸引力在于这颗芯片仍然通过他们已经熟悉的 EC2 实例和框架来使用，中间只多了一层 Neuron SDK。