AWS Trainium

为训练而造的芯片

从硬件角度看，训练一个大神经网络就是同一类矩阵乘法被反复执行无数次。通用处理器当然能做这件事，但很大一部分晶体管面积花在了训练用不上的功能上。Trainium 是亚马逊云科技（AWS）针对这一错配给出的答案：一款专为高性能深度学习训练设计的芯片^[1]。它是成对产品中的一半——AWS 把 Trainium 定位在训练，把 Inferentia 定位在运行已经训练好的模型，所以公司通常把两者的成本数字放在一起讲^[2]。

实例与互连

Trainium 并不作为独立板卡零售，而是通过 Amazon EC2 提供。`trn1.32xlarge` 实例搭载 16 颗 Trainium 芯片，并配有最高 800 Gbps 的第二代弹性网络适配器（Elastic Fabric Adapter，EFA）网络；`trn1n.32xlarge` 变体保持同样的 16 颗芯片，把 EFA 提升到 1,600 Gbps^[1]。在单个实例内部，芯片之间通过 NeuronLink 互连，这是一条高带宽链路，目的是让加速器始终有数据可算，而不是空等^[1]。

对网络的强调来自训练的运作方式。一个装不进单颗芯片的模型会被切分到许多芯片上，每一步之后这些芯片都要交换梯度或激活值；交换越慢，昂贵的加速器闲置得越久。因此在训练系统里，快速互连和算术单元同样重要。

向外扩展

当任务规模超出一个实例，Trn1 实例会被部署进 EC2 UltraCluster，AWS 称其可扩展到 30,000 颗 Trainium 加速器，通过皮比特级（petabit-scale）无阻塞网络相连^[1]。「无阻塞」意味着网络被配置成所有节点可以同时全速通信，而不是在网络繁忙时让部分流量排队——正是这一点让超大规模训练跑得起来。

编程方式

芯片只有能承接现有模型代码才有意义。Trainium 通过 AWS Neuron SDK 编程，开发者经由这层软件把训练负载编译并运行在硬件上^[1]。实际上，这一层决定了模型中有多少计算能真正落到加速器上，以及开发者需要手工处理多少协调工作。

成本论证

AWS 主要从经济性角度介绍 Trainium。公司称 Trn1 实例相比同类的 EC2 实例，训练成本最多可节省 50%^[1]；并称 Trainium 与 Inferentia 合计，相比通用 GPU 可将训练成本降低 50%、推理成本降低 70%^[2]。这些是厂商自己给出的数字，实际能省多少取决于工作负载、模型与硬件的匹配程度以及比较对象——但它们清楚表达了 AWS 的主张：专用芯片在单位训练工作量上可以比通用硬件更便宜。

在发展中的位置

Trainium 属于大型云厂商的一股更大潮流：自己设计加速器，而不是所有算力都从外部采购。对使用者来说，真正的问题往往不在芯片本身，而在它周边的整套栈：哪种实例规格适合手上的任务，互连能否让一个大集群保持忙碌，软件工具链是否支持想训练的模型。Trainium 的设计选择——一颗面向训练的专用芯片、极快的实例内链路、集群级部署，以及一套专门的 SDK——都是冲着这些问题去的。