AWS Trainium3

Trainium3 是什么

AWS Trainium3 是 AWS Trainium 系列中接续 Trainium2 的 AI 芯片，也是 AWS 第一款采用 3 纳米制程的 AI 芯片^[1][2]。制程数字说的是芯片的制造工艺：把晶体管做得更小，同样面积上就能放下更多晶体管，每次运算消耗的能量通常也更少，所以芯片厂商把每一代制程当作一个节点来宣传。

单芯片的算力与内存

每颗 Trainium3 提供 2.52 petaflops 的 FP8 算力^[1][2]。FP8 是一种 8 位浮点格式，用更少的位数表示数值，可以减少搬运这些数值所需的内存和带宽，模型变大之后这一点尤其重要。petaflops 指每秒千万亿次浮点运算，这个数字描述的是该精度下的峰值吞吐。

每颗芯片配有 144 GB 的 HBM3e 内存和 4.9 TB/s 的内存带宽，AWS 称这是 Trainium2 的 1.5 倍容量和 1.7 倍带宽^[1]。HBM（高带宽内存）是把 DRAM 多层堆叠、紧挨着计算芯片放置，以便快速把数据喂给计算单元。AWS 还称这颗芯片的算力是 Trainium2 的两倍^[1]。

Trn3 UltraServer

这些芯片不是单颗交付，而是打包成机架级的整机。AWS 称一台 Trn3 UltraServer 最多支持 144 颗 Trainium3，通过 NeuronSwitch-v1 互联^[1]。整机合计最多提供 20.7 TB 的 HBM3e、706 TB/s 的内存带宽和 362 MXFP8 petaflops^[1]。

之所以要谈整机而不是单颗芯片，是因为训练大模型时一个任务会被拆到许多芯片上，芯片之间必须不停交换数据。互联——这里是名为 NeuronSwitch-v1 的交换芯片——决定了交换有多快，也就决定了多少颗芯片能当作一个系统来用。

与 Trn2 UltraServer 相比，AWS 称 Trn3 版本的性能最高提升到 4.4 倍，内存带宽提升到 3.9 倍，能效提升 4 倍以上^[1]。

数据类型与负载类型

AWS 称 Trainium3 支持 MXFP8 和 MXFP4 两种数据类型，并针对稠密（dense）负载与专家并行（expert parallelism）负载做了设计^[1]。稠密负载对每个输入都跑完整个模型，计算量随模型规模增长。专家并行则用于混合专家（mixture-of-experts）模型：这类模型把网络拆成许多「专家」子网络，每个输入只交给其中少数几个处理；把专家分散到许多芯片上之后，芯片之间的通信就成了核心问题，这也正是交换芯片和整机级内存指标的意义所在。

可用性

2025 年 12 月，AWS 宣布由 Trainium3 驱动的 Amazon EC2 Trn3 UltraServers 正式可用（general availability）^[2]。通过 Amazon EC2 提供，意味着用户租用算力，而不必自己购买和运维芯片，并且通过与其他 AWS 计算实例相同的服务界面就能用上它。

在 Trainium 系列中的位置

从公布的数字看，Trainium3 相对 Trainium2 是在多个方向上同时抬升：单芯片算力翻倍，单芯片的内存容量与带宽增长，整机系统的性能与能效则被称达到前代的数倍^[1]。内存和能效的增幅在比例上大于单芯片算力的增幅，这反映了大模型训练中的一个现实约束：训练跑得多快，不只取决于算术吞吐，还取决于数据能否被留在计算单元近旁，以及整个系统要消耗多少电。