Meta MTIA 第一代

是什么

MTIA 第一代是 Meta 自研的第一代人工智能推理芯片。推理指的是把已经训练好的模型运行起来，让它产出排序、推荐或预测结果；与之相对的是训练，即让模型从数据中学习参数。Meta 把这款芯片定位成为其深度学习推荐模型服务的推理加速器^[1]。

由来

据证券时报报道，Meta 于 2023 年 5 月公布了第一代 MTIA 人工智能推理加速器^[2]。Meta 自己的说法则是，公司在相关文章发布的前一年推出了这款第一代自研推理加速器^[1]。自研的意思是 Meta 自己定义芯片的规格，而不是直接采购通用加速卡。

制程、频率与功耗

Meta 的规格表列出，MTIA 第一代采用台积电（TSMC）的 7 纳米制程^[1]；证券时报的报道同样提到 7 纳米制程^[2]。同一张表给出的时钟频率为 800 MHz，热设计功耗（thermal design power，TDP）为 25 瓦^[1]；证券时报也报道了 25 瓦的设计功耗^[2]。热设计功耗大致表示芯片在满载时需要散热系统带走的热量，可以理解为功耗预算。800 MHz 是这颗芯片逻辑电路的工作频率。

算力

规格表列出 INT8 精度下 102.4 万亿次运算每秒（teraflops），FP16/BF16 精度下 51.2 万亿次^[1]。这里说的是 GEMM（通用矩阵乘法）的吞吐。GEMM 是神经网络中最常见的运算之一，本质是矩阵相乘。INT8 用 8 位整数表示数据，FP16 和 BF16 用 16 位浮点数；每个数占的位数越少，同样的硬件每个周期能处理的数值就越多，所以这里的 INT8 数字是 16 位精度的两倍^[1]。

内存

内存方面，规格表列出 128 MB 片上内存和 64 GB 片外 LPDDR5 内存^[1]；证券时报同样提到 128 MB 片上内存^[2]。片上内存带宽为 800 GB/s，片外 LPDDR5 带宽为 176 GB/s^[1]。片上内存容量小，但离计算单元近，可以高带宽读取；片外 LPDDR5 容量大得多，但需要经过内存接口，带宽低一个量级。LPDDR5 是一种低功耗内存标准，也常见于手机等对能耗敏感的设备。

为什么推荐模型在意内存

推荐模型大量依赖嵌入（embedding）向量：把用户、物品或特征表示成一串数字，从表中查出来再送进网络后面的部分。这种查找本身计算量不大，却要访问很大的表，因此内存容量和带宽往往和算力一样关键。64 GB 的片外 LPDDR5 为这些表提供空间，176 GB/s 是数据从片外流入的速率^[1]。128 MB 片上内存和 800 GB/s 带宽则让计算单元在本地重复使用已经取到的数据，减少每次访问都往返片外的次数^[1]。

在 MTIA 系列中的位置

MTIA 第一代是 Meta MTIA 系列的第一代产品^[1]。公开规格——7 纳米制程、800 MHz 时钟、25 瓦功耗、INT8 下 102.4 万亿次运算、128 MB 片上内存和 64 GB 片外内存——描述的是一颗面向生产环境推理的芯片^[1][2]。它是推理芯片而不是训练芯片，内存层级也是按推荐模型这类需要频繁查表的工作负载来配置的。