寒武纪思元370

是什么

思元370（MLU 370）是寒武纪的第三代云端AI芯片，于2021年发布，同时推出了基于该芯片的加速卡，并一同公布了MLU-Link多芯互联技术^[3]。据行业媒体对发布活动的报道，发布时间为11月3日，一同亮相的加速卡是MLU370-S4和MLU370-X4两款^[4]。芯片采用7 nm工艺，是寒武纪第一颗采用芯粒（chiplet）技术的AI芯片，把两颗AI计算裸片封装进一颗芯片里^[1]。

怎么做的

芯粒的思路是不再追求一整块大芯片，而是把计算部分切成较小的裸片分别制造，再封装到一起。寒武纪称，思元370集成了390亿个晶体管，INT8下最高提供256 TOPS算力，是其第二代产品MLU 270的两倍^[1]。INT8指用8位整数做运算，是衡量推理吞吐时常用的精度口径。

芯片采用寒武纪的MLUarch03架构。这一代增加了名为Supercharger的模块，用于提升卷积运算的效率——卷积是绝大多数图像和视频神经网络的核心运算；同时支持多个算子的硬件融合，让几个小操作合成一次执行，而不是逐个跑一遍^[1]。

访存是寒武纪重点强调的部分。公司称，思元370是国内第一款公开支持LPDDR5内存的云端AI芯片，内存带宽达到上一代的3倍，访存效率是GDDR6的1.5倍^[1][2]。LPDDR5通常更多出现在移动设备上，把它用到云端芯片，强调的是单位功耗和成本下的带宽与访问效率，而不只是峰值算力。

面向更大规模的任务，芯片支持MLU-Link多芯互联，用于分布式训练和推理，让多颗芯片连起来当作一个更大的系统使用^[1]。MLU-Link与芯片本身是在同一次发布中推出的^[3]。

软件：MagicMind

寒武纪为思元370搭配了MagicMind，并将其描述为业界首个基于MLIR图编译、并在商业场景中落地的推理引擎^[1]。MLIR是一套编译器框架，把程序描述成由算子组成的图，在交给硬件之前对图做变换和优化；基于它构建的推理引擎会把训练好的模型改写成这样的图，再映射到芯片上执行。芯片与编译器一起发布的意义在于：架构里新增的模块和融合算子，只有软件能识别并利用时才会真正发挥作用。

视频单元

芯片还带有专门的视频单元。寒武纪称，其解码能力为132路1080p视频或10路8K视频，在同等画质下编码可节省42%的带宽^[1]。这些数字对应的是需要接入大量摄像头、或在推理前后对视频做转码的场景，这类负载在视频分析和云端媒体服务里很常见。

在什么位置

在寒武纪的云端产品线中，思元370被定位为讲性价比的推理产品，与MLU 590、MLU 690并列^[2]。推理是用训练好的模型产出结果，通常比训练更便宜、对时延更敏感，因此面向推理设计的芯片往往会把峰值算力让出一部分，换取内存带宽、视频处理和互联能力。思元370的特点大致就是这个取舍：LPDDR5内存、较强的视频解码和多芯互联，再加上把两颗计算裸片封装在同一基板上的芯粒方案。