SambaNova SN40L

是什么

SambaNova SN40L 是 SambaNova 的一颗 AI 芯片，公司把它称作「可重构数据流单元」（Reconfigurable Dataflow Unit，RDU）。它的设计把两件事放在一起：数据流式的并行执行方式，以及分三层的存储系统^[1]。这两半都很关键。传统处理器由一条指令流把数据在存储和运算单元之间来回搬运；数据流设计则把计算铺成一张图，让数据一项项流过图上的节点，每个运算单元在自己的输入到齐时就开始干活。另一半天平是存储层次，它决定有多少模型状态能被放在离运算单元足够近的地方。

怎么造出来的

据 SambaNova 介绍，这颗芯片采用台积电 5 纳米工艺制造，封装形式是 2.5D 的 chip-on-wafer-on-substrate，每个封装里装两枚数据流裸片，外加高带宽内存（high-bandwidth memory，HBM）^[1]。把内存和计算放在同一个封装里，而不是放到板子的别处，缩短了运算单元与供数内存之间的距离——对于一颗以「喂饱运算单元」为目的的芯片来说，这一点直接关系到设计的成败。

算力

按插槽计算，SambaNova 给出 638 BF16 TFLOPS 的峰值算力，由 1,040 个模式计算单元（Pattern Compute Unit）提供^[1]。BF16 是一种 16 位浮点格式，大模型普遍使用它，因此这个数字描述的是工作量实际运行时所用格式下的峰值吞吐。它是峰值指标，并不等于某个具体负载上的实测结果。

三层存储

这颗芯片的性格很大程度上来自它的存储层次。片上有 520 MiB 的 SRAM，封装内有 64 GiB 的共封装 HBM，封装之外最多可接 1.5 TiB 的 DDR DRAM^[1]。容量变大的同时带宽下降：HBM 为 1.8 TB/s，DDR 为 200 GB/s^[1]。

这种分层的道理是计算机体系结构里的通用做法。最上面一层小但极快，用来放马上要反复使用的值；中间一层放必须快速取到、又装不进片上的工作集；最下面一层提供容量，以较低的带宽为代价。一个大模型的权重和运行过程中产生的中间状态，往往远远超出任何单一存储层级，于是某块数据此刻待在哪一层、需要被搬动多少次，就成了决定性能的首要因素之一。SambaNova 的三层结构，等于给了编译器和运行时三个不同的落脚点，而不是只有一个。

专家组合

SambaNova 的 Samba-CoE 系统跑在 SN40L 上，运行 150 个 70 亿参数的专家模型，合计 1 万亿参数^[1]。在专家组合这种安排里，一个请求由可用的模型中的一部分来处理，而不是交给一个铁板一块的网络，因此存储系统需要同时容纳许多套彼此独立的权重，并在它们之间高效切换。这正是三层存储要应付的负载：总容量足以让 1 万亿参数的专家随时可寻址，上层带宽又足以在请求辗转于不同专家之间时不让运算单元闲下来。

多芯片互联

单颗芯片并不是 SambaNova 描述的最大单元。16 颗 SN40L 以点对点方式互联，可提供 10.2 BF16 PFLOPS，SambaNova 称这样的配置可以服务 Llama 3.1 405B^[2]。要服务这种规模的模型，权重已经放不进一个插槽，芯片之间的互联实际上成了存储系统的一部分。

在发展中的位置

SN40L 属于一种思路：对大模型计算来说，真正的约束是存储，而不是运算。SambaNova 在论文里公布了这个设计，论文标题把问题框定为 AI 的内存墙，并把数据流执行与专家组合一起作为应对之道^[1]。此外，SambaNova 还专门从推理的角度介绍这颗芯片，另有材料讨论它在推理场景中的适用性^[2]。把两份材料放在一起看，这颗芯片的几个有辨识度的选择——可重构的数据流数据通路、很深的存储层次、支持许多小的专家模型而不是一个巨大的模型——都指向同一个问题：让一个非常大的模型持续得到数据供给，而不在访存上卡住。