Cerebras 晶圆级引擎 WSE-3

是什么

Cerebras 晶圆级引擎 3（Wafer-Scale Engine 3，WSE-3）是 Cerebras 在 2024 年 3 月 13 日发布的人工智能芯片^[1]。普通处理器是把一整片晶圆切割成许多独立的小芯片（die），再逐个封装、用线路和电路板连起来；晶圆级芯片走的是另一条路，保留一整块连续的硅片。WSE-3 的面积达到 46,225 平方毫米^[2]，在这块硅片上集成了 4 万亿个晶体管和 90 万个为 AI 优化的计算核心^[1]。

片上有什么

Cerebras 给出的 WSE-3 峰值 AI 算力是 125 petaflops，即每秒 125 千万亿次运算^[1]。芯片上还有 44 GB 的静态随机存储器（SRAM），并采用台积电（TSMC）5 纳米工艺制造^[1]。

把内存放在片上，是这个设计的核心。处理器如果把工作数据放在独立的内存芯片里，每一次读写都要经过一条比运算本身更慢、更费电的链路；而 AI 计算恰恰需要反复搬运大块数据，这部分开销在整机的时间和能耗中占比很高。片上 SRAM 缩短了数据要走的路。

芯片之外的内存

44 GB 相对大模型而言并不算多，因此 WSE-3 可以搭配三种外部内存配置之一：1.5 TB、12 TB 或 1.2 PB^[1]。Cerebras 称，系统可以在单一逻辑内存空间中训练最多 24 万亿参数的模型，而不需要切分^[1]。所谓切分，是把一个模型拆到多台设备上，设备之间必须不停交换数据；避免这一步，正是把芯片做得这么大的主要理由。

组成集群

单颗芯片之上还可以组成更大的机器。Cerebras 称，最多 2,048 台 CS-3 系统组成的集群，算力可以达到 256 exaflops，其中 1 exaflop 等于 1000 petaflops^[1]。算力随系统数量叠加，这让该设计不只适用于单芯片任务，也能用于大规模训练。

与前代和竞品的对比

Cerebras 称，在相同功耗和相同价格下，WSE-3 的性能是上一代 WSE-2 的两倍^[1]。公司还把 WSE-3 与 NVIDIA 的 B200 相比，称其晶体管数量是后者的 19 倍、算力是后者的 28 倍^[2]。这两组对比数字都出自 Cerebras 自己的说法，而不是独立测得的第三方结果，应当按公司对自身产品的定位来理解。

在发展中的位置

WSE-3 是对当下每个 AI 芯片设计者都要面对的问题给出的一种明确回答：模型越大，芯片之间搬运数据的开销在总量中占的比例就越高。晶圆级方案的做法是把芯片做大，让相当一部分数据流动留在同一块硅片之内，同时承受随之而来的制造难度。产业里更常见的另一种做法，是用高速互连把许多较小的芯片连成系统。两条路线在并行推进，而 WSE-3 是晶圆级这条路线上的第三代产品。