Snowflake Arctic（4800 亿参数稠密-MoE 混合模型）

是什么

Snowflake Arctic 是 Snowflake 于 2024 年 4 月 24 日发布的开源权重（open-weight）大语言模型^[1][2]。它最特别的地方不是绝对规模，而是总参数与激活参数之间的比例：总参数 4800 亿，但对每个词元（token）只有 170 亿参数参与计算^[1][2]。Snowflake 主打的是企业负载，而不只是通用聊天。

稠密与稀疏叠在一起

Arctic 的架构是混合式的：一部分是约 100 亿参数的常规稠密（dense）Transformer，另一部分是以残差方式接入的混合专家（mixture-of-experts，MoE）多层感知机，由 128 个、每个 36.6 亿参数的专家组成^[1][2]。混合专家层的思路是把计算分散到许多子网络里，每个词元只被路由到其中少数几个，因此单次计算的成本远低于总参数所暗示的水平。Arctic 用的是 top-2 门控，即每个词元选两个专家，170 亿激活参数就是这么来的^[1][2]。稠密部分始终参与，稀疏部分以残差形式叠加，最终得到一个「按 4800 亿参数存储、按小得多的模型开销运行」的模型。

按预算训练

Snowflake 对训练成本强调得格外多：训练花费低于 200 万美元，或不到 3000 GPU 周^[1]。在这个预算下它给出两个对比：在企业指标上与 Llama 3 70B 相当，而计算量少 17 倍^[1]；在语言理解上与 DBRX 保持竞争力，计算量少 7 倍^[1]。

企业智能分

为了让「企业指标」有明确定义，Snowflake 把企业智能分（enterprise intelligence score）定义为四项基准的平均值：HumanEval+、MBPP+、Spider 和 IFEval^[1]。这几项分别覆盖代码生成、SQL 查询和指令遵循，也就是数据与业务应用里真正会碰到的活，而不是百科知识问答。

主动选择弱一点的地方

有一个取舍被明确说了出来：Snowflake 有意接受较低的 MMLU 分数，理由是这类世界知识分数会随训练计算量上升^[1]。也就是说，模型用一部分事实性知识的广度，换了在 Snowflake 更看重的任务上的效率。对一家把产品卖进数据仓库的公司来说，这是讲得通的设计，但公开承认这一点并不常见。

上下文、检查点与获取方式

模型训练时的注意力上下文窗口为 4K，计划扩展到 32K^[1]。它以 Apache 2.0 许可发布，权重和代码可无门槛获取^[1]。基础版和指令版（instruct）检查点都公开了，LoRA 微调方案可以放在单个节点上跑^[1][2]。与语言模型一同发布的还有 Arctic Embed 检索模型系列^[1]——生成模型加检索模型的搭配，正好对应企业系统实际的搭法。

团队来路

Arctic 背后的团队此前做过 ZeRO、DeepSpeed、PagedAttention 和 vLLM，以及 LLM360^[1]。这条脉络也解释了它的优先级：系统效率、推理吞吐和开放发布，而不是冲榜单。