Snowflake

云数据平台

Snowflake 是一家云数据平台公司：客户把数据存放在这里并在其上查询，第三方则通过它的市场出售数据集和应用。公司称服务全球 12,062 家客户，市场上有 3,400 个上架条目^[1]；客户平均每天在平台上运行 63 亿次查询^[1]。现任首席执行官是 Sridhar Ramaswamy^[1]。

这些数字描述的是一门替别的组织处理数据的生意：存数据、查数据，以及越来越多地在其上跑模型。

Arctic

2024 年 4 月 24 日，Snowflake 发布自研基础语言模型 Arctic^[1][2]。它的结构不是普通的 Transformer：公司称之为稠密与专家混合（mixture of experts, MoE）的混合体——一个 100 亿参数的稠密 Transformer，加上一个残差式的专家混合 MLP，后者包含 128 个专家，每个 36.6 亿参数^[1][2]。

专家混合层把网络中一大块前馈计算拆成许多并列的子网络（专家），再由一个小的门控网络决定每个词元（token）经过哪几个专家。模型容量随专家数量增长，而每个词元的计算量保持很小。在 Arctic 中，这种安排带来 4800 亿总参数，其中每个词元只有 170 亿参数参与计算，由 top-2 门控选出^[2][3]。

训练成本

公司称 Arctic 的训练成本不到 200 万美元，即不到 3,000 GPU 周^[2]。做这个模型的团队此前参与构建过 ZeRO、DeepSpeed、PagedAttention、vLLM 和 LLM360^[2]——这些是把训练切分到大量加速器上、以及低成本部署模型的工程系统，低成本这个数字背后正是这方面的积累。

按企业任务衡量

Snowflake 把「企业智能分数」定义为四个基准的平均值：HumanEval+、MBPP+、Spider 和 IFEval^[2]，分别是两项代码生成、一项文本转 SQL、一项指令遵循的测试。公司称 Arctic 在这些指标上与 Llama 3 70B 相当，而所用算力少 17 倍^[2]；并称它是有意接受了更低的 MMLU 成绩^[2]。MMLU 考的是宽泛的学科知识，这个取舍说明模型是朝着数据平台里真实出现的任务去调的，而不是朝着百科问答去调的。

开放权重与位置

Arctic 以 Apache 2.0 许可发布，权重和代码不设门槛（ungated），同时发布的还有 Arctic Embed 检索模型家族^[2][3]。不设门槛指下载不需要申请或审批。

对一个卖数据平台的公司来说，发布一个开放许可的模型并明确给出成本账，指向的是它预期 AI 的工作会发生在哪里——在数据仓库里，在跑着的查询里——同时也是向在意单位产出成本的开发者发出的一次邀请。