DBRX（Databricks 的 1320 亿参数混合专家模型）

是什么

DBRX 是 Databricks 于 2024 年 3 月 27 日发布的大语言模型。^[1] 它采用仅解码器（decoder-only）的 Transformer 结构，也就是按顺序逐个预测下一个词元来生成文本；与常见的稠密（dense）网络不同，它的前馈层由多个并行的「专家」组成，属于混合专家（mixture-of-experts, MoE）模型。模型总参数为 1320 亿，但每处理一个词元只有 360 亿参数参与计算。^[1] 最大上下文长度为 32,768 个词元。^[1]

这两个数字说的其实是两件事：总参数是模型「记住了多少」，激活参数是它处理每个词元时「算多少」。让后者远小于前者，正是这种架构的目的。

混合专家怎么工作

在混合专家模型里，每一层的前馈网络被拆成若干个并行的专家，另有一个路由网络决定每个词元交给哪些专家处理。DBRX 把每个词元分配给 16 个专家中的 4 个，而 Mixtral 和 Grok-1 是 8 个中选 2 个。^[1] Databricks 称，这种更细的切分带来 65 倍于后者的可能专家组合。^[1] 换句话说，路由一次可以组合出的专家搭配多得多，模型因此能携带远超单次计算所需的参数——把容量放在不增加每词元开销的地方。

其余部分用的都是常见组件。旋转位置编码（rotary position embedding, RoPE）通过对表示词元的向量做旋转来编码词序；前馈层里使用门控线性单元（gated linear unit, GLU）；注意力使用分组查询注意力（grouped-query attention），即让多个查询头共享同一组键值头，以降低生成时的显存开销；分词则使用 GPT-4 的分词器（tokenizer）。^[1]

训练

预训练语料是 12 万亿词元的文本与代码。^[1] 训练使用 3,072 块 Nvidia H100 GPU，通过带宽 3.2 Tbps 的 InfiniBand 互联。^[1] 整个构建过程约三个月，覆盖预训练、后训练、评测、红队测试（red-teaming）与改进。^[1] 红队测试指的是在发布前有意去试探模型，找出有害或不安全的行为；后训练则是把原始预训练模型变成能听懂指令的模型的那几个阶段。

成绩

DBRX Instruct 在 MMLU 上得 73.7 分，在 HumanEval 上得 70.1 分，在 GSM8K 上得 66.9 分。^[1] 这三个基准分别考察通用知识、代码生成和小学水平的数学题。在 Open LLM Leaderboard 上它得 74.5 分，在 Databricks 自家的评测集 Databricks Gauntlet 上得 66.8 分。^[1]

Databricks 指出，DBRX 的总参数量和激活参数量都约为 Grok-1 的 40%，而上述基准成绩更高。^[1] 这个对比最直接地说明了设计意图：决定一个词元处理成本的，主要是激活参数，而不是总参数。

效率与开放权重

推理速度最高可达 LLaMA2-70B 的两倍；Databricks 估计，训练一个混合专家模型所需的浮点运算量约为同等稠密模型的一半。^[1] 基础版与指令版的权重都以开放许可证发布在 Hugging Face 上。^[1]

在发展中的位置

DBRX 有两个设计决定会影响它的实际用法。一是混合专家的切分方式，它把「存一个参数」的成本和「用一个参数」的成本分开：按词元计算时，大模型比它的体量看上去便宜，但部署时占用的显存通常按总参数量算，所以未必能塞进小机器。二是开放发布：权重放在 Hugging Face 上，意味着机构可以在自己的基础设施里部署和调整模型，而不必只通过外部服务调用。^[1]

构建本身——16 个专家中每个词元激活 4 个、32,768 词元的上下文窗口、12 万亿训练词元、约 3,072 块 H100 跑三个月——标出了组装这样一个模型所需的规模。^[1]