Databricks 发布 1320 亿参数混合专家模型 DBRX

发布的是什么

2024 年 3 月 27 日，Databricks 发布大语言模型 DBRX，同时提供基础版（base）和指令版（instruct）^[1]。这是模型发布中常见的两种形态。基础版在海量文本上训练，做的是“接着往下写”的预测，是后续加工的原料；指令版则经过进一步调校，用来回答问题、执行指令，而不只是续写。两个版本一起放出，意味着一份可以当作研究材料，另一份可以直接被应用调用。

DBRX 是混合专家（mixture-of-experts, MoE）模型，参数量 1320 亿。混合专家的做法是：一层里放的不是一个大前馈网络，而是许多较小的“专家”网络，再加一个路由器，逐个词元（token）决定交给哪几个专家处理。结果是模型的总参数量可以远大于处理单个词元所花的计算量，因为对大多数词元来说，多数专家是闲着的。所以混合专家模型的“参数量”和“跑起来有多贵”是两个不同的数，跨架构比较时要格外小心。

拿来跟谁比

Databricks 把 DBRX 摆在 Mixtral 和 Grok-1 的对面，而不是闭源前沿模型 ^[1]。选谁当对手本身就是一种表态：它衡量的不是“这是不是世界上最强的模型”，而是“跟团队真正用得上的那些选项比，它怎么样”。换句话说，这场比较回答的是一个采用问题，而不是一个排行榜问题。

基准成绩

公布里最具体的一个数来自 HumanEval。这个基准给模型一个函数签名和一段说明，要求它写出能跑通的函数，按通过比例计分。DBRX 在这里略高于 CodeLLaMA-70B Instruct，70.1 对 67.8 ^[1]。差距不到 3 分，而且单个基准只测一项很窄的能力，所以这个结果更适合读成“有竞争力”，而不是“明显领先”。

Databricks 也把它和 GPT-3.5 放在一起比较，后者在 HumanEval 上得 48.1，在 GSM8K 上得 57.1 ^[1]。GSM8K 是一组小学水平的算术应用题，和代码基准并列，等于给出两种不同的观察角度：写程序，和按文字描述做多步算术。GPT-3.5 的这两个分数是作为参照列在同一张表里的。

对 LLaMA2-70B Chat，DBRX 在公布表格里的每一项基准上都赢了 ^[1]。整张表全胜，比某一行赢下更有分量；但它仍然取决于选了哪些基准、以及每个模型是怎么被提问的。这些数字都来自发布方自己的评测——模型发布时这是常态，也正是这类表格应当被当作证据而不是结论的原因。

客户怎么拿到它

同一天，Databricks 的客户就可以通过 API 使用这个模型 ^[1]。发布当天就能调用，把“宣布”和“能用”接上了：客户不必等第三方托管，也不必先自己搭一套环境才能试。

Databricks 还表示，客户可以从零开始预训练自己的 DBRX 级模型，也可以在这个模型之上继续训练 ^[1]。这是两件很不一样的事。从零预训练，是用自己的数据跑完整个训练过程，得到同级别的新模型；继续训练，是接过已经发布的模型，再用额外数据或特定领域数据往前推。后者便宜得多，也是团队把模型改造到自己语料上的常见路径。

意义

这次发布标记了两件事：一家平台公司开始自己造并交付模型，而不只是托管别人的模型；开放模型这一档也已经形成了自己的对照表。而它对“客户可以怎么再训练”的强调，说明了价值被认为落在哪里——不只在模型本身，更在它周围的那套流程。