Kolibri-1（Aleph Alpha 的德英双语混合专家模型）

是什么

Kolibri-1 是 Aleph Alpha 发布的开源权重（open-weight）大语言模型，采用 Apache 2.0 许可^[1]。它是一个混合专家（mixture-of-experts, MoE）模型：总参数 781 亿，但处理每个 token 时只激活其中的 34.6 亿^[1]。混合专家的思路是把大部分参数放进许多「专家」里，每个 token 只走其中少数几个，于是一个参数量很大的模型在运行时仍然可以很便宜。

Kolibri-1 只处理德语和英语。模型卡把这一双语范围说成是有意为之的选择：宁可要深度，不要广度^[1]。

由来

在放大规模之前，Aleph Alpha 先用 Kolibri Origin 验证了这套做法：那是一个总参数 30B、激活参数 3B、上下文窗口 65K 的模型^[2]。Kolibri-1 是同一配方放大后的版本。

架构与训练

网络是 50 层 transformer。每一层有 384 个专家，其中 1 个是共享的，另有 6 个通过路由选出^[1]。注意力以 4:1 的比例在滑动窗口注意力（sliding-window attention）和全局注意力（global attention）之间分配^[1]：多数层只看文本中邻近的一段，少数层看整个上下文，这样长输入的开销才压得住。

预训练用了 20 万亿 token，其中约 62.5% 是英语、23.9% 是德语、13.6% 是代码^[1]。之后还有两个阶段：3.44 万亿 token 的中期训练（mid-training）和 2010 亿 token 的长上下文扩展^[1]。预训练在 768 块 Nvidia B200 GPU 上跑了 21 天，约合 39.2 万 GPU 小时、6.4e23 FLOPs^[1]。Aleph Alpha 估计，预训练、中期训练和长上下文三部分加起来耗能 9.5e2 MWh，这个数字已包含数据中心的额外开销^[1]。

怎么用

上下文窗口是 1,048,576 token，不过模型卡建议复杂任务最多用 262,144 token^[1]。窗口开到这么大，模型可以一次读完很长的文档；后面这个较低的建议值更像是实用上的界限，而不是硬性上限。权重以 FP8 存放，按 128×128 分块，约需 78 GB，因此可以装进一块 H200 或一块 B200^[1]。两种语言的知识截止日期都是 2026 年 6 月 18 日^[1]。

成绩

在 MMLU-Pro 上用思维链（chain-of-thought）提示时，英文得分 80.0；德语 MMLU-ProX 得分 75.5^[1]。德语 Global MMLU 得分 77.5，英文 MMLU 得分 81.0^[1]。这些都是多项选择式的知识基准，思维链提示指的是让模型先写出推理过程再给出答案。德语和英语两边的分数彼此接近，这也正是一个只练两种语言、把训练量集中在它们身上的模型想要的结果^[1]。

在发展中的位置

许可为 Apache 2.0，模型卡写明 Aleph Alpha 签署了欧盟的通用人工智能行为准则（GPAI Code of Practice）^[1]。开放权重、只做两种语言的选择，加上能装进单张加速卡的显存占用，三者放在一起，说明这是一个供人下载下来自己运行的模型，而不只是通过接口调用。