K2 Horizon 模型集群

是什么

K2 Horizon 是基础模型研究院（Institute of Foundation Models，IFM）于 2026 年 9 月 3 日发布的一系列语言模型^[1]。整个家族共六个模型，参数规模从 9 亿（0.9B）到 3750 亿（375B），既包括能跑在个人设备上的小模型，也包括一个规模很大的模型^[1]。这次发布的内容相当完整：除权重之外，还一并给出代码、训练数据和训练配方，模型与代码都采用 Apache 2.0 许可发布，使用者可以在不另行签约的情况下商用^[1]。IFM 称这是 AI 史上规模最大的完全开源模型发布，不过这是发布方自己的说法，并非第三方核实的数字^[1]。

一套架构，六个尺寸

六个模型共用同一套架构、词表、训练方法和部署工具。唯一的例外是 0.9B 模型，它使用了更小的词表^[1]。整个系列保持同一套设计，意味着为其中一个模型做的改进可以沿用到其他模型，团队只需学一次部署工具，就能用于家族里的所有尺寸。

其中两个模型采用稀疏激活的结构：375B 模型每个词元（token）激活 230 亿参数，36B 模型激活 40 亿参数^[1]。这类设计下，处理每个词元所花的算力远低于参数总量所暗示的水平，因为对任何一段文本来说，大部分权重都处于闲置状态。36B 模型还采用了混合值注意力（mixture-of-value-attention）设计，IFM 称它能在不增加计算量的情况下提升推理能力^[1]。

这一系列还包含一种被称为扩散蒸馏（diffusion distillation）的技术，它成块地并行生成词元，而不是严格地一个接一个生成；IFM 称其速度约快三倍^[1]。多数语言模型是顺序输出的，一次一个词元，因此一次性产出一整块词元正是这里速度提升的主要来源^[1]。

各自面向什么设备

最小的和中等尺寸的模型面向消费级硬件。0.9B 模型瞄准手表和眼镜，70 亿（7B）参数模型则面向手机^[1]。这一搭配勾勒出整个系列的意图：一个内存和功耗预算都很紧的设备端模型，一个手机大小的日常助手模型，以及若干面向服务器的更大模型。

部署方面，可以通过 vLLM 和 SGLang 两个广泛使用的开源推理框架来服务，同时 Cerebras、Nebius 和 Compass 提供托管访问^[1]。自托管和托管两条路并存，意味着团队可以先借用别家的基础设施起步，之后再迁到自己的机器上，而不必更换模型本身。

在开源序列中的位置

评价一次开放发布，通常看它公开了流水线的多少环节，而不只看基准成绩。K2 Horizon 在权重和代码之外还公布了数据与配方，这使外部团队能够复现模型，而不只是下载模型^[1]。Apache 2.0 许可也去掉了开放权重常附带的使用限制^[1]。

这个系列从设计上就考虑了被改造的可能。次月发布的 Jais 3 是该家族第一次适配到另一种语言^[2]，这也显示出预期的用法：拿一个共享的基座，再针对某种语言或领域做调整。由于家族中每个模型都使用同一套架构和工具，这类适配可以从最适合目标设备的那一档尺寸做起^[1]。