《Kimi K2：开放的智能体智能》

报告要解决的问题

Kimi K2 是一个混合专家（mixture-of-experts, MoE）语言模型，总参数为 1 万亿，每个 token 激活其中的 320 亿^[1]。混合专家的做法是让每个 token 只经过网络中的一小部分专家，因此模型可以容纳远超单次计算所用量级的参数。介绍这个模型的技术报告由 Moonshot AI 的 Kimi 团队署名，2025 年 7 月 28 日以 2507.20534 提交到 arXiv^[1]。

报告主要处理两个工程问题。第一是稳定性：这个量级的模型在训练中容易出现损失突然飙升，既浪费算力，也可能迫使训练回退重来。第二是能力的方向：整份报告围绕「智能体」（agentic）能力展开，也就是模型能否完成多步骤的工作——调用工具、修改代码、在一个环境里持续操作，而不只是回答单个问题。

用 MuonClip 做预训练

团队对稳定性问题的答案是名为 MuonClip 的优化器。它在 Muon 优化器的基础上加入了一个叫 QK-Clip 的权重裁剪（weight clipping）机制^[1]。Muon 的价值在于它的 token 效率，也就是每读一个 token 的训练数据能学到多少；MuonClip 的目标是在保住这份效率的同时去掉不稳定的部分。所谓裁剪，是在训练过程中给某些权重的大小设一个上限，使少数过大的更新无法把模型推到坏状态；QK-Clip 把这一思路用在注意力计算中查询与键相遇的位置。

报告给出的结果是：使用 MuonClip，K2 在 15.5 万亿 token 上完成预训练，全程没有出现一次损失尖峰^[1]。这是论文关于训练的核心主张——不只是损失更低，而是这样长的一次训练从未需要中途抢救。

后训练

预训练之后，K2 还要经过多阶段的后训练^[1]。其中心是一个大规模智能体数据合成流水线，也就是用自动化的方式批量产出「教模型做事」而不是「教模型答问」的训练材料；此外还有一个联合强化学习阶段，模型通过与真实环境和合成环境交互来改进自己^[1]。强化学习在这里的含义是：模型在环境里做成任务会得到奖励，训练信号来自实际执行，而不是来自模仿文本。

结果

报告称 K2 在开源的非思考（non-thinking）模型中处于领先，智能体能力尤其突出^[1]。报告给出的智能体基准成绩是：Tau2-Bench 66.1、ACEBench（英文）76.5、SWE-Bench Verified 65.8、SWE-Bench Multilingual 47.3^[1]。在通用基准上，不启用扩展思考时，它的成绩是 LiveCodeBench v6 53.7、AIME 2025 49.5、GPQA-Diamond 75.1、OJBench 27.1^[1]。

「非思考」这个限定对理解这些数字很重要：K2 被比较的对象是直接作答、不在回答前进行长时间内部推理的开源模型，上面列出的成绩也是在这一模式下取得的。

意义

这份报告写的是一个模型，但值得注意的地方更宽一些。它完整记录了一套训练配方——为稳定性改动优化器、超长预训练、以智能体数据和强化学习组织的后训练——并且是在万亿参数的量级上跑通的^[1]。它同时给出了一个开源模型在 Tau2-Bench、SWE-Bench 这类智能体基准上的具体位置^[1]。

与报告一起发布的还有基座模型和后训练模型的权重^[1]。正是这次发布让工作可被检验、可被复用：报告里的训练主张可以拿去和权重对照，后训练模型也可以由其他人放到同样的基准上运行。