月之暗面开源万亿参数模型 Kimi K2

背景

月之暗面（Moonshot AI）是一家中国 AI 公司，Kimi K2 是其大型语言模型之一。该模型于 2025 年 7 月以开放权重的形式发布，即公开训练好的权重，供其他人下载、运行和研究 ^[1][2]。

参数（parameter）是模型在训练中学到的数值，总参数量在一定程度上反映模型能够存储多少信息。

发生了什么

2025 年 7 月，月之暗面以开放权重语言模型的形式发布了 Kimi K2 ^[1]。它是混合专家（mixture-of-experts，MoE）模型，总参数 1 万亿，每个词元激活 320 亿参数 ^[1][3]。基础模型在 15.5 万亿词元上完成预训练。月之暗面将训练过程描述为零训练不稳定，预训练使用了 MuonClip 优化器，它把 Muon 优化器应用到了前所未有的规模上 ^[3][1]。

关键细节

模型共有 61 层，其中一层为稠密层，另外共有 384 个专家。处理每个词元时，路由器选出 8 个专家，另有 1 个共享专家始终参与计算。注意力部分采用多头潜在注意力（Multi-head Latent Attention，MLA），有 64 个注意力头 ^[3]。

权重以修改版的 MIT 许可证发布 ^[3]。

月之暗面公布的指令版 Kimi-K2-Instruct 成绩中，SWE-bench Verified 单次尝试得分 65.8，允许多次尝试时为 71.6。SWE-bench Verified 考察模型能否修复开源软件仓库中的真实问题。该模型在 LiveCodeBench v6 上得分 53.7，LiveCodeBench 考察编程题；在 AIME 2025 上得分 49.5，AIME 是竞赛数学题 ^[3]。

影响

Kimi K2 表明，一家中国实验室可以以开放权重的形式发布万亿参数规模的模型。对开发者和研究者而言，这次发布提供了一个规模很大、可以研究、测试和在其上开发的模型，而不只是通过接口访问。