Kimi K2

是什么

Kimi K2 是月之暗面（Moonshot AI）于 2025 年 7 月发布的开放权重语言模型 ^[1]。它是混合专家（mixture-of-experts，MoE）模型，总参数 1 万亿，每个词元激活 320 亿参数 ^[1][3]。这意味着模型把大量知识存放在总参数中，而每个词元只经过其中的一小部分进行计算。该模型主要面向编程和智能体（agent）类任务，即模型会调用工具并完成多步骤操作的工作。

由来

Kimi K2 是月之暗面的大型开放权重语言模型，以修改版的 MIT 许可证发布 ^[3]。其基础模型在 15.5 万亿词元上完成预训练，月之暗面将训练过程描述为零训练不稳定。预训练使用了 MuonClip 优化器，它把 Muon 优化器应用到了前所未有的规模上 ^[3][1]。

月之暗面还与加州大学洛杉矶分校（UCLA）合写了一篇关于 Muon 优化器规模化的论文。据月之暗面介绍，论文中训练的 160 亿参数、30 亿激活参数的混合专家模型，计算效率约为 AdamW 的两倍 ^[1]。

主要特点

从结构上看，模型共 61 层，其中一层为稠密层，其余为专家层，共有 384 个专家。每个词元选择 8 个专家，外加一个每个词元都会使用的共享专家。模型采用多头潜在注意力（Multi-head Latent Attention, MLA），有 64 个注意力头。上下文窗口为 128K 个词元，词表包含 16 万个词元 ^[3]。

Kimi-K2-Instruct 公布的成绩是：SWE-bench Verified 单次尝试 65.8 分，多次尝试 71.6 分；LiveCodeBench v6 为 53.7 分，AIME 2025 为 49.5 分。其他成绩包括 GPQA-Diamond 75.1 分、MMLU 89.5 分、MMLU-Pro 81.1 分，以及 Tau2 零售、航空和电信任务的 70.6、56.5 和 65.8 分 ^[3]。

2025 年 9 月 9 日，公司发布 Kimi-K2-Instruct-0905，将上下文窗口从 128K 扩展到 256K 个词元 ^[1][2]。

Kimi 模型也被其他公司采用：Cursor 的 Composer 2 与 Thinking Machines Lab 的 Inkling，或是以 Kimi 模型为基础，或是在后训练中使用了 Kimi 模型 ^[2]。

在发展中的位置

Kimi K2 是一款万亿参数的通用模型，任何人都可以下载和使用，这使它区别于公司早期规模较小的开放发布 ^[3]。2025 年 11 月，它的推理版本 Kimi K2 Thinking 发布 ^[1]。