月之暗面发布 Kimi K2 Thinking 推理模型

背景

Kimi K2 是总参数 1 万亿的开放权重语言模型，采用混合专家结构。2025 年 11 月，月之暗面（Moonshot AI）发布了它的推理版本 Kimi K2 Thinking ^[1][2]。推理模型会在给出最终答案前产生中间推理，因此调用链的长度与生成速度都十分重要。

推理模型（reasoning model）是指在给出答案之前先推演问题的模型。许多有用的任务，从数学到多步骤编程，都依赖一连串中间步骤而非一次猜测，因此推理模型变得重要。

发生了什么

2025 年 11 月，月之暗面以推理模型的形式发布 Kimi K2 Thinking ^[1][2]。该模型保留了 Kimi K2 的混合专家结构：总参数 1 万亿，每个词元激活 320 亿参数，共 384 个专家，每次选出 8 个，另有 1 个共享专家，上下文窗口为 256K 个词元 ^[3]。

据报道，该模型的训练成本约为 460 万美元 ^[1]。

关键细节

此次发布在后训练中采用了量化感知训练（quantization-aware training），为混合专家部分实现了原生的 INT4 仅权重量化。月之暗面表示，这大致使生成速度翻倍 ^[3]。

第二个关键细节是工具调用。月之暗面称，模型能在 200 到 300 次连续调用中保持稳定的工具使用，而早先的模型在 30 到 50 步之后就会退化 ^[3]。所谓连续调用，是指一次工具调用的结果输入下一步，逐步推进；因此长时间运行中的稳定性，决定了多步骤任务能否完成。

在基准测试上，月之暗面公布的成绩包括：开启工具时 Humanity's Last Exam 得分 44.9，Heavy 模式下为 51.0；BrowseComp 得分 60.2；SWE-bench Verified 得分 71.3 ^[3]。这些都是公司报告的结果。

影响

此次发布把开放权重的推理模型与长序列的工具调用结合在一起，这对需要多步骤工作的智能体很重要。混合专家部分的量化旨在提升生成速度，月之暗面称这大致使速度翻倍 ^[3]。