Kimi K3

是什么

Kimi K3 是月之暗面（Moonshot AI）于 2026 年 7 月 16 日发布的多模态模型 ^[1][2]。它的总参数为 2.8 万亿，每个词元激活 1040 亿参数。维基百科将其描述为最大的开放权重模型系列 ^[3][1]。它能够理解文本、图像和视频 ^[3]。

由来

公司报告称，K3 的长程评测 Elo 为 1547，比 K2.6 高出 732 分 ^[2][1]。

权重于 2026 年 7 月 27 日公开，适用 Kimi K3 许可证。依据该许可证，年收入超过 2000 万美元、通过 K3 获得收益的服务方须与月之暗面协商；维基百科报道称，收入分成最高可达 30%。大型产品基于该模型构建时，须标注 Kimi K3 ^[2][1][3]。

主要特点

模型共 93 层，其中一层为稠密层，共有 896 个专家。每个词元路由到 16 个专家，另有 2 个始终参与计算的共享专家 ^[3]。

注意力部分混合了 69 个 Kimi Delta Attention（KDA）线性注意力层与 24 个 Gated MLA 层。线性注意力使处理长输入的计算成本低于标准注意力。上下文窗口为 1,048,576 个词元，约合一百万个词元 ^[3]。

视觉部分采用 4.01 亿参数的 MoonViT-V2 编码器。权重使用 MXFP4 格式，激活使用 MXFP8，这是一种低精度的数值格式，并通过量化感知训练（quantization-aware training）实现。量化感知训练是指在训练时就考虑精度降低，使模型在低精度下运行时保留更多质量 ^[3]。

月之暗面自报的最高努力模式成绩包括：GPQA Diamond 93.5 分，Humanity's Last Exam（HLE）不使用工具 43.5 分、使用工具 56.0 分，Terminal-Bench 2.1 88.3 分，BrowseComp 91.2 分，OSWorld-Verified 84.8 分 ^[3]。这些均为公司自行报告的数字。

Agent Swarm 扩展到最多 300 个子智能体 ^[1]。该模型在 Artificial Analysis 排行榜上以第 3 名的成绩首次亮相，并在 Arena.ai 的前端网页开发基准测试中位列第一 ^[2][1]。

在发展中的位置

Kimi K3 也引起了公司以外的关注。白宫科学与技术政策办公室（OSTP）主任 Michael Kratsios 指责月之暗面对 Anthropic 的 Claude 模型进行了蒸馏（distillation）。蒸馏是指用另一个模型的输出来训练自己的模型，这一指控针对的正是这种做法 ^[2]。2026 年 8 月，法律科技初创公司 Harvey 推出了基于 Kimi K3 的法律模型 ^[2]。

该系列随后于 2026 年 10 月推出了 Kimi K3.1 Pro ^[1][2]。