月之暗面发布 2.8 万亿参数的 Kimi K3

背景

月之暗面（Moonshot AI）是一家总部位于北京的人工智能公司，开发 Kimi 智能助手和 Kimi 系列大语言模型。在其自己发布的材料中，月之暗面把 K3 与此前的 K2.6 做了比较，因此 K3 可以看作这一系列的新一代模型。

发生了什么

月之暗面于 2026 年 7 月 16 日发布 Kimi K3。该模型的总参数量为 2.8 万亿，每个词元（token）处理时约激活其中 1040 亿左右的参数。^[3]^[1]据维基百科的描述，这一系列是规模最大的开放权重模型系列。^[1]

参数是模型在训练中学到的数值。总参数指全部参数，激活参数指处理单个词元时实际参与计算的那部分。两者之间的差距，是这样大小的模型每个词元的运行成本低于总规模所暗示的水平的原因。

架构与上下文

注意力机制决定模型中每个词元关注其他词元的强弱。标准的全注意力会让每个词元与之前的所有词元比较，因此文本越长，计算成本增长越快。线性注意力（linear attention）是一类降低这一成本的设计。K3 中，69 个 Kimi Delta Attention（KDA）线性注意力层与 24 个 Gated MLA 层混合使用。^[3]上下文窗口为 1,048,576 个词元，即模型一次能够考虑的文本长度。^[3]

基准成绩

月之暗面在最大推理强度下报告了自测成绩：GPQA Diamond 93.5，HLE-Full 在不使用工具时为 43.5、使用工具时为 56.0，Terminal-Bench 2.1 为 88.3，BrowseComp 为 91.2，OSWorld-Verified 为 84.8。^[3]「自测」指由开发方自己运行测试并公布数字，独立机构的测量结果可能不同。GPQA Diamond 是一组研究生水平的科学问题；HLE 是跨多个学科的高难度考试；Terminal-Bench 考察在命令行中完成的任务；BrowseComp 考察在网页上查找信息；OSWorld 考察在电脑桌面上完成的任务。

排行榜表现

K3 首次亮相时在 Artificial Analysis 排行榜上位列第 3，并在 Arena.ai 的前端网页开发基准上排名第一。^[2]^[1]月之暗面还报告，K3 的私有长程 Elo 评分为 1547，比 K2.6 高 732 分。^[2]^[1]Elo 是一种把两两对比结果换算为单一分数的评分方法，因此这一数字是在月之暗面自己的私有测试中对比 K3 与此前的 K2.6。

权重与许可证

2026 年 7 月 27 日，月之暗面以 Kimi K3 许可证发布了模型权重。^[2]^[1]^[3]开放权重（open weights）指训练得到的参数可以下载，他人因此能够运行和研究该模型；许可证则规定使用条件。根据该许可证，年收入超过 2000 万美元且依托 K3 运营的服务方需要与月之暗面协商，维基百科报道其收入分成最高为 30%。^[2]^[1]^[3]大型产品还须注明来源为 Kimi K3。^[2]^[1]^[3]