《Kimi K3：开放的前沿智能》

这是一份什么样的报告

2026 年 7 月 27 日，月之暗面（Moonshot AI）的 Kimi 团队向 arXiv 提交了一份技术报告，编号 2607.24653，介绍的是 Kimi K3 ^[1]。与报告同时发布的，还有这个模型的完整权重 ^[1]。

K3 是一个混合专家（mixture-of-experts，MoE）模型，总参数 2.8 万亿，每个 token 激活其中的 1040 亿参数；它具备原生视觉能力，上下文窗口为 100 万 token ^[1]。混合专家的做法是把网络拆成许多「专家」子网络，再由路由器把每个 token 只送给其中少数几个，因此总参数量可以远大于单个 token 实际消耗的算力。

模型结构上的改动

K3 建立在两个与注意力相关的设计之上：Kimi Delta Attention 与 Attention Residuals，报告称它们改善了信息在序列长度方向和模型深度方向上的流动 ^[1]。它的 Stable LatentMoE 层对每个 token 激活 896 个路由专家中的 16 个 ^[1]。

再加上改进后的训练与数据配方，这些改动使整体扩展效率（scaling efficiency）相对上一代 Kimi K2 提升约 2.5 倍 ^[1]。扩展效率说的是模型每消耗一份训练资源能换来多少能力；提升 2.5 倍，意味着达到同样的水平所需的资源明显减少。

训练与后训练

后训练阶段的重点放在强化学习上，覆盖通用、智能体（agentic）与编程三类任务，并支持多个推理努力等级（reasoning-effort level）^[1]。推理努力等级是让同一个模型在作答前多花或少花一些计算去思考的设置，用延迟换深度，按任务需要取舍。

把 2.8 万亿参数跑起来

要训练和部署这种规模的模型，系统层面与建模层面同样重要。报告列出三件事：针对 Kimi Delta Attention 的算法与系统协同设计；负载完全均衡、内存管理高效的专家并行（expert-parallel）训练；以及带有持久化 rollout 与沙箱状态的百万 token 智能体强化学习 ^[1]。专家并行是把 MoE 的专家分散到大量设备上，各设备分到的工作是否均衡，直接决定大规模训练会不会被最慢的一环拖住。

评测结果

评测显示，K3 在长程编程、智能体、知识、推理与视觉任务上达到了前沿水平 ^[1]。报告对上限也写得很直白：整体表现仍落后于最强的闭源模型 Claude Fable 5 与 GPT-5.6 Sol，但在同一套评测中稳定优于其他开放与闭源模型 ^[1]。

为什么值得注意

有两点。第一是开放权重下的规模：一个 2.8 万亿参数、具备原生视觉、上下文达 100 万 token 的模型，以完整权重发布，而不是只提供接口 ^[1]。第二是工程侧的账目：注意力结构的重新设计、专家并行训练方案与长程强化学习设置，被描述为同一个系统中必须协同设计的部分，正是它们让这个模型训得起来、也服务得起 ^[1]。把这份工程叙述与报告自己给出的评测保留放在一起看，K3 呈现出的形象是：它把与最强闭源模型之间的距离缩小了很多，但还没有越过它们 ^[1]。