MiniMax-M3

是什么

MiniMax-M3 是 MiniMax 在 2026 年 6 月发布的混合专家（mixture-of-experts，MoE）语言模型。权重于 2026 年 6 月 2 日上传到 Hugging Face，配套论文于 6 月 11 日以 arXiv 2606.13392 发布^[2][3][1]。模型总参数约 428B，每个 token 实际激活约 23B^[1]。模型卡上有一处细节并不完全一致：safetensors 元数据写的是 427B 参数，而卡片正文取整为约 428B^[1]。

混合专家模型的做法是让每个 token 只经过网络中的一小部分专家，而不是走完整张网络，因此单个 token 的计算量远低于总参数规模给人的印象。M3 走的正是这条路：容量存在权重里，任一时刻只用其中一小块。

稀疏注意力与长上下文

最核心的架构变化是 MiniMax 稀疏注意力（MiniMax Sparse Attention，MSA），它被设计用来取代 GQA 式（分组查询注意力）的注意力机制^[1]。注意力是 Transformer 中让每个 token 去权衡上下文中其他 token 的部分；GQA 通过让多个查询头共享键值头来省显存，但计算开销仍随上下文长度增长。稀疏注意力只计算其中一部分 token 之间的关联，这正是让超长输入变得可负担的关键。

M3 支持 100 万 token 的上下文^[1]。在这一长度下，MiniMax 报告其预填充（prefill）比早前的 M2 快 9 倍、解码（decoding）快 15 倍，单 token 计算量降到原来的二十分之一^[1]。预填充指模型开始生成前通读提示词的那一遍计算，解码指随后逐 token 生成的过程；两者同时提速，才使这样长的上下文真正可用，而不只是纸面支持。

原生多模态

M3 从一开始就用文本、图像和视频训练，而不是先做纯文本模型、之后再补上视觉能力^[1]。训练中引入视频，意味着预训练阶段就见过时序结构很强的数据，这与该版本强调长上下文的定位是吻合的。

公布的成绩

MiniMax 公布了若干标准评测的分数：SWE-bench Verified 80.5、SWE-bench Pro 59、MMMU-Pro 78.1、APEX-Agents 27.7^[1]。SWE-bench 要求模型解决来自开源仓库的真实软件问题，Pro 版本用更难的题目；MMMU-Pro 考察对图像、图表等视觉材料的推理；APEX-Agents 衡量多步智能体任务上的表现。模型卡还列出 Long-Horizon-Terminal-Bench 38.5 与 Lhtb2 Solved 46.9，两者都以平均奖励乘以 100 的形式给出^[1]。这两项是长程终端任务基准，考察的是模型在连续多步命令行操作中的表现，而不是单个问题的答案。

许可与后续版本

权重以 minimax-community 许可发布^[1]。后续的 MiniMax-M3.1-Flash 于 2026 年 10 月推出^[3]。

处在什么位置

这次发布更适合理解为让超长上下文从「能支持」走向「能实用」。稀疏注意力、100 万 token 窗口、原生多模态，再加上软件工程与智能体方向的基准汇报，共同指向同一类工作负载：模型先读入大量材料，然后在许多步骤中据此行动。参数规模也把 M3 归入稀疏激活一派——容量足够装下广泛知识，单个 token 的开销又足够低，才撑得起长输入的服务成本。