MiniMax 发布原生多模态的 MiniMax-M3

背景

M3 是 MiniMax 系列中的下一款模型。这次发布结合了两项变化：一是从训练一开始就使用多种类型的输入，二是为长输入设计了新的注意力结构。

发布经过

MiniMax 于 2026 年 6 月发布 M3。模型权重于 6 月 2 日上传至 Hugging Face（抱抱脸），论文 arXiv 2606.13392 于 6 月 11 日发布^[2][3][1]。Hugging Face 是研究者和开发者分享模型与数据集的平台。

关键细节

M3 是混合专家（mixture-of-experts）模型，总参数约 4280 亿（428B），其中约 230 亿（23B）处于激活状态^[1]。它支持 100 万 token 的上下文^[1]，并且是原生多模态模型，从训练一开始就同时使用文本、图像和视频^[1]。

这次发布引入了 MiniMax 稀疏注意力（MiniMax Sparse Attention，MSA），MiniMax 将其设计为替代长上下文场景下的 GQA 类注意力。注意力机制让模型在生成每个新 token 时权衡输入中此前各部分的重要性；分组查询注意力（GQA）是降低其计算成本的常见做法^[1]。

在满额 100 万 token 上下文下，MiniMax 报告 M3 的预填充速度是 M2 的 9 倍，解码速度是 M2 的 15 倍。预填充是模型读入输入的阶段，解码是模型生成输出的阶段。每个 token 的计算量降至 M2 的二十分之一^[1]。

影响

这次发布的主要主张集中在长上下文下的效率，以及在同一模型中结合文本、图像与视频的能力。两者的具体数字见上文，论文是其主要出处^[1]。长上下文效率之所以重要，是因为处理超长输入的成本会随输入长度迅速上升，降低这一成本，模型一次能实际处理的内容范围便随之扩大。