MiniMax-01 系列（Text-01 与 VL-01）

是什么

MiniMax-01 是 MiniMax（稀宇科技）于 2025 年 1 月发布的模型系列，包含两个成员：语言模型 MiniMax-Text-01 和视觉语言模型 MiniMax-VL-01。两者均以开放权重的形式发布，即训练得到的参数向外界公开，供人下载。^[2] 两者的权重于 2025 年 1 月 12 日上传到 Hugging Face，技术报告 arXiv 2501.08313 于 2025 年 1 月 14 日发布。^[3][1]

Hugging Face 是研究者和公司分享模型权重与文档的公共平台。技术报告则是详细描述模型设计与结果的文档。

由来

MiniMax-01 承接了 MiniMax 此前的专有 abab 文本模型系列。2025 年 1 月转向开放权重，标志着公司发布语言模型的方式发生了变化。^[2]

在开放路线中，下一个模型是 2025 年 6 月发布的推理模型 MiniMax-M1。^[2] 因此，MiniMax-01 是公司的第一个开放权重模型系列。

主要特点

MiniMax-Text-01 的总参数为 456B，每个词元处理时激活其中的 45.9B。^[1] 模型采用混合架构：每七个 Lightning Attention 层之后设置一个 softmax 注意力层，Lightning Attention 是一种线性注意力设计，两者与混合专家（MoE）组件结合在一起。^[1] softmax 注意力是许多 Transformer 模型使用的标准注意力机制，线性注意力则是成本随输入长度增长更为平缓的替代方案。

模型共有 80 层，64 个注意力头，隐藏层维度为 6144。其中混合专家部分有 32 个专家，每个词元被路由到得分最高的两个专家。^[1]

上下文长度是其突出特点。训练时的上下文可延伸至 100 万词元，推理时可处理多达 400 万词元。^[1] 词元是文本的基本单位，可能是一个词，也可能是词的一部分；上下文长度指模型一次能够考虑的文本量。

在公司报告的成绩中，MMLU 为 88.5，MMLU-Pro 为 75.7，GPQA Diamond 为 54.4，MATH 为 77.4，HumanEval 为 86.9，IFEval 为 89.1。^[1] 长上下文测试方面，RULER（100 万词元）得分为 0.910，LongBench v2（使用思维链）得分为 56.5。^[1] 这些均为公司自行报告的数字，阅读时应结合测试条件。

模型权重依据 MiniMax Model Agreement 发布，代码以 MIT 许可证发布。^[1]

在发展中的位置

MiniMax-01 是继专有 abab 系列之后的开放模型系列，并在 2025 年 6 月的推理模型 MiniMax-M1 之前发布。^[2] 它的意义在于长上下文与混合设计两点。

对读者而言，MiniMax-01 是 MiniMax 的模型工作通过开放权重第一次被外部研究者看到的节点。