MiniMax 开源 MiniMax-01，推理上下文达 400 万 token

背景

MiniMax（稀宇科技）是一家中国 AI 公司。它的 abab 文本模型系列属于专有模型，权重不对外公开。^[2] 在 2025 年 1 月之前，公司并未发布此类开放权重的模型系列。

发生了什么

2025 年 1 月，MiniMax 发布 MiniMax-01 系列，其中包括语言模型 MiniMax-Text-01 与视觉语言模型 MiniMax-VL-01。^[2] 两者的权重于 2025 年 1 月 12 日上传到 Hugging Face，技术报告 arXiv 2501.08313 于两天后的 2025 年 1 月 14 日发布。^[3][1]

Hugging Face 是研究者和公司分享模型权重的平台。技术报告则是描述模型设计与结果的文档。开放权重发布意味着训练得到的参数可供下载，人们可以在自己的设备上运行模型，但须遵守其许可条款；专有模型通常只能通过公司自己的服务使用。

关键细节

MiniMax-Text-01 的总参数为 456B，每个词元激活 45.9B。^[1] 其架构为混合结构：每七个 Lightning Attention 层之后设置一个 softmax 注意力层，并与混合专家组件结合。^[1]

本次发布最醒目的数字是上下文长度。模型训练时的上下文可达 100 万词元，推理时可处理多达 400 万词元，即模型使用时可用的上下文长度。^[1] 发布的标题即指这一 400 万词元的数字。

许可安排分为两部分：权重依据 MiniMax Model Agreement 发布，代码以 MIT 许可证发布。^[1]

影响

这次发布标志着 MiniMax 分享模型方式的变化。MiniMax-01 的开放权重则让外部研究者可以检视并运行其架构与结果。^[1]

对档案而言，这一事件位于 MiniMax 开放模型路线的起点。此后，2025 年 6 月推出了推理模型 MiniMax-M1。^[2]