MiMo-7B（小米推理模型）

是什么

MiMo-7B 是小米 LLM-Core 团队推出的语言模型，参数量为 70 亿，专门面向推理任务，并在预训练（pre-training）与后训练（post-training）两个阶段都做了针对性优化^[1]。发布围绕两个版本展开：MiMo-7B-Base 是预训练得到的基座模型，MiMo-7B-RL 是在其基础上经过强化学习（reinforcement learning）调优的版本^[1]。MiMo-7B-RL 的 Hugging Face 模型卡创建于 2025 年 4 月 29 日，模型以 MIT 许可证发布^[3]。

由来

技术报告由小米 LLM-Core 团队发表，首次提交时间为 2025 年 5 月 12 日^[1]。报告讨论的是语言模型从预训练到后训练整个流程中的推理能力，这也对应了模型的设计思路：先让基座模型尽可能具备推理潜力，再用强化学习把它激发出来^[1]。

预训练

基座模型在 25 万亿 token 上完成预训练^[1]。为增强推理潜力，团队采用三阶段的数据配比策略，在不同阶段改变训练数据的构成，而不是全程使用同一种混合比例^[1]。模型还加入了多 token 预测（multi-token prediction）目标：除了预测下一个 token，还要同时预测后面若干个 token。这样一来，每个位置提供的训练信号更密集，报告称这一目标同时也能加快推理速度^[1]。

后训练

后训练的核心是在可验证问题上做强化学习，共使用 13 万道数学与编程题，这些题目的答案可以被自动检验^[1]。做法是让模型生成解答，由检验程序判断对错，判定结果作为奖励——这样就不必依赖人工标注的偏好数据来训练推理能力。针对这类训练中的实际困难，团队做了两处调整：一是引入由测试难度驱动的代码奖励，以缓解奖励稀疏的问题（在代码题里，一个测试用例不通过就可能让整次尝试得零分，因此奖励需要参考测试本身的难度）；二是通过数据重采样（resampling）稳定训练^[1]。

报告的结果

团队称 MiMo-7B-Base 的表现超过了参数量大得多的 32B 模型^[1]。经过强化学习后，MiMo-7B-RL 被报告在数学、代码和通用推理上超过 OpenAI o1-mini^[1]。

2025 年 5 月 30 日的更新

2025 年 5 月 30 日的更新把监督微调（supervised fine-tuning）数据集从约 50 万条扩大到 600 万条，并把强化学习的窗口从 32K 扩展到 48K^[2]。随之而来的是 AIME 2024 成绩从 68.2 提升到 80.1，高于 DeepSeek R1 报告的 79.8^[2]。AIME 2024 指 2024 年的美国数学邀请赛（American Invitational Mathematics Examination），其题目常被用作数学推理的基准。

在发展中的位置

MiMo-7B 属于一批参数量相对较小、专门面向推理任务的模型^[1]。报告中的对照对象是更大的模型和 OpenAI o1-mini^[1]，而 MIT 许可证意味着权重可以下载并用于其他用途^[3]。后续更新说明提升来自哪里：微调数据的规模与更长的强化学习窗口，仍然是影响基准成绩的直接手段^[2]。