SmolLM2

是什么

SmolLM2 是 Hugging Face 小型语言模型系列的第二代，于 2024 年 11 月发布，共有 135M、360M 和 1.7B 三种参数规模^[1][3]。三种规模都以 Apache 2.0 许可发布，并且各自提供两个版本：供继续训练用的基础模型（base），以及可以直接拿来使用的指令微调模型（instruct）^[1]。名字里的「Smol」（small 的变体）指的是参数规模小，而不是功能缩水：它们就是普通的 Transformer 解码器语言模型，用海量文本训练，只是参数量比同期最大的系统少得多^[4]。

三种规模各有用途。最小的两个运行成本低，可以放在大模型不划算的场合；1.7B 那一个是团队记录得最详细、也拿来和其他小模型作比较的版本。

在系列中的位置

SmolLM2 是这个模型家族承上启下的一代：它接在 2024 年 7 月发布的 SmolLM 之后，又由 2025 年 7 月发布的 SmolLM3 接续^[3]。几代产品保持同一个基本思路——规模小、许可开放、训练数据经过挑选——编号也让这条线索容易追踪。

1.7B 模型是怎么训练的

最大的 SmolLM2-1.7B 在约 11 万亿个 token 上训练，采用多阶段的数据配比^[1][2]。模型卡描述它的架构为 Transformer 解码器，用 bfloat16 精度、在 256 块 H100 GPU 上借助 nanotron 框架训练^[4]。

所谓「多阶段数据配比」，是指训练数据的构成在训练过程中会发生变化，而不是从头到尾固定不变：早期阶段可能偏重覆盖面广的网页文本，后期阶段则向质量更高的材料倾斜。语料由 FineWeb-Edu、DCLM 和 The Stack 组成，再加上新整理出来的数学与代码数据集^[4]。从整体规模看，一个不到 20 亿参数的模型用掉数万亿 token，说明团队是刻意把力气花在数据上，而不是花在参数上。

三个新数据集

这项工作引入了三个新数据集：FineMath、Stack-Edu 和 SmolTalk^[2]。它们与训练方法一起记录在配套论文中，也属于作者反复强调的那个主张的一部分：对小型模型来说，喂进去什么，和最终出来多少参数同样重要。

指令微调

指令微调版本分两步做成。第一步是在公开数据集和整理过的数据集上做监督微调（supervised fine-tuning），也就是让模型学习「问题—好答案」的样例；第二步是用 UltraFeedback 做直接偏好优化（Direct Preference Optimization），根据「哪个回答更受偏好」的比较来调整模型^[4]。这样得到的指令模型还额外支持文本改写和摘要^[4]。

结果与论文

技术报告题为《SmolLM2: When Smol Goes Big》，于 2025 年 2 月 4 日发布在 arXiv 上，第一作者是 Loubna Ben Allal。报告称 SmolLM2-1.7B 的表现优于 Qwen2.5-1.5B 和 Llama3.2-1B^[2]。这两个比较对象都是规模相近的小模型，正是这一档模型真正要面对的对手。

为什么重要

SmolLM2 是一个有完整记录的「以数据为中心」训练小模型的例子。它没有把小模型当成大模型的压缩版，而是公开了一整条流程：整理并新建数据集、分阶段训练、再做监督微调和偏好优化。Apache 2.0 许可让权重可以被其他项目直接使用，三种规模则让使用者能按自己的硬件条件选择^[1]。它夹在 SmolLM 与 SmolLM3 之间，也使这个家族成为一份连续、可查的记录，能看出同一组研究者在前后几次发布中对小模型的做法有哪些变化^[3]。