Hugging Face 发布 SmolLM2

背景

语言模型的规模通常用参数数量来衡量。参数是训练过程中学到的那些数字，它们大体上决定了模型能装下多少东西。135M 的模型有大约 1.35 亿个参数，1.7B 的模型大约 17 亿个。人们熟悉的对话模型远比这大，但一直有一条研究路线在追问：如果把模型压到能在笔记本电脑或手机上跑起来，同时兼顾内存、功耗和响应速度，还剩多少能力？

发布了什么

2024 年 11 月，Hugging Face 发布了 SmolLM2，共三个尺寸：135M、360M 和 1.7B^[3]。权重以 Apache 2.0 许可发布^[1]。这是一种宽松的开源许可，允许商用与非商用使用、修改和再分发，条件是保留许可文本和相关声明。落到实处就是：一个团队可以把模型下载下来，直接运行、微调，嵌进产品里，不必先去谈一份单独的协议。

1.7B 模型是怎么训练的

1.7B 模型用了约 11 万亿个 token 训练^[1]。token 是模型读取和预测的基本单位，通常是一个词片段；英文里平均下来一个 token 略少于一个单词，所以万亿级的 token 对应着远超任何人一生阅读量的文本。这正是小模型路线的核心赌注：容量才是稀缺资源，于是把预算尽量花在数据上。

除了基础模型，这次发布还包括一个指令模型（instruct model），做法是先做监督微调（supervised fine-tuning），再在 UltraFeedback 上做直接偏好优化（Direct Preference Optimization，DPO）^[4]。监督微调用「指令 + 好答案」的样例训练模型，让它学会一问一答的形式。直接偏好优化则拿同一个问题的成对答案——一个更受偏好、一个较差——去调整模型，让更受偏好的那个答案概率更高。相比先单独训一个奖励模型再用强化学习去优化，它是一条更简单的替代路线。

报告的结果

Hugging Face 称该模型超过了 Qwen2.5-1.5B 和 Llama3.2-1B^[2]。这两个是其他机构规模相近的模型，有了对照，读者才能判断这个尺寸档位到底能做到什么。模型卡还报告说，1.7B 版本相比 SmolLM1-1.7B 有明显提升，尤其体现在指令遵循、知识、推理和数学几个方面^[4]。换句话说，进步并不是在所有任务上均匀铺开，而是集中在用户和对话模型打交道时最容易察觉的那几项能力上。

论文与数据集

2025 年 2 月 4 日，团队跟进发表了技术论文，同时公开了三个数据集：FineMath、Stack-Edu 和 SmolTalk^[2]。把数据连同权重一起放出来很关键，因为小模型的质量高度依赖于它究竟吃了什么。没有这份配比，别人既无法复现结果，也无法在同一基础上另做一版模型。

为什么重要

SmolLM2 站在开放许可、小尺寸和公开训练配方三者的交点上。十几亿参数的模型小到许多研究者和爱好者能在普通硬件上运行，而 Apache 2.0 许可去掉了通常会拖慢这件事的法律摩擦。指令模型和公开的数据集同时服务两类人：想要一个能跑、能改的现成助手的人，以及想研究这样一个模型是怎么搭起来的人。与 Qwen2.5-1.5B、Llama3.2-1B 的对比，也给这个领域提供了一个共同参照——一个训练得当的小模型，能把与更大模型之间的差距追到多近。