Hugging Face 发布小型推理模型 SmolLM3

背景

SmolLM 是 Hugging Face 面向设备端的小模型系列。第二代 SmolLM2 已先行推出。SmolLM3 在此基础上扩展了推理模式，用户可以自行开启或关闭^[1]。

发生了什么

2025 年 7 月 8 日，Hugging Face 发布了 SmolLM3，这是一个 30 亿参数（3B）的开放模型^[1]。参数（parameters）是模型内部可以调整的数值，用来保存模型学到的内容，所以 3B 指约三十亿个这样的数值。模型训练了约 11 万亿个令牌（token），支持英语、法语、西班牙语、德语、意大利语和葡萄牙语六种语言^[1]。

此次发布的定位是：体量小、支持多语言，并且能处理长输入。这三点使它区别于许多同等规模的模型。

关键细节

SmolLM3 可以处理最长 128K 个令牌的上下文，借助 YaRN 扩展到这一长度^[1]。上下文窗口是模型一次能考虑的文本长度，128K 个令牌足以容纳一份长报告或一批代码文件。令牌是很小的文本单位，通常是一个词或词的一部分。

用户可以用 /think 和 /no_think 标记，在推理模式与直接回答模式之间切换^[1]。推理模式让模型在回答前先逐步推敲问题，通常耗时更长，但在难题上可能得到更好的结果；直接回答模式则更快。

Hugging Face 表示，SmolLM3 超过了 Llama-3.2-3B 和 Qwen2.5-3B，并能与 40 亿参数的模型竞争^[1]。这些比较来自开发方本身，读者在下结论前应核对其测量方法。

影响

完整的训练方案、数据配比与检查点与模型一同公开^[1]。公开过程而不只是最终权重，意味着其他研究者可以检查模型是如何产生的，重复其中的部分工作，并比较不同方法。对于想了解小模型如何构建的人来说，这次发布是一份实用的参考。

此次发布还表明，一个 30 亿参数的模型可以在一次开放发布中同时具备多语言、长上下文和可选的推理模式。对于关注这一领域的读者来说，SmolLM3 是从早先的 SmolLM 模型，走向之后能力更强的模型的一个清晰节点。