SmolLM

SmolLM 是什么

SmolLM 是 Hugging Face 于 2024 年 7 月 16 日发布的一系列小型语言模型，共有 135M、360M 和 1.7B 三种参数量级。^[1] 参数量是衡量模型容量的粗略指标，指的是训练中需要学习的权重数量；这三个规模都远小于常见的大模型，设计目标是跑在用户自己的设备上，而不是数据中心里。^[1] 本地运行换来的是断网也能用、文字不必离开这台机器，代价则是知识面和通用能力不及参数量大得多的模型。

为它专门配的语料

三个模型「读」过的文本远多于它们的参数量：135M 和 360M 各训练了 6000 亿个 token，1.7B 训练了 1 万亿个 token。^[1] token（词元）是文本被切分后的片段，大致相当于一个短词或词的一部分，所以这些数字意味着数千亿个片段，比模型自身的参数多出许多倍。

这些文本被汇成一套名为 SmolLM-Corpus 的语料，由三部分组成：Cosmopedia v2，28B 个词元，是 Mixtral 生成的合成教科书与故事；Python-Edu，4B 个词元，取自 The Stack；以及去重后的 FineWeb-Edu，220B 个词元。^[1] 三者的分工在类型上是清楚的：经过筛选的教育类网页文本提供通用知识，代码提供结构化的材料，合成的教科书式文字则与之并列。模型卡把这份训练数据称为 Cosmo-Corpus，并注明模型只支持英语。^[3]

公布的成绩

Hugging Face 把每个模型与同一量级的对手做了比较：SmolLM-135M 优于 MobileLLM-125M；SmolLM-360M 优于所有 5 亿参数以下的模型，包括 Qwen2-500M；SmolLM-1.7B 优于 20 亿参数以下的模型，包括 Phi-1.5 和 Qwen2-1.5B。^[1] 模型卡说明，这些对比都在各自的规模区间内进行，所用基准测试考察常识推理和世界知识。^[3]

换句话说，这些结论都是相对同量级对手而言的：它说的是这个小模型比同尺寸的别家模型更好，而不是说它能与比它大一个数量级的系统相比。恰恰是这种限定让数字有用——对一个要把模型装在笔记本或手机上的人来说，真正的问题是哪个小模型最好，而不是小模型能不能赢过大模型。

开放权重与日常使用

模型的权重以 Apache 2.0 许可在 Hugging Face Hub 上公开发布。^[2] 三个规模的检查点都放在 Hub 上，可以通过 transformers 库加载，^[3] 开发者下载后用的就是这套生态里通用的代码。Apache 2.0 属于宽松许可，这对想把模型装进产品而不只是拿来研究的人很重要。一次放出三个规模而不是一个，也让开发者能在不改动工具链的前提下，在内存、速度与能力之间做取舍：最受限制的设备用 135M，空间宽裕时用 1.7B。

位置

SmolLM 在 2024 年 11 月由 SmolLM2 接替，^[2] 间隔很短，也说明这一小块领域进展之快。这一代模型的看点在于组合方式：模型足够小、训练语料有公开说明且部分是合成的、在很窄的参数区间内给出了可比的成绩，而权重与配方是一起放出来的。