Hugging Face 发布小模型系列 SmolLM

背景

Hugging Face 最为人所知的身份，是开发者分享机器学习模型、数据集和演示的平台。当时许多备受关注的模型规模都很大，需要强大的服务器才能运行。小模型则瞄准另一个目标：它们足够轻，可以在手机或笔记本上运行，不必把数据发送到远程服务。SmolLM 的发布正是围绕这一目标展开的^[1]。

发生了什么

2024 年 7 月 16 日，Hugging Face 发布了 SmolLM，共有 135M、360M 和 1.7B 三种参数规模^[1]。参数是模型内部可以调整的数值，用来保存模型学到的内容，因此这些数字反映了每个模型的大小。这些模型面向设备端使用，也就是设计为在用户自己的硬件上运行^[1]。

模型使用 SmolLM-Corpus 训练。这个数据集由三部分组成：合成的 Cosmopedia v2 教科书与故事、Python-Edu 代码，以及 FineWeb-Edu 网页文本^[1]。训练语料与模型一同公开，因此任何人都能看到模型学习过什么。

关键细节

1.7B 模型训练了 1 万亿个令牌（token），两个较小的模型各训练了 6000 亿个令牌^[1]。令牌是很小的文本单位，1 万亿个令牌对模型来说是非常庞大的阅读量。在不增加规模的前提下，用这么多数据训练，是小模型获得能力的一种途径。

Hugging Face 表示，每个规模的模型都超过了同级别的竞争模型。对于 1.7B 模型，比较对象包括 Qwen2-1.5B 和 Phi-1.5^[1]。这些是开发方的说法。读者在引用时应核对评测细节和比较的时间点，因为竞争模型及其成绩都会变化。

影响

此次发布为开发者提供了一组可以下载和测试的小型开放模型，不需要大量算力。训练语料与模型同时公开，使人们可以检查训练选择，而不只是最终的权重。对于想了解模型是如何做出来的读者而言，这种公开很有价值，因为数据往往是一个系统中最不容易被看到的部分。

SmolLM 系列也为之后的工作打下了基础。下一代 SmolLM2 于 2024 年 11 月推出，延续了这一小模型路线。对于关注开放 AI 的人来说，这次发布清楚地展示了一家公司把精力投入到数据和模型规模上，而不只是追求原始规模。