SmolLM3

是什么

SmolLM3 是 Hugging Face 发布的开放语言模型，参数量为 30 亿（3B），发布于 2025 年 7 月 8 日^[1]。参数（parameters）是模型内部可以调整的数值，用来保存它学到的内容。SmolLM3 是 SmolLM 系列的第三代，承接 2024 年 11 月发布的 SmolLM2^[1]。它的设计目标是在普通硬件上运行，同时仍能处理长文档和推理任务。

训练过程

模型的预训练量约为 11.2 万亿个令牌（token），分三个阶段进行，采用课程式的训练安排^[1]。令牌是模型训练时阅读的基本文本单位。所谓课程式，是指训练分为若干阶段，每个阶段的数据配比不同。预训练之后，模型还经过后训练，被塑造成既能对话、又能推理的模型。

长上下文是分步加入的。模型预训练时的窗口为 4K 个令牌，之后分两个阶段扩展到 64K，每个阶段使用 500 亿个令牌。在推理时，模型借助 YaRN 可以处理最长 128K 个令牌的输入。YaRN 是一种拉伸位置信息的方法，让模型能处理更长的输入^[1]。

主要特点

SmolLM3 支持六种语言：英语、法语、西班牙语、德语、意大利语和葡萄牙语^[1]。它采用类似 Llama 的解码器结构，这是许多开放模型共用的设计。模型使用 4 组分组查询注意力（grouped-query attention），这是一种组织注意力层以节省内存的方式^[1]。它还采用 NoPE 设计，即每四层去掉一次旋转位置编码（rotary position embedding），这一做法有助于长上下文下的表现^[1]。

SmolLM3 是双模式指令模型。扩展思考（extended thinking）默认开启，用户可以通过 /think 和 /no_think 标记切换^[1]。开启思考时，它在 AIME 2025 上的得分从 9.3% 升至 36.7%^[1]。AIME 是一项竞赛数学测试，这一数字说明推理模式在难题上的帮助有多大。

基础版与微调版的权重均以 Apache 2.0 许可证发布^[2][3]。这一许可证允许人们在其条款下使用、修改和分享模型。

开发方的说法

Hugging Face 表示，SmolLM3 的表现超过了 Llama-3.2-3B 和 Qwen2.5-3B，并且可以与 Qwen3-4B、Gemma3-4B 等 40 亿参数级别的模型相竞争^[1]。这些是开发方自己的比较，读者应核对其评测设置。

开放程度

Hugging Face 公开了完整的训练方案、数据配比、训练配置、日志以及中间检查点。后训练数据位于 SmolTalk2 中^[1]。这种程度的公开让其他研究者可以看到模型是如何产生的，复现其中部分流程，并构建自己的版本。

在系列中的位置

SmolLM3 延续了 SmolLM2 的路线，并在训练令牌量、上下文长度和可切换的推理模式上有所扩展。它表明，一个 30 亿参数的开放模型也能处理多种语言、长文档和多步推理，而且人们可以检查它的训练方法。