《Qwen3 技术报告》

《Qwen3 技术报告》由阿里巴巴 Qwen 团队撰写，作者名单的前几位是 An Yang、Anfeng Li 和 Baosong Yang。论文于 2025 年 5 月 14 日提交到 arXiv，编号 2505.09388。报告介绍 Qwen3 系列大语言模型，覆盖稠密（dense）和混合专家（mixture-of-experts）两种架构，参数量从 6 亿到 2350 亿。旗舰模型 Qwen3-235B-A22B 采用混合专家架构。^[1]

稠密模型对每个词元（token）使用同一整套参数，混合专家模型则把计算分配给不同的专家子网络。Qwen3 同时覆盖两种设计，而不是整个系列只用一种架构。^[1] 这样做的意义在于，模型规模和部署成本相关，不同场景可以选择参数规模不同的版本。

核心设计变化是一个统一框架：它把用于复杂多步推理的思考模式（thinking mode）和用于快速、依上下文作答的非思考模式（non-thinking mode）放进同一套模型。报告称，这消除了在分别面向聊天优化的模型和面向推理的专门模型之间切换的需要。模式可以根据查询或聊天模板（chat template）来选择。^[1] 通常，聊天优化模型偏向快速回复，推理专门模型则会在中间步骤上投入更多计算；Qwen3 把这两种行为纳入一个框架。

Qwen3 还加入思考预算（thinking budget）机制。用户可以自适应地分配推理计算量，根据任务复杂度在延迟和性能之间取舍。^[1] 推理计算是模型生成答案时使用的计算，预算更大就可能允许在给出回答前做更多工作，代价是等待更久。这个预算让应用有一个统一控制项，而不必把速度和推理深度当成不同模型的固定属性。

预训练使用了约 36 万亿词元，覆盖多达 119 种语言和方言，比 Qwen2.5 的 29 种有所增加。^[1] 预训练分三个阶段：约 30 万亿词元用于通用知识，然后用知识密集型数据加强 STEM 和编程推理，最后使用长上下文数据。^[1] 预训练是模型从大量文本中学习统计规律的第一阶段；分阶段的数据配方改变了模型在这一阶段后期接触到的材料类型。

报告称，旗舰模型的知识显著减少了较小模型所需的计算量，同时让它们保持竞争力。^[1] 这正是从 6 亿到 2350 亿参数这一系列模型的现实用途：较小模型可以服务受限环境，最大的混合专家模型则代表这一范围的顶端。

所有 Qwen3 模型都以 Apache 2.0 许可证发布。^[1] Apache 2.0 是一种广泛使用的开源许可证。因此，这次发布把全尺寸范围的开源许可、思考与非思考统一的框架，以及调节推理计算量的方式放在一起。报告把这些作为 Qwen3 的主要变化：一个模型系列同时服务快速回答和多步推理，预训练覆盖更多语言，并采用面向通用知识、STEM 和编程、长上下文的分阶段数据配方。^[1]