阿里巴巴发布通义千问 Qwen2.5，一次开源 13 个模型

背景

Qwen2.5 是阿里巴巴通义千问大语言模型家族的新一代。此次发布的重点在于覆盖多种尺寸，并推出专用模型。^[1]

发生了什么

阿里巴巴于 2024 年 9 月 19 日发布 Qwen2.5。^[1] 此次共开放 13 个模型。通用模型为 Qwen2.5，尺寸有 0.5B、1.5B、3B、7B、14B、32B 和 72B。代码模型为 Qwen2.5-Coder，尺寸为 1.5B、7B，之后又推出 32B。数学模型为 Qwen2.5-Math，尺寸为 1.5B、7B 和 72B。^[1]

关键细节

这些模型的预训练数据最多达 18 万亿个 token，其中 Qwen2.5-Coder 使用了 5.5 万亿个与代码相关的 token 进行训练。^[1] 模型支持最长 128K 个 token 的上下文，可生成最多 8K 个 token，支持 29 种以上的语言。^[1] token 是模型读入和输出文本时使用的基本单位，大致相当于一个词或词的一部分。

所有开放模型均采用 Apache 2.0 许可，但 3B 模型采用 Qwen 研究许可，72B 模型采用 Qwen 许可。^[1][3] Apache 2.0 是一种允许商业使用的宽松许可，但需满足保留版权声明等条件。

阿里巴巴表示，截至 2024 年 9 月，它已发布 100 多个开放权重模型，下载次数超过 4000 万次。^[3]

专用模型针对更窄的任务训练，例如编写代码或解答数学题。对开发者来说，通常首先要考虑两个问题：哪种尺寸适合手头的硬件，以及许可条件是否允许预期的用途。由于此次发布中各模型的许可不同，答案取决于所选的尺寸。这 13 个模型的参数从 0.5B 到 72B 不等，小模型可以在普通硬件上运行，大模型则需要多得多的算力。

影响

此次发布为开发者提供了多种尺寸可供选择，并配有代码和数学方面的专用模型。