阿里巴巴发布通义千问 Qwen2，多数尺寸改用 Apache 2.0

背景

Qwen2 承接的是 Qwen1.5，是阿里巴巴通义千问大语言模型家族的新一代。它提供了新的尺寸选择，并支持更长的上下文窗口。^[2]

发生了什么

阿里巴巴在 Hugging Face 和 ModelScope 上发布了 Qwen2。Qwen 代码仓库记录的发布日期为 2024 年 6 月 6 日，Qwen 团队的博客文章日期为 6 月 7 日。^[2][1] 此次发布包括基础模型和指令微调模型，共五个尺寸：0.5B、1.5B、7B、57B-A14B 和 72B。其中 57B-A14B 采用混合专家设计，每次输入激活 140 亿参数。^[1]

关键细节

不同尺寸的上下文长度有所不同。0.5B 和 1.5B 支持 32K 个 token，57B-A14B 支持 64K，7B 和 72B 支持 128K。指令版模型借助 YaRN 可达到 128K，YaRN 是一种扩展模型可处理长度的方法。^[1] token 是模型读入和输出文本时使用的基本单位，大致相当于一个词或词的一部分。

训练数据涵盖英语和中文之外的 27 种语言。^[1] 所有尺寸都使用了分组查询注意力（Grouped Query Attention），两个最小的模型还使用了绑定嵌入（tied embeddings）。^[1]

许可条件也有变化。Qwen2-72B 沿用通义千问许可协议；0.5B、1.5B、7B 和 57B-A14B 改用 Apache 2.0。Apache 2.0 是一种允许商业使用的宽松开源许可。^[1]

Qwen 团队还将 Qwen2-72B 与 Llama-3-70B 作了比较。在基础模型上，Qwen2-72B 在 MMLU 上为 84.2，对比 79.5；在 HumanEval 上为 64.6，对比 48.2；在 GSM8K 上为 89.5，对比 83.0；在 MATH 上为 51.1，对比 42.5。这些都是团队自行公布的数字。^[1]

混合专家模型如 57B-A14B，会把每个输入分配给部分子网络处理。它对每个输入激活 140 亿参数，少于总计的 570 亿，因此两个数字都会被列出。

影响

多数尺寸改用 Apache 2.0，使开发者在使用这些模型时有了更大的自由度，而规模最大的 72B 仍保留通义千问许可协议。