通义千问 Qwen2

是什么

Qwen2 是阿里巴巴通义千问大语言模型家族的第二代主要版本，在 Hugging Face 和 ModelScope 上发布。它包括基础模型（base model）和经过指令微调的模型（instruction-tuned model），每个尺寸都提供这两种形式。五个尺寸分别为 0.5B、1.5B、7B、57B-A14B 和 72B。^[1]

其中 57B-A14B 是混合专家（mixture-of-experts）模型，总参数为 570 亿，每次输入只激活其中的 140 亿。模型会把每个输入分配给部分专家子网络处理。^[1] 其余四个尺寸为稠密模型（dense model），即每次计算都会用到全部参数。

由来

Qwen 代码仓库记录的发布日期为 2024 年 6 月 6 日，Qwen 团队的博客文章日期为 6 月 7 日。^[2][1] Qwen2 承接的是 Qwen1.5，此后于 2024 年 9 月 19 日由 Qwen2.5 接替。^[2]

主要特点

上下文长度因尺寸而异。0.5B 和 1.5B 支持 32K 个 token，57B-A14B 支持 64K，7B 和 72B 支持 128K。指令版模型借助 YaRN 技术可达到 128K，YaRN 是一种扩展模型可处理长度的方法。^[1]

训练数据涵盖英语和中文之外的 27 种语言。^[1] Qwen2 在所有尺寸上都使用了分组查询注意力（Grouped Query Attention）。这是一种组织注意力层的方式，让一组查询头共享键和值的头，从而降低生成文本时的内存占用。两个最小的模型还使用了绑定嵌入（tied embeddings），即输入和输出的词嵌入矩阵共用同一组权重。^[1]

许可

不同尺寸的许可条件不同。Qwen2-72B 沿用《通义千问许可协议》，0.5B、1.5B、7B 和 57B-A14B 则改用 Apache 2.0。^[1] Apache 2.0 是一种允许商业使用的宽松开源许可，要求保留版权声明等条件。

结果

Qwen 团队将 Qwen2-72B 与 Llama-3-70B 进行了比较。在基础模型上，Qwen2-72B 在 MMLU 上为 84.2，对比 79.5；在 HumanEval 上为 64.6，对比 48.2；在 GSM8K 上为 89.5，对比 83.0；在 MATH 上为 51.1，对比 42.5。^[1]

在指令微调版本上，Qwen2-72B-Instruct 在 HumanEval 上为 86.0，对比 81.7；在 MATH 上为 59.7，对比 50.4；在 MT-Bench 上为 9.12，对比 8.95；在 Arena-Hard 上为 48.1，对比 41.1。^[1] 以上均为团队公布的数字，由团队自行测得。

在发展中的位置

2024 年 8 月，Qwen2-Audio、Qwen2-VL 和 Qwen2-Math 相继推出，把这一家族扩展到了音频、视觉和数学领域。^[3] Qwen2 之后，于 2024 年 9 月 19 日由 Qwen2.5 接替。^[2]