通义千问 Qwen1.5

是什么

Qwen1.5（通义千问 1.5）是阿里巴巴通义千问大语言模型家族的一代。该系列包括基础模型（base model）和对话模型（chat model）。基础模型经过训练，主要用于续写文本；对话模型则经过调整，能够回答问题并按指令行事。参数规模从 0.5B 到 72B，此后该系列又扩展出 110B 的模型，还加入了一个混合专家（mixture-of-experts）模型。^[1]

混合专家是一种模型结构：每个输入只交给其中一部分专家子网络处理，因此每次运算时只有模型的一部分在工作。^[2]

由来

Qwen 团队在博客上发布了这一版本，日期为 2024 年 2 月 4 日；Qwen 代码仓库记录的日期为 2024 年 2 月 5 日。阿里巴巴在农历新年前夕发布了该模型。^[1][2] Qwen1.5 承接的是第一代通义千问，其后于 2024 年 6 月由 Qwen2 取代。^[2]

主要特点

各模型统一支持最长 32,768 个 token 的上下文。token 是模型读入和输出文本时使用的基本单位，大致相当于一个词或词的一部分；上下文长度决定模型一次能够考虑多少文本。该系列的所有模型都支持这一长度。^[1]

对话模型使用 DPO 和 PPO 两种方法进行对齐。这两种方法在模型初次训练之后进行调整，使其回答更符合人类偏好。^[1] 团队还报告，Qwen1.5-MoE-A2.7B 于 2024 年 3 月 28 日发布，是通义千问系列中第一个混合专家模型。^[2]

基准测试结果

团队公布了其最大基础模型的结果。Qwen1.5-72B 在 MMLU（覆盖多学科的知识测试）上得分 77.5，在 C-Eval（中文知识评测）上得分 84.1，在 GSM8K（小学水平的数学应用题）上得分 79.5，在 HumanEval（代码能力测试）上得分 41.5。在所列的全部基准测试中，它的表现均优于 Llama2-70B。^[1]

在对话模型方面，Qwen1.5-72B-Chat 在 MT-Bench（多轮对话测试）上得分 8.61，在 AlpacaEval 2.0 上的胜率为 27.18，后者是将回答与参考模型比较得出的结果。这些成绩高于 Claude-2.1 和 GPT-3.5-Turbo-0613，但仍明显落后于 GPT-4-Turbo。^[1]

多语言评测覆盖 12 种语言，包括阿拉伯语、西班牙语、法语、日语、韩语、越南语和泰语。^[1]

可以在哪里使用

模型可通过 Hugging Face、ModelScope、DashScope 和 together.ai 获取。^[1] 与 Hugging Face transformers 4.37.0 直接集成后，开发者无需开启 trust_remote_code 即可加载模型。该选项会运行模型包内附带的代码，通常被视为安全风险。模型还得到 vLLM、SGLang、Ollama、LM Studio 和 llama.cpp 的支持，并提供 GPTQ、AWQ、GGUF 格式的 Int4 和 Int8 量化版本。量化是以较低精度保存模型数值的做法，可以减少所需的内存。^[1]

在发展中的位置

Qwen1.5 处在第一代通义千问与 2024 年 6 月发布的 Qwen2 之间，是这一系列发展中的一个过渡版本。^[2]