阿里巴巴发布通义千问 Qwen1.5 开源系列

背景

Qwen1.5 是阿里巴巴通义千问系列的新一代模型。^[3]

发生了什么

Qwen 团队在 2024 年 2 月 4 日的博客文章中介绍了 Qwen1.5，Qwen 代码仓库则将发布日期记为 2024 年 2 月 5 日。^[1]^[2] 阿里巴巴在农历新年前夕发布了这一系列模型。发布内容包括基础模型和对话模型，参数规模从 0.5B 到 72B，此后扩展到 110B，同时还包括一个混合专家（mixture-of-experts）模型。^[1]

关键细节

全系列模型都支持最长 32,768 个 token 的上下文。token 是模型读入和输出文本时使用的基本单位，大致相当于一个词或词的一部分。^[1] 团队公布了其最大基础模型 Qwen1.5-72B 的结果：在 MMLU 上得分 77.5，在 C-Eval 上得分 84.1，在 GSM8K 上得分 79.5，在 HumanEval 上得分 41.5。在所列的全部基准测试中，它的表现优于 Llama2-70B。^[1]

对话模型 Qwen1.5-72B-Chat 在 MT-Bench 上得分 8.61，在 AlpacaEval 2.0 上的胜率为 27.18。这一成绩高于 Claude-2.1 和 GPT-3.5-Turbo-0613，但仍明显落后于 GPT-4-Turbo。^[1]

模型面向希望在多种工具中运行它们的开发者。它们可直接集成到 Hugging Face transformers 4.37.0 中，无需开启 trust_remote_code，并且支持 vLLM、SGLang、Ollama、LM Studio 和 llama.cpp。量化版本提供 Int4 和 Int8 两种精度，采用 GPTQ、AWQ 和 GGUF 等方法。^[1] 量化是以较低精度保存模型数值的做法，能够减少运行模型所需的内存。

基础模型经过训练，主要学习预测下一段文字；对话模型则在此基础上进一步调整，使其能以对话方式回答问题并执行指令。基准测试分数是比较模型的一种方式，但每项测试只衡量其中包含的任务，因此应将其视为局部证据，而不是完整的排名。