阿里巴巴开源首个通义千问模型 Qwen-7B

背景

语言模型训练结束后留下的是一组参数文件，也就是「权重」（weights），以及运行这些权重的代码。公司可以只通过网页或接口提供模型服务：用户能给它发文字，但看不到模型本身，拿不到文件，也不能把它放到自己的机器上运行。开放权重（open-weight）指的是把这组文件公开，让有相应硬件的人下载、离线运行、在自己的数据上微调，并直接对它做评测。它与「开源」并不完全等同：文件可以公开，而许可证仍可能对商用、再分发等设下条件。

2023年，阿里云放出了 Qwen 系列最早的权重；据媒体报道，这些模型是其通义千问模型的小尺寸开放版本^[2]。

第一次发布

2023年8月3日，阿里发布 Qwen-7B，这是该系列第一个开放权重的模型^[1]。据《中国日报》报道，阿里云将开源 Qwen-7B 与 Qwen-7B-Chat，两者各有70亿参数，是通义千问模型的小尺寸版本^[2]。两者对应当时常见的分工：基础模型在原始文本上训练，任务是接着往下写；对话版本经过进一步训练，用来回答问题、遵循指令。

扩展成一个系列

Qwen-14B 于2023年9月25日发布，Qwen-1.8B 与 Qwen-72B 于2023年11月30日发布^[1]。同一系列由此覆盖了18亿到720亿参数，使用者可以按手里的算力挑一个版本，而不必反过来迁就算力。

训练数据与规格

公布的预训练数据量按规模不同：Qwen-1.8B 为2.2万亿词元（token），Qwen-7B 为2.4万亿，Qwen-14B 与 Qwen-72B 均为3.0万亿^[1]。词元是模型读文本时的单位，大致相当于一个短词或词的一部分，所以这个数字说明训练时喂进去多少文本，并不说明结果好坏。最大上下文（context）指模型一次能读入的文本长度：Qwen-1.8B、Qwen-7B 和 Qwen-72B 为32K词元，Qwen-14B 为8K词元^[1]。

Qwen-72B 在5-shot MMLU 上得77.4分^[1]。MMLU 是一套覆盖多学科的选择题测试集，5-shot 指每道题前先放五个示例。这类分数是在某一种评测设置下取得的快照，会随提示格式和答案抽取方式变化，所以更适合当作一个公开的数据点，而不是对能力的总体衡量。

许可证条款

Qwen-7B、Qwen-14B 和 Qwen-72B 以《通义千问许可证协议》发布，商业使用需提出申请；Qwen-1.8B 采用研究许可^[1]。在首次发布时，《中国日报》报道称，月活跃用户少于1亿的公司可以免费将其用于商业用途，规模更大的公司则需向阿里云申请许可^[2]。由于各尺寸的条款并不相同，部署方必须先确认手里的版本适用哪一份协议。

为什么重要

开放权重改变的是「谁能拿模型做什么」。研究者可以在确定的模型上做可复现的实验，而不是在一个由他人运营的服务上做；小团队可以在私有数据上微调，不必把数据发到外部接口；任何人都能下载模型、重跑评测去核对公开的说法。参数从18亿到720亿的系列，也让人可以按硬件条件取舍：小版本能在普通环境里跑起来，720亿参数的版本则不行。

这次发布还把「一个公开的分数」和「一个能下载的模型」放在了一起。Qwen-72B 的5-shot MMLU 77.4分，任何人都可以在下载权重后自行比较、质疑^[1]。分数与它所描述的模型同时可得，正是开放权重的发布能当参照点、而不只是一件产品的原因。