通义千问发布开源推理模型 QwQ-32B-Preview

什么是推理模型

推理模型是这样一类语言模型：它在给出最终答案之前，会先展开一段中间推理过程，这段过程往往很长。道理在于，通往答案的路上多花一些计算，对某些问题是有帮助的——多步算术、竞赛风格的数学题，或者一段需要沿着多个分支追踪其行为的代码。QwQ-32B-Preview 属于这一类；通义千问团队把它称作一个用于推理的实验性研究模型^[1]。

发布

通义千问团队于 2024 年 11 月 28 日发布 QwQ-32B-Preview^[1]。这个模型被描述为拥有 320 亿参数、3.2 万 token 的上下文长度，权重以 Apache 2.0 协议开放^[2]。Hugging Face 的模型卡给出了更精确的数字：总参数 325 亿，完整上下文长度为 32768 个 token^[3]。团队表示，模型通过 Hugging Face、ModelScope 和 Qwen Chat 对外提供^[1]。

以宽松的许可证开放权重，意味着其他人可以把模型下载下来自己运行，而不只是向一个托管服务发请求^[2]。名字里的「Preview」和「实验性研究」的定位，都说明这是研究方向上的一步工作，而不是一件完成品^[1]。

报告的成绩

团队公布了四个基准上的成绩：GPQA 65.2%，AIME 50.0%，MATH-500 90.6%，LiveCodeBench 50.0%^[1]。这几项测试考察的东西并不相同——GPQA 是研究生水平的科学问题，题目设计上刻意避开简单检索；AIME 是竞赛数学；MATH-500 是一批数学题；LiveCodeBench 评测代码生成。把它们放在一起看，能看出这个模型在哪里强、在哪里不强。

团队自己的总结也是这个意思：模型在数学和编码上很强，但在常识推理和细腻的语言理解上较弱^[1]。

公开说明的局限

通义千问团队列出了这个版本的几个问题^[1]。一是意外的语言混杂与切换，回答会在不同语言之间漂移，而不是始终使用提问所用的语言。二是循环推理：模型可能产出很长的回答，却始终没有得出结论。团队还表示，需要更强的安全措施^[1]。

这些问题，与那些会生成长段中间文本的模型可以说是相伴而生：推理过程越长，跑偏、绕圈、改变语体的机会就越多。把这份清单和基准成绩一并公布，让想尝试这个模型的人提前看清了取舍。

它意味着什么

QwQ-32B-Preview 把一个面向推理的模型以开放的权重放了出来：规模相对于最大的那些系统而言比较克制，许可证允许复用^[2]。再加上明确列出的短板和基准成绩，这次发布给了外部研究者一个可以上手研究的对象——它在数学和编码上的长处，以及在常识、语言一致性和循环推理上的失败，都可以被直接检验，而不必从排行榜上推断^[1]。