通义千问发布 QwQ-32B，以 32B 参数比肩 DeepSeek-R1

背景

推理模型会在回答之前一步步处理问题。深度求索的 DeepSeek-R1 总参数为 6710 亿，每次激活 370 亿。阿里巴巴通义千问团队将自家 320 亿参数的模型与它在相近类型的任务上进行了比较。

发生了什么

通义千问团队于 2025 年 3 月 6 日以 Apache 2.0 许可证发布 QwQ-32B。团队称，该模型在数学、编程和通用问题求解上的表现与 DeepSeek-R1 相当。^[1]

关键细节

训练方法是从冷启动检查点出发的强化学习。第一阶段针对数学和编程，用准确性验证器判断数学答案，用代码执行服务器对照测试用例检验代码。团队以此代替了传统的奖励模型。^[1]

第二阶段加入通用奖励模型和基于规则的验证器。团队报告称，指令遵循、与人类偏好的对齐以及智能体表现都有提升，数学和编程能力没有明显下降。^[1]

模型权重发布在 Hugging Face 和 ModelScope 上。用户也可以在 Qwen Chat 中使用该模型，或通过 DashScope API 以 qwq-32b 的名称调用。^[1]

部分术语需要解释。冷启动检查点（cold-start checkpoint）指在强化学习开始之前，模型已接受过一定的初始训练，使强化学习有一个可用的起点。强化学习是一种根据结果给予奖励的训练方法，例如数学题答对即获得奖励。^[1]

奖励模型（reward model）是专门训练来为答案打分的独立网络，常用于评判开放式回答。这里团队改用基于固定规则的检验工具：准确性验证器将数学答案与正确答案对照，代码执行服务器则用测试用例运行程序。两者都能给出明确的通过或不通过结果，因此无需打分网络即可作为奖励使用。^[1]

第二阶段在通用奖励模型之外还使用了基于规则的验证器，模型因此既要通过固定规则的检验，也要符合学习得到的通用评判标准。^[1]

影响

团队的比较，是把一个 320 亿参数的模型与一个总参数为 6710 亿的模型放在一起，后者的规模约为前者的二十倍。下一代 Qwen3 于 2025 年 4 月推出，把思考模式与非思考模式合并在一个模型系列中。^[2]