DeepSeekMath 发布，提出 GRPO 强化学习算法

背景

竞赛级数学对语言模型是硬考验。这类题目的答案很难靠记忆得到，需要多步推理，中间一步出错往往就毁掉最终结果；本文使用的 MATH 基准正是这类竞赛题^[1]。提升这类能力的一条常见路径是强化学习：模型给出答案，答案被打分，训练把模型推向得分高的输出。语言模型训练中长期使用的标准算法是近端策略优化（Proximal Policy Optimization, PPO）。PPO 需要一个学习出来的价值函数来估计某个状态有多好，而在实践中，这个价值函数通常就是另一个规模与策略模型相当的模型^[1]。整个训练过程里多带一个同规模的模型，内存开销很大。

发布内容

2024 年 2 月 5 日贴到 arXiv 的论文提出了 DeepSeekMath 7B，一个 70 亿参数、面向数学的语言模型^[1]；维基百科把 DeepSeek-Math 的发布时间记为 2024 年 4 月^[2]。与模型同时提出的还有一个新的强化学习算法——群组相对策略优化（Group Relative Policy Optimization, GRPO）^[1]。

模型怎么训练

模型不是从零训练的。团队在 DeepSeek-Coder-Base-v1.5 7B 上继续预训练，语料是从 Common Crawl 中挖掘出的 1200 亿数学相关 token，再混入自然语言与代码数据^[1]。起点是一个代码模型，新增语料又以从通用网页抓取中筛出的数学文本为主，这套配方因此由三样东西组成：数学、普通语言和代码。

结果

在不使用外部工具（不接计算器、不接符号计算系统）、也不对多个采样结果投票的情况下，DeepSeekMath 7B 在 MATH 基准上取得 51.7% 的成绩^[1]。使用 64 次采样的自洽（self-consistency），即每题生成 64 个答案、取出现次数最多的那个，分数升到 60.9%^[1]。作者把提升归因于两件事：面向公开网页数据的数据筛选流程，以及新的强化学习算法^[1]。

GRPO：去掉价值网络

第二个贡献是算法。PPO 依赖一个学习出来的价值函数，通常是一个与策略模型规模相当的模型^[1]。GRPO 把这个批评家模型（critic model）整个去掉，改用同一个问题的一组采样输出的平均奖励来估计基线^[1]。

道理说起来简单：对一道题，模型采样若干个答案，每个答案被打分，然后每个分数不是与一个学出来的预测比较，而是与这一组的平均值比较。高于组平均的答案被强化，低于的被压制。由于参照点来自组内本身，不需要额外训练一个价值网络，也不必把它常驻在内存里，省下的正是这部分开销。论文把 GRPO 描述为 PPO 的一个变体，它在提升数学推理的同时降低了 PPO 的内存占用^[1]。

意义

这里可以拆成两份贡献。一份是数据配方：一条从公开网页数据中挑出数学文本的流程，作者把它列为提升来源之一^[1]。另一份是算法：它把一整个模型从强化学习循环里拿掉。内存往往决定了模型能训多大、每题能采样多少答案，因此一个不需要批评家模型也能提升推理的算法，用处不限于数学。