DeepSeekMath 数学模型

是什么

DeepSeekMath 是一个参数规模 7B 的开源语言模型，专门针对数学推理训练。介绍它的论文于 2024 年 2 月 5 日上传到 arXiv^[1]；维基百科把 DeepSeek-Math 的发布记在 2024 年 4 月^[2]。

怎么训练出来的

它没有从零开始训练。团队在 DeepSeek-Coder-Base-v1.5 7B 这个已有模型的基础上继续做预训练，语料主体是从 Common Crawl 中挖掘出的 1200 亿个与数学相关的 token，另外混入自然语言和代码数据^[1]。这 1200 亿 token 来自从 Common Crawl 抽取的 3550 万个数学网页，抽取用的是一套基于 fastText 的分类器，前后迭代了四轮^[1]。

数据进入训练前还做了去污染处理：只要某个文本片段里出现与某个评测基准完全一致的 10-gram，整段就被删掉^[1]。这一步之所以重要，是因为数学题在网上流传很广，模型如果在训练中见过考题，分数会虚高，而不代表推理能力真的更强。

作者把性能提升归因于两件事：一是这套从公开网页数据里筛选数学内容的流水线，二是新的强化学习算法^[1]。

成绩

论文给出了两个版本的结果。DeepSeekMath-Base 7B 在 GSM8K 上是 64.2%，在 MATH 上是 36.2%^[1]。面向指令微调的 DeepSeekMath-Instruct 7B 分别是 82.9% 和 46.8%^[1]。

最受关注的是 MATH 上的数字，论文把它称为竞赛级基准：在不借助外部工具、也不做投票的情况下，模型达到 51.7%；如果使用 64 次采样的自一致性（self-consistency），可以达到 60.9%^[1]。自一致性是指采样多个答案再取多数结果，代价是比单次推理多花很多算力。GSM8K 是一组小学水平的应用题，难度低于 MATH，所以 MATH 的分数更常被当作衡量数学推理能力的指标。

GRPO

算法上的贡献是组相对策略优化（Group Relative Policy Optimization，GRPO），它是 PPO 的一个变体^[1]。PPO 是强化学习中常用的策略梯度方法，训练时通常要额外维护一个价值函数，用来估计某个动作比平均水平好多少，这部分也带来了显存开销。GRPO 名字里的「组相对」，指的是在一组采样结果之间做相对比较来确定更新用的基准。按论文的说法，它在提升数学推理表现的同时，占用的显存比 PPO 更少^[1]。显存是这类训练的现实瓶颈之一，因此一个更省资源的更新规则，会直接改变在有限硬件上能做什么。

在 DeepSeek 系列里的位置

DeepSeekMath 是 DeepSeek 较早的专门化模型之一：从代码模型出发，继续预训练转向数学，再加上强化学习。这条线后来还有延续，DeepSeek-Prover-V2 出现在 2025 年 4 月，DeepSeekMath-V2 出现在 2025 年 11 月^[2]。