DeepSeek-R1：用强化学习激发大语言模型的推理能力

要解决的问题

推理模型（reasoning model）会在回答之前一步步地思考。在思维链等工作之后，这一方向成为一个重要的研究议题。DeepSeek 团队想探究的是：这种推理能力能否主要通过强化学习（reinforcement learning）培养出来，也就是对好的答案给予奖励，让模型自己摸索出更好的推理方式。^[1]

对于有标准答案的问题，例如数学题的结果或程序的运行输出，奖励可以直接由规则判定，而不需要人逐条评判每一个回答。

发布经过

DeepSeek 于 2025 年 1 月 20 日以开放权重的形式发布了 DeepSeek-R1。^[2] 描述其训练过程的技术报告于 2025 年 1 月 22 日提交到 arXiv。^[1]

怎么做的

团队先训练了 DeepSeek-R1-Zero。它以 DeepSeek-V3 基础模型为起点，只使用大规模强化学习进行训练，没有先经过监督式微调。在这一训练过程中，它学会了生成很长的推理链，并能检查和修正自己的解答。^[1]

强化学习的基本思路是：模型的输出会被打分，模型据此调整行为，以获得更高的分数。DeepSeek 在可以用规则判定的地方尽量使用规则奖励：数学题看最终答案是否正确，代码题看程序能否通过测试，此外还使用了格式奖励。^[1]

R1-Zero 也存在明显问题，比如输出的可读性差，有时还会在同一段回答里混用多种语言。DeepSeek-R1 的做法是加入少量“冷启动”（cold-start）的监督数据，也就是在强化学习之前先给模型一批初始示例，并增加后续的训练阶段来解决这些问题。^[1]

结果

技术报告称，DeepSeek-R1 在数学、代码和推理基准测试上的表现与 OpenAI 的 o1 相当。基准测试（benchmark）是用来比较模型能力的标准化测试。^[1]

模型权重以 MIT 许可证发布，同时还发布了基于 Qwen 和 Llama 的较小蒸馏模型。^[2] 蒸馏（distillation）是指训练一个较小的模型去模仿较大模型的输出。

为什么重要

论文称，R1-Zero 的结果是首个验证仅靠强化学习就能激发大语言模型推理能力的公开研究。^[1] 它的发布让这家中国实验室受到广泛关注：2025 年 1 月 27 日，市场对 DeepSeek 带来竞争的担忧，使英伟达市值单日蒸发近 6000 亿美元。^[3]

后来的影响

由于训练过程已写入报告，其他研究者可以直接研究这套方法，并与自己的方案进行比较。

DeepSeek-R1 的意义，在于说明推理行为可以通过强化学习自然形成，而不只是依赖人工写好的推理示范。