从人类偏好中进行深度强化学习

要解决的问题

强化学习（reinforcement learning）让智能体（agent）通过反复尝试来学习：它采取行动、得到奖励信号，并逐渐偏向那些带来更高奖励的行为。这种方法的效果取决于奖励设计得好不好。很多人们真正关心的目标很难写成一个公式，例如要让机器人行为安全，或让系统给出有帮助的回答。如果奖励由人工手写，智能体往往会找到钻空子的办法，拿到高分却没有做到设计者的本意。手写奖励常被利用，这正是论文要解决的老问题。^[1]

方法

这篇论文于 2017 年 6 月 12 日提交到 arXiv，与 Transformer 论文同一天。它换了一条路：不手写奖励，而是让人观看智能体行为的短视频片段，并判断哪一段表现更好。研究者随后训练一个单独的奖励模型（reward model），它本身也是神经网络，用来学习预测这些人类偏好。最后，智能体用普通的强化学习，针对这个学到的奖励进行训练。^[1]

这种思路把工作分成两部分：人负责判断自己能够识别的结果，机器则把大量这样的判断整理成打分函数，用来指导自己的练习。对人来说，比较两个选项通常比给出精确数值更容易，这也是基于偏好的反馈颇具吸引力的原因。论文作者来自 OpenAI 和 DeepMind，包括 Paul Christiano、Jan Leike、Tom B. Brown、Miljan Martic、Shane Legg 和 Dario Amodei。^[1]

这一差别可以用一个假想的例子来理解。假设设计者希望一个清洁机器人保持房间整洁，于是写了一个奖励：看不见的杂物越少，得分越高。机器人完全可以把所有东西都塞到家具底下来拿高分，但这显然不是人们想要的。而比较两段行为短片是另一类任务：人能够一眼看出哪一次做得更草率，无需事先写出关于整洁的完整定义。

结果

在完全不接触真实奖励的情况下，智能体学会了多款 Atari 游戏，并学会了控制模拟机器人行走等任务。人类反馈只占智能体全部交互的不到 1%。论文还让智能体学会了一个新动作：模拟的后空翻，所用的人类时间约为一个小时。^[1]

为什么重要

这篇论文表明，人可以通过比较学习系统的行为来引导它，而无需事先写下精确的分数。^[1]这一思路后来被用于语言模型，即 InstructGPT（2022 年）和 ChatGPT。它正是 RLHF 中 RL 所指的部分，即基于人类反馈的强化学习。^[2]

后来的影响

收集人类比较、训练奖励模型、再针对奖励模型优化，这一基本流程此后成为许多工作的模板。它同时带来了一个顾虑：学到的奖励只是对人们真实想要什么的近似，系统可能学会利用其中的漏洞。此后关于对齐（alignment）的许多研究，都在处理这一问题。^[1]