基于人类反馈的强化学习（RLHF）

它是什么

基于人类反馈的强化学习（reinforcement learning from human feedback，简称 RLHF）是一种训练方法，用于在「什么样的回答算好」很难写成公式的情况下，让模型朝人们偏好的方向改进。这时的训练信号不来自数学分数，而来自人对输出好坏的判断。^[1]

怎么工作

基本流程分为三步。第一，人们比较同一问题下模型给出的两个输出，指出自己更喜欢哪一个。第二，单独训练一个奖励模型（reward model），让它学会预测人们的偏好。第三，用强化学习优化主模型，使它在奖励模型上获得高分。^[1]

举个例子：模型针对同一个问题写出两段回答，人选出更清楚的那一段。经过大量这样的比较，奖励模型逐渐学会人们大致喜欢什么样的回答，主模型也就被推向奖励模型评分更高的方向。奖励模型只是对人类判断的一种近似，它的好坏取决于训练时用了哪些比较。

很多助手的目标容易辨认，却难以写成规则，例如回答是否清楚、语气是否得体。人们能很快判断两段回答哪个更好，即便无法写出一条总能挑出更好回答的规则。RLHF 正是把这些快速判断转化为训练信号。

它从哪里来

2017 年 6 月，Christiano 等人（来自 OpenAI 和 DeepMind）在 Atari 游戏和模拟机器人任务上演示了这一方法。整个训练中，人类反馈只占智能体交互次数的不到百分之一。^[1]

2022 年 3 月，OpenAI 的 InstructGPT 论文把这一方法用到了 GPT-3 上，分为三步：首先，用人工标注员撰写的示范对 GPT-3 进行有监督微调；其次，依据标注员对多个输出的排序训练奖励模型；最后，用 PPO 强化学习算法，依据奖励模型优化模型。^[2] 论文结果显示，标注员更偏好 13 亿参数的 InstructGPT 模型的输出，而不是 1750 亿参数的 GPT-3 的输出。^[2]

今天用在哪里

2022 年 11 月发布的 ChatGPT 就是用这一方法训练的，此后 RLHF 成为训练聊天助手最常用的方法之一。^[3]

局限

模型可能学会钻奖励模型的空子，在代理指标上得分很高，却并没有真正给出人们想要的结果。人类的偏好也可能奖励听起来自信的回答，即使它们并不准确。研究者因此提出了多种变体，减少对人工直接标注的依赖，例如用依据书面原则的 AI 反馈来替代部分人工反馈的方法。^[3]

这种方法依赖人工判断的质量和一致性，标注员之间也可能存在分歧，因此训练信号反映的是参与比较的那些人的偏好。