用人类反馈训练语言模型遵循指令（InstructGPT）

要解决的问题

用来预测文本的大语言模型，并不会因此就擅长听从指令。GPT-3 能够顺着一段话合理地续写，但它往往不按用户的要求去做，还可能输出不真实或有毒性的内容。^[1] InstructGPT 的目标，就是让模型的行为更符合用户真正想要的结果。这类调整常被称为“对齐”（alignment）。

预测文本与听从指令是两个不同的目标。一个擅长续写文档的模型，并不一定会把一条请求当作需要完成的任务。

发表经过

OpenAI 于 2022 年 1 月 27 日在博客文章中介绍了 InstructGPT。^[2] 论文由 Long Ouyang 等人撰写，于 2022 年 3 月 4 日提交到 arXiv，并发表于 NeurIPS 2022。^[1]

怎么做的

方法分为三步。第一步，用人类标注员撰写的示范回答对 GPT-3 进行监督式学习（supervised fine-tuning），这些示范展示了对各类提示的好回答应该是什么样子。^[1]

第二步，针对同一个提示，标注员为模型的多个输出排序。研究人员据此训练一个奖励模型（reward model），让它预测人们更偏好哪一个输出，从而能够为任意输出打分。^[1]

第三步，用 PPO 这一强化学习算法，让模型朝着奖励模型打出高分的方向优化。PPO 每次更新时只做有限的调整，以免模型变化过猛。^[1]

这种“用人类偏好排序训练奖励，再用强化学习优化模型”的组合，如今通常被称为基于人类反馈的强化学习（RLHF）。

标注员就是撰写示范回答、比较模型输出的人。他们的判断代表了用户想要什么，因此这类反馈的质量会直接影响模型学到的东西。

结果

在论文的比较中，标注员更偏好 13 亿参数的 InstructGPT 模型的输出，而不是 1750 亿参数的 GPT-3 的输出。^[1] 在论文的评估中，InstructGPT 也更真实，毒性更低。^[1] 这一比较之所以重要，是因为被标注员偏好的，恰恰是小得多的那个模型。

为什么重要

这是 ChatGPT 背后的训练配方。ChatGPT 于 InstructGPT 之后十个月发布。^[3]

论文说明，在模型完成基础训练之后，加入人类撰写的示例和排序，就能改变模型的行为。这对于如何在基础训练结束后调整模型，是一个具有普遍意义的启示。

后来的影响

OpenAI 把 InstructGPT 模型设为其 API 的默认模型。^[2] 按这种方式训练的模型交付给用户之后，同样的思路也影响了随后出现的聊天助手。^[1]