InstructGPT

是什么

InstructGPT 是一组经过训练、能够遵循指令的 GPT-3 模型。OpenAI 于2022年1月27日发布了题为《Aligning language models to follow instructions》的文章，宣布这一成果 ^[1]。该方法使用的是基于人类反馈的强化学习（reinforcement learning from human feedback，RLHF）：利用人们对模型输出的判断，引导模型给出更好的回答。

OpenAI 表示，InstructGPT 模型比 GPT-3 更能理解用户的意图，同时更加真实、毒性更低。OpenAI 还把它们部署为 API 中的默认语言模型 ^[1]。

由来

这项工作要解决的问题很容易描述：GPT-3 能够合理地续写文本，但常常不按用户的要求去做，还可能产生不真实或有毒性的内容 ^[2]。预测可能出现的文本，与帮助用户完成请求，并不是同一回事，InstructGPT 正是为了弥合这一差距。

论文《Training language models to follow instructions with human feedback》于2022年3月4日提交到 arXiv。第一作者为 Long Ouyang，合著者包括 John Schulman、Paul Christiano、Jan Leike 和 Ryan Lowe。论文发表于 NeurIPS 2022 ^[2]。

主要特点

训练分为三步。第一步，用人类标注员撰写的示范数据，对 GPT-3 进行有监督微调。第二步，根据标注员对模型输出的排序，训练一个奖励模型（reward model）。第三步，以 PPO 强化学习算法，依据奖励模型对模型进行优化 ^[2]。

奖励模型的作用，是把人类的偏好转化为训练可以使用的信号。近端策略优化（PPO）则是一种强化学习方法，它以小步幅调整模型，使其获得更高的奖励，同时不偏离原有行为太远。

提示词既来自标注员，也来自提交给 OpenAI API 的请求 ^[2]。使用真实的 API 提示词，使训练更能反映用户实际提出的请求类型。

结果

在人工评估中，人们更偏好 13 亿参数的 InstructGPT 模型的输出，而不是 1750 亿参数的 GPT-3 的输出；InstructGPT 的参数量约为后者的百分之一 ^[2]。这一结果是论文的核心观点之一：基于人类判断的训练，有时比单纯增大规模更重要。

论文报告，模型在公开的自然语言处理数据集上的真实性有所提高、有毒输出减少，且只有很小的性能倒退。论文同时指出，这些模型仍会犯一些简单的错误 ^[2]。

后续历史

2022年11月，OpenAI 推出 ChatGPT 时，将它描述为与 InstructGPT 同源的模型，采用的是同样的 RLHF 方法 ^[4]。

最初的 InstructGPT API 模型包括 text-ada-001、text-babbage-001、text-curie-001、text-davinci-001、text-davinci-002 和 text-davinci-003。OpenAI 于2024年1月4日将它们全部关停 ^[3]。

意义

InstructGPT 是把语言模型与人类偏好对齐的早期而有影响力的例子。它表明，模型可以通过人类反馈学会遵循指令，而不只是靠预测文本。这一思路也是理解 ChatGPT 的背景。