OpenAI 推出 InstructGPT 并设为 API 默认模型

背景

到 2022 年，GPT-3 这类大型语言模型（large language model，LLM）已经能流畅地续写文本，但这并不等于它会可靠地按用户的要求去做事。一个只学过预测下一个词的模型，可能答非所问，也可能给出不真实或带有毒性的内容。让模型的行为符合人们真正想要的结果，这项工作称为对齐（alignment）。OpenAI 的对齐研究正在处理这一问题，InstructGPT 正是运用了这些研究中的技术。^[1]

发生了什么

2022 年 1 月 27 日，OpenAI 发布题为「Aligning language models to follow instructions」的文章，宣布推出 InstructGPT。^[1] 文章称，这些模型比 GPT-3 更能理解用户的意图，同时更真实，有毒内容也更少。^[1] 经过人类参与训练的 InstructGPT 模型随后成为 OpenAI API 的默认语言模型。^[1]

相关论文「Training language models to follow instructions with human feedback」于 2022 年 3 月 4 日发布在 arXiv 上，第一作者为 Long Ouyang，合作者包括 John Schulman、Paul Christiano、Jan Leike 和 Ryan Lowe。^[2]

关键细节

训练分为三步。第一步，研究团队先让标注员编写示范回答，提示词既来自标注员自己设计的题目，也来自通过 OpenAI API 提交的真实请求。这些示范用于对 GPT-3 做监督学习（supervised learning）式的微调（fine-tuning，即用较小的精选数据继续训练，改变模型的行为）。第二步，标注员对模型针对同一提示给出的多个回答进行排序。第三步，团队使用人类反馈强化学习（reinforcement learning from human feedback，RLHF），以人的判断作为训练信号，进一步调整模型。^[2]

一个出人意料的结果来自人工评估。在评估中，13 亿参数的 InstructGPT 模型，其输出比 1750 亿参数的 GPT-3 更受偏好，而前者的参数规模约少 100 倍。参数（parameter）是模型在训练中学到的数值，通常参数越多，模型越大。这个对比说明，在所测试的任务上，训练方法的作用可以和模型规模一样重要。^[2]

论文还报告，在公开的自然语言处理数据集上，模型的真实性有所提高，有毒输出有所减少，而能力方面的退步很小。论文同时指出，模型仍会犯一些简单的错误。^[2]

影响

InstructGPT 成为 API 的默认模型，意味着基于 OpenAI 平台开发的应用，默认会使用经过这种方式调整的模型，而不再是原先的 GPT-3。^[1]

2022 年 11 月，OpenAI 推出 ChatGPT，并称它是 InstructGPT 的姊妹模型，使用相同的 RLHF 方法训练，只是在数据收集上略有不同。^[3] 因此，InstructGPT 论文中记录的方法，延续到了一款公众可以直接使用的对话产品中。这项工作也说明，模型的训练方式和模型的规模一样，会影响它在实际中的用处。