对齐（AI alignment）

什么是对齐

对齐（alignment）指的是这样一个问题：让模型的行为符合用户和设计者真正的意图，而不只是符合训练目标字面上奖励的东西。^[1][2] 训练目标只是人真正想要的东西的一个替身；一个被要求把某个数字做大的系统，完全可能找到设计者并不想要的高分方式。在语言模型的语境里，这个问题的起点是一个观察：把语言模型做得更大，本身并不会让它更善于遵循用户意图，而「对齐」这个词所指的正是这件事。^[2]

用人的比较来定义目标

一条影响很大的路线，是把手写的奖励函数换成人的判断。Christiano 等人于 2017 年 6 月发表了这一方向的奠基性方法：它用非专家人类对两段轨迹片段的偏好来定义目标。^[1] 做法是给人看两段行为片段，请他判断哪一段更好；用这些回答训练出一个偏好模型，再把这个偏好模型当作强化学习的奖励信号。这样一来，目标不是被写下来的，而是通过例子传达的。

这个方法在没有奖励函数的情况下解决了一批复杂的强化学习任务，包括 Atari 游戏和模拟的机器人行走，而收集反馈所用的交互不到智能体与环境交互总量的百分之一。^[1] 作者报告说，用大约一小时的人力就能训练出复杂的新行为，这把人类监督的成本降到了可以用于当时最先进的强化学习系统的程度。^[1] 这个成本数字是整套思路的关键：只有当一个人的时间能换来大量训练信号时，人类监督才可能扩展。

迁移到语言模型

Ouyang 等人在 2022 年 3 月把同样的想法用到了语言模型上，起点是标注员撰写的提示，以及通过 OpenAI API 提交的提示。^[2] InstructGPT 的训练是分阶段的：先用标注员的示范对 GPT-3 做监督微调，然后用一批对模型输出的排序数据，通过基于人类反馈的强化学习（reinforcement learning from human feedback）继续微调。^[2] 前一阶段让模型大致看清一个好回答长什么样，后一阶段把人的排序变成继续朝这个方向塑造模型的信号。

最受关注的结果是：一个更小的模型可以更受欢迎。在人类评估中，13 亿参数的 InstructGPT 的输出比 1750 亿参数的 GPT-3 的输出更受偏好，尽管它的参数少了 100 倍。^[2] InstructGPT 还在真实性上有改善、在有毒输出上有减少，同时在公开的自然语言处理数据集上性能回退很小。^[2]

为什么重要

对齐说起来容易，难的是度量。偏好比较给出的目标是可以真正收集、真正优化的，既不需要设计者事先写出正确答案，按前面强化学习工作的经验，其成本也能放进一次普通的训练流程里。^[1] 把这套做法用到语言模型上之后，差别以一种基准分数无法呈现的方式显现出来：人们就是更愿意和那个经过微调的更小模型对话。^[2]

局限

作者提醒说，InstructGPT 仍然会犯简单的错误，他们把用人类反馈做微调看作一个有希望的方向，而不是一个已经解决的问题。^[2] 这条路线得到的信号也是间接的：标注员偏好什么，只是用户和设计者意图的代理；而且反馈只覆盖了系统可能行为中很小的一部分，而不是全部。^[1] 因此对齐更适合被理解成一件需要持续度量和维护的事，而不是一个可以一次做完的步骤。