《直接偏好优化：你的语言模型其实是一个奖励模型》

论文概况

《直接偏好优化：你的语言模型其实是一个奖励模型》于 2023 年 5 月 29 日提交到 arXiv，编号 2305.18290，作者是 Rafael Rafailov、Archit Sharma、Eric Mitchell、Stefano Ermon、Christopher D. Manning 和 Chelsea Finn^[1]。论文提出一种按人类偏好微调语言模型的做法，绕开了这类工作通常需要的强化学习流程^[1]。

要解决的问题

大规模无监督语言模型从训练数据里学到了广泛的世界知识和一定的推理能力，但由于训练完全无监督，想精确控制它们的行为很困难^[1]。常见的办法是让人标注模型若干条生成结果的相对优劣，再用这些偏好数据微调模型，通常采用人类反馈强化学习（reinforcement learning from human feedback，RLHF）^[1]。RLHF 有效，但论文作者称它是一个复杂且常常不稳定的过程^[1]。

RLHF 的常规流程

标准 RLHF 分两步走。先拟合一个奖励模型（reward model），让它反映人类对成对生成结果的偏好；再用强化学习微调语言模型，让它最大化这个估计出来的奖励，同时受一个约束限制，不要偏离原模型太远^[1]。两步都要动大模型，都要采样和调参，其中强化学习这一环正是让整套流程难以驾驭的地方。

把目标函数改写

论文的做法是一次变量替换。作者为 RLHF 中的奖励模型引入了一种新的参数化方式，在这种参数化下，对应的最优策略可以直接写成闭式解（closed form）^[1]。奖励与策略的关系被倒了过来：不再是去寻找使给定奖励最大的策略，而是用策略来表达奖励，于是任何奖励之下的最优策略都有一个显式公式。奖励与策略这样绑定之后，标准的 RLHF 问题只需一个简单的分类损失就能求解^[1]。换句话说，被训练的语言模型本身就在充当奖励模型，这也正是论文副标题的意思。

由此得到的算法叫直接偏好优化（Direct Preference Optimization，DPO）。作者称它稳定、性能好、计算开销小，并特别点出它省掉的两样东西：微调时不需要从语言模型采样，也不需要调很多超参数^[1]。

实验结果

实验把 DPO 与已有的偏好对齐方法做了比较。作者报告说，在让语言模型对齐人类偏好这一点上，DPO 与现有方法相当或更好^[1]。摘要里给出两处具体比较：在控制生成文本的情感倾向上，它超过了基于 PPO 的 RLHF；在摘要和单轮对话任务上，它的回复质量与这些方法持平或更好，而实现和训练都要简单得多^[1]。

意义

奖励模型这条路线的工程负担，一直是偏好对齐的门槛：得单独拟合并维护一个奖励模型，还要在它之上跑强化学习。DPO 没有改变数据来源——用的仍然是人对成对回复孰优孰劣的判断——但它把优化目标改写成针对成对回复的分类问题，也就是普通监督训练本来就能处理的那类损失^[1]。对使用方来说，这意味着同一批偏好数据可以用常规训练流程来消费，而不必搭一套强化学习管线；论文报告的结果也表明，这种简化并没有牺牲对齐效果^[1]。论文给出的评测集中在情感控制、摘要和单轮对话三类任务上^[1]。