直接偏好优化

是什么

直接偏好优化（direct preference optimization，DPO）是一种利用「人类更喜欢哪一个回答」这类偏好数据来微调语言模型的方法。它与众不同之处在于目标函数的形态：训练方式接近监督学习，而不是强化学习循环，并且省掉了单独训练奖励模型这一中间步骤^[1]。它是标准「基于人类反馈的强化学习」（reinforcement learning from human feedback，RLHF）流程之外的另一条路线^[1]。

怎么工作

常规的 RLHF 分两步。先用人类的比较数据拟合一个奖励模型，由它给回答打分；再用 PPO 优化策略（也就是正在训练的语言模型），让它在奖励模型下得分尽量高，同时又不能偏离最初的模型太远^[1][2]。DPO 论文的作者把这一流程形容为复杂且常常不稳定^[2]。

DPO 保留同一批偏好数据，但把问题改写。通过一次变量替换，奖励被隐式地表示成「正在训练的策略」与「经过监督微调的参考模型」之间的对数比值。论文提出了一种 RLHF 中奖励模型的新参数化，使对应的最优策略可以写成闭式解，从而把标准的 RLHF 问题化简成一个简单的分类损失^[1][2]。

这带来两个结果。其一，不必再显式训练奖励模型，也不必再跑强化学习循环^[1]。其二，由于奖励是用模型自身的概率定义的，语言模型本身实际上就被当成了奖励模型^[1]。

落到训练上，数据以成对的形式出现：一个提示、一个人类更偏好的回答、一个不被偏好的回答。损失函数比较模型与参考模型分别给这两个回答多大似然，并调整参数，让被偏好的回答相对参考模型更容易被生成、被拒绝的回答相对更难。这正是它用起来更像监督学习、而不像针对外部打分器做优化的原因。

从哪来

该方法由 Rafailov、Sharma、Mitchell、Ermon、Manning 和 Finn 于 2023 年发表，预印本编号为 arXiv:2305.18290，题为《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》，首次提交于 2023 年 5 月^[1][2]。标题点出了核心观察：做一次恰当的变量替换之后，语言模型自身就携带了奖励信息，不需要另设一个打分器^[1]。

取舍

它的优点是实现和训练都更简单，整体更接近监督学习，效果与 RLHF 相当，有时甚至更好^[1]。但在一些基准上，例如真实性（truthfulness），它的表现不如 RLHF^[1]。此外，DPO 的损失不是 H-consistent 的，因此未必能减少排序错误，这也促成了 SA-DPO 等变体^[1]。简单说，DPO 用更朴素的目标换掉了 RLHF 的整套机制，拿到了大部分收益，但并非在每一项指标上都如此。