Constitutional AI: Harmlessness from AI Feedback（宪法式 AI：基于 AI 反馈的无害性）

要解决的问题

论文探讨如何在较少直接人工标注有害输出的情况下，训练出无害的 AI 助手。论文开篇写道：「随着 AI 系统能力越来越强，我们希望借助它们的帮助来监督其他 AI。」^[1]

做法

该训练是一个自我改进的过程。人类的监督只体现为一份规则或原则清单，而不是对有害输出的人工标注。^[1]

方法分为两个阶段。在监督阶段，模型依照这些原则批评并修改自己的回答，然后用修改后的回答进行微调。^[1]

在强化学习阶段，由 AI 生成的偏好标签代替人工标签。作者把这一做法称为「基于 AI 反馈的强化学习」（RL from AI Feedback，RLAIF）。^[1]

结果

作者报告，他们的助手面对有害提问时会说明自己的反对理由，而不是含糊地拒绝。作者还认为，思维链（chain-of-thought）推理能提高透明度。^[1]

为什么重要

论文展示了一种用书面原则塑造模型行为的方式，这也是 Anthropic 后来方法的基础。Anthropic 于 2023 年 3 月发布的首批 Claude 模型，就是用这一方法训练的。^[2][3]

后续影响

2023 年 5 月，Anthropic 公布了它所使用的宪法，其中的原则参考了包括《世界人权宣言》在内的来源。^[2][3]

论文于 2022 年 12 月 15 日提交至 arXiv，共 51 位作者。Yuntao Bai、Saurav Kadavath、Sandipan Kundu 和 Amanda Askell 领衔，Jared Kaplan 为末位作者。Dario Amodei、Chris Olah、Tom Brown、Sam McCandlish 和 Ben Mann 均为合著者。^[1]