宪法式 AI（Constitutional AI）

是什么

宪法式 AI 是一种训练方法：模型的行为由一套书面原则（称为「宪法」）塑造。它不依赖人工对有害输出的标注，而是直接用这些原则来指导训练。^[1]

怎么工作

训练分两个阶段。第一阶段中，模型依照原则批评自己起草的回答并加以修改，再用修改后的回答进行微调。^[1]

举个假设的例子：模型对一个有害请求起草了一份回答。它先对照某条原则，写出批评，再生成一份符合该原则的修改版回答。模型学习的是修改后的回答，而不是最初的草稿。这一例子只用于说明过程。^[1]

第二阶段是强化学习，用 AI 生成的偏好标签代替人工标签，称为基于 AI 反馈的强化学习（RLAIF）。^[1]

从哪来

Anthropic 在 2022 年 12 月发表的论文中提出了这一方法。^[1]

2023 年 5 月，Anthropic 公布了它为 Claude 所用的宪法，其中的原则参考了包括《世界人权宣言》在内的来源。维基百科指出，2023 年的宪法列有 75 条指导原则。^[2][4]

今天的用法

2026 年 1 月 22 日，Anthropic 发布了新的宪法。它不再只列出独立的规则，而是解释希望 Claude 表现某些行为的理由。该文件以 CC0 1.0 许可证发布。^[3]

新宪法为 Claude 的优先级排序如下：首先是广泛安全（broadly safe），其次是广泛伦理（broadly ethical），再次是遵守 Anthropic 的指导方针（guidelines），最后是真正有帮助（genuinely helpful）。Claude 使用它来生成合成训练数据。^[3]

维基百科指出，2026 年版宪法约 23,000 词，而 2023 年版列有 75 条指导原则。^[4]