OpenAI 宣布成立「超级对齐」团队

背景

要理解这支团队在做什么，先要理解「对齐」（alignment）指的是什么。对齐是让 AI 系统的行为符合设计者和使用者真正想要的目标。目前最常见的做法是人类反馈强化学习（reinforcement learning from human feedback，RLHF）：人给模型的若干回答排序或打分，模型再朝着人更偏好的方向调整。这套办法的前提，是有人能判断回答的好坏。OpenAI 在宣布这支团队时说，超级智能（superintelligence）可能在这个十年内出现，而依赖人类监督的现有技术，例如 RLHF，无法扩展到超级智能上 ^[1]。理由并不复杂：如果一个系统在某个领域比监督它的人更强，它给出的答案就可能超出人的判断能力，人的认可也就不再是可靠的训练信号。

宣布了什么

2023 年 7 月 5 日，OpenAI 宣布成立「超级对齐」（Superalignment）团队 ^[1]。团队由 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 与对齐负责人 Jan Leike 共同领导 ^[1]。OpenAI 表示，会在未来四年把公司迄今获得的算力的 20% 投入这支团队的工作 ^[1]。团队公开的目标是：用四年时间解决超级智能对齐的核心技术难题 ^[1]。

把算力比例、负责人和时间期限同时写进一份公开声明，是这次宣布的一个特点：它把对齐当成需要专门资源和明确期限的工程问题来处理，而不只是一项附带的安全议题。

研究计划

按照宣布时的设想，团队要造出一个大致达到人类水平的「自动化对齐研究员」（automated alignment researcher），再借助大量算力，反复用它来对齐超级智能 ^[1]。也就是说，让 AI 参与解决 AI 自身的对齐问题。

研究计划列出三个方向 ^[1]。第一是可扩展监督（scalable oversight）：寻找在人无法直接判断答案对错的情况下，仍然能有效监督更强系统的方法。第二是稳健性与自动化可解释性（robustness and automated interpretability）。前者关心系统在输入偏离训练分布、或被人刻意构造来破坏时是否仍然可靠；后者则是借助工具查看模型内部，理解它为什么给出某个输出，而不是只研究输入和输出。第三是对抗测试（adversarial testing），其中包含一个特别的做法——故意训练出对齐不良的模型，用来检验检测手段是否真的能发现问题 ^[1]。这相当于给安全检查做「对照实验」：如果一套方法连自己造出来的坏模型都抓不到，就很难指望它在真实场景里管用。

为什么重要

这次宣布的重要性有两层。一层是把问题的时间尺度摆到台面上：声明给出的判断是超级智能可能在这个十年内到来，而团队给自己的期限是四年 ^[1]。另一层是方法上的取向——如果人类监督无法随模型能力一起扩展，那么监督本身就得部分交给 AI 系统来完成，这正是「自动化对齐研究员」这一构想所处的位置 ^[1]。

需要说明的是，这类公开声明提出的是目标和计划，而不是结果。四年期限、算力投入和研究方向都是宣布时的安排；它们能否兑现，取决于研究过程本身。