约翰·舒尔曼（John Schulman）

概况

约翰·舒尔曼（John Schulman）是美国人工智能研究者，生于 1987 或 1988 年，2005 年曾入选美国物理奥林匹克竞赛代表队。^[1] 他的工作主要围绕强化学习（reinforcement learning）展开——这是机器学习的一个分支，系统通过试错来改进，凡是带来奖励的行为就会被强化——并把这一套方法用于大语言模型的训练。

教育与早期研究

舒尔曼在加州理工学院（Caltech）读物理，2010 年取得物理学学位，之后转向计算机科学。他在加州大学伯克利分校（UC Berkeley）获得电子工程与计算机科学博士学位，导师是 Pieter Abbeel。^[1] 从物理转向机器学习在这个领域并不罕见：物理训练强调数学建模和对系统行为的严谨推理，而这些能力很容易迁移到「智能体在不确定环境中应当如何选择动作」这类问题上。

主要贡献

舒尔曼最知名的技术工作是两个策略优化（policy optimization）算法。2015 年提出的信赖域策略优化（Trust Region Policy Optimization, TRPO）和 2017 年的后继者近端策略优化（Proximal Policy Optimization, PPO），针对的是强化学习中的一个实际困难：学习中的智能体会更新自己的策略，也就是「看到什么情况就采取什么动作」的规则，而一次更新幅度太大，可能把此前积累的进展全部破坏；幅度太小，学习又慢得难以推进。这类方法把每次更新限制在一个有限的范围内，使策略稳步改善，而不是大起大落。近端策略优化把前一方法的机制简化为一个带裁剪的目标函数，实现和调参都更容易。这两个算法后来成为 ChatGPT 训练中的组成部分。^[1]

他同时也是 InstructGPT 论文的共同作者之一，该论文于 2022 年发表，主题是用人类反馈训练语言模型遵循指令。^[2] 论文中的做法通常被称为基于人类反馈的强化学习（reinforcement learning from human feedback, RLHF），分几步进行：先让人对模型的多个输出作比较或排序，再用这些偏好数据训练一个奖励模型，最后让语言模型针对这个奖励模型进行优化。这样得到的模型给出的回答，被人们评价为更有用，而不只是文本上看起来通顺的续写。

在 OpenAI

舒尔曼于 2015 年 12 月参与共同创立 OpenAI，当时他还没完成博士学业。^[1] 在 OpenAI，他领导公司的强化学习团队，ChatGPT 正是由这个团队做出来的。^[1] 他被称为 ChatGPT 的「架构师」（architect），这个说法指向的是他在训练流程中的角色，而不是某一项具体的产品决策。^[1]

后续去向

2024 年 8 月，他离开 OpenAI 加入 Anthropic，表示希望把更多精力放在 AI 对齐（AI alignment）研究和动手的技术工作上。^[1] 这次变动之所以受到关注，是因为它是朝向对齐研究的一步——对齐研究关心的是如何让 AI 系统的行为符合设计者的意图——而当时许多研究者都在权衡，应当把多少时间花在提升能力上、多少花在安全问题上。

他在 Anthropic 待的时间不长。2025 年 2 月，他离开 Anthropic，出任 Thinking Machines Lab 的首席科学家。^[1]

影响

舒尔曼参与建立的这些方法，后来成了把一个原始语言模型变成可用助手的标准工具箱的一部分。近端策略优化的使用范围尤其广，不只是语言模型，在整个强化学习领域都很常见，原因在于它相对简单、稳健。InstructGPT 那一套流程——收集人类偏好、拟合奖励模型、再让模型针对奖励模型优化——则成为一种让模型遵循指令的常见做法。他的经历也说明了这个领域的一种常见情形：做出被广泛使用的产品背后训练方法的研究者，往往不如产品本身那样显眼，即使这套算法正是产品能工作的原因。