理查德·萨顿

概况

理查德·萨顿（Richard Sutton）是阿尔伯塔大学的计算机科学教授，同时担任研究科学家，任职于总部位于得克萨斯州达拉斯的人工通用智能公司 Keen Technologies，并担任阿尔伯塔机器智能研究所（Amii）的首席科学顾问。^[1] 他的研究围绕强化学习（reinforcement learning）展开。与依赖人工标注样本、直接告诉模型「正确答案」的监督学习不同，强化学习让智能体在环境中不断行动，根据收到的奖励信号调整自己的行为。萨顿长期追问的正是这样一类问题：当一个系统得不到标准答案、只能从自己的经历里获得反馈时，它怎样才能越做越好。

教育与早期研究

萨顿在斯坦福大学获得心理学学士学位，之后在马萨诸塞大学阿默斯特分校取得计算机与信息科学的硕士和博士学位。^[1] 心理学与计算机科学的组合并不常见，这一背景也影响了他后来参与建立的那门学科的面貌。强化学习的许多词汇借自对动物行为的研究，例如奖励、试错、从经验中学习；它的方法则来自计算机科学、统计学与最优化。同时受过这两方面训练的人，更容易去追问一条学习规则为什么应该长成这样，而不只是关心它是否收敛。

他与 Andrew Barto 的合作始于 1978 年的马萨诸塞大学阿默斯特分校，当时 Barto 是他的博士导师和博士后导师。^[1] 从那时开始的合作关系持续了数十年，既产出了这一领域的基础性研究，也产出了把一代代学生领进门的教科书。

主要贡献

这段合作最广为人知的成果是两人于 1998 年合著的教材《强化学习：导论》（Reinforcement Learning: An Introduction）。^[1] 这本书用一套统一的框架把这一领域的想法组织起来：一个智能体观察自身处境的一些信息，采取动作，获得奖励，并对遇到的情形能带来多少奖励形成估计。它至今仍是该领域的标准参考书，被引用超过 75000 次。^[1]

这套框架之所以有用，在于它把乍看毫不相干的问题装进了同一个盒子里。一个学习下棋的程序、一个学习行走的机器人、一个在网络中分配资源的系统，都可以用同样的术语描述，也都会遇到同样的问题。其中之一是探索与利用之间的权衡：从不尝试新动作的学习者发现不了更好的策略，而从不肯安定下来的学习者又会浪费已经学到的东西。另一个是信用分配：当一个奖励在引发它的动作发生很久之后才到来时，究竟该强化那些动作中的哪一个？这本教材把这些提问方式，以及为回答它们而设计出的各种算法，整理成了共同的语言。

任职经历

在加入阿尔伯塔大学之前，萨顿于 1998 年至 2002 年在新泽西州弗洛勒姆帕克的 AT&T 香农实验室人工智能部门担任首席技术职员。^[1] 2017 年至 2023 年，他在 DeepMind 担任杰出研究科学家。^[1]

他的荣誉包括 IJCAI 研究卓越奖和加拿大人工智能协会颁发的终身成就奖；他是伦敦皇家学会、美国人工智能促进会（AAAI）和加拿大皇家学会的会士。^[1]

影响

2024 年，萨顿与 Andrew Barto 共同获得 ACM A.M. 图灵奖。^[1] 图灵奖通常被视为计算领域的最高荣誉。这一奖项到来之时，强化学习已经成为一种常规工具，凡是需要连续做出决策、并从结果中学习而不是去匹配一组固定答案的系统，都在使用它。对于一个曾经只是机器学习中一个专门角落的方向来说，这项荣誉标志着它所提出的问题已经走到了中心位置：智能体应当如何在不确定中行动，如何在探索与已知之间取舍，如何从延迟到来的反馈中学习。萨顿与 Barto 合写的那本教材，以及他指导和教过的学生，仍在把这一框架传递下去。