巴托与萨顿获 2024 年图灵奖

背景

强化学习（reinforcement learning）是机器学习的一个分支：程序不是被逐条告知每个输入对应什么答案，而是通过自己行动、观察行动之后得到的奖励来学习该做什么。学习者要在两件事之间权衡——尝试自己已经能预测后果的动作，还是尝试可能更好的新动作；它还常常需要把此刻得到的奖励，归功于很久以前做出的某个决定。把这些朴素的描述变成数学，再变成真正能收敛的算法，正是这次获奖所表彰的工作。

从 20 世纪 80 年代开始的一系列论文中，安德鲁·巴托（Andrew Barto）与理查德·萨顿（Richard Sutton）提出了强化学习的主要思想，构建了它的数学基础，并发展出重要的算法。^[1]

获奖

2024 年，美国计算机协会（ACM）宣布巴托与萨顿为 ACM A.M. 图灵奖得主，理由是二人为强化学习奠定了概念与算法基础。^[1] 该奖奖金为 100 万美元，由谷歌公司提供资助。^[1]

核心思想

ACM 特别指出，二人最重要的贡献是时序差分学习（temporal difference learning），此外还包括策略梯度（policy gradient）方法，以及用神经网络来表示学到的函数。^[1]

时序差分学习解决的是一个实际问题：如果一定要等到任务结束才知道总共拿到了多少奖励，学习会非常慢，有时甚至无法进行。这种方法用两个相邻估计值之差来更新对将来奖励的估计——一个是行动之前的估计，一个是行动之后的估计——于是学习者是边走边学、逐步改进，而不是只在结束时才更新一次。可以说，估计值是被它自己的一个更晚版本教出来的。

策略梯度方法走的是另一条路。它不先给状态或动作学出价值、再据此贪心地挑选动作，而是直接调整策略本身的参数，把采取过的动作的概率朝「实测回报更高」的方向推一点。这样一来，策略就可以用一个光滑的、带参数的函数来表示，也能处理那些从价值表里看不出最优动作的问题。

用神经网络来表示学到的函数，则把这条线与现代机器学习接了起来。价值估计或策略不再存放在一张查找表里，而是存放在一个权重可调的神经网络中，于是同一套算法就能用在图像、棋盘局面、传感器读数这类数量多到无法逐一列举的输入上。

教科书

二人 1998 年出版的教科书《强化学习导论》（*Reinforcement Learning: An Introduction*）至今仍是该领域的标准参考书，被引用超过 7.5 万次。^[1] 几代学生从这本书里学会了状态、动作、奖励、价值函数、时序差分更新这一套词汇，这也是这个领域至今共享同一套记号、同一批示例问题的原因之一。

两位得主

巴托是马萨诸塞大学阿默斯特分校信息与计算机科学荣休教授。^[1] 萨顿是阿尔伯塔大学计算机科学教授，同时在 Keen Technologies 担任研究科学家。^[1]

为什么重要

在很长一段时间里，强化学习是一个专门的研究题目，大规模的成功案例不多。真正的实用突破来自把它与深度学习算法结合，产生了深度强化学习（deep reinforcement learning），其中最著名的例子是 AlphaGo 在 2016 年和 2017 年战胜最顶尖的人类围棋棋手。^[1] 这一结果依赖的正是两部分的结合：对棋步的搜索，以及强化学习所提供的价值学习；再加上让程序能够判断从未见过的局面的神经网络。

今天，同一套工具支撑着棋类博弈、机器人控制以及大模型训练方面的工作，而巴托与萨顿固定下来的那套词汇——奖励、价值函数、探索与利用的权衡——也仍然是描述这些系统的方式。图灵奖的引文把这项工作视为这些进展所依赖的基础。^[1]