安德鲁·巴托

概况

安德鲁·巴托（Andrew G. Barto）是计算机科学家，主要因推动强化学习（reinforcement learning）成为一般性的机器学习框架而为人所知。他是马萨诸塞大学阿默斯特分校信息与计算机科学系荣休教授。^[1] 2024年，他与理查德·萨顿（Richard Sutton）共同获得ACM A.M.图灵奖。^[1]

教育与早期经历

巴托在密歇根大学获得数学学士学位，成绩优异（with distinction），并在该校获得计算机与通信科学硕士和博士学位。^[1] 1977年，他在马萨诸塞大学阿默斯特分校以博士后研究助理的身份开始职业生涯，此后担任过副教授、教授和系主任。^[1]

把强化学习变成问题框架

20世纪80年代初，受心理学观察的启发，巴托和他的博士生理查德·萨顿开始把强化学习表述为一个一般性的问题框架。^[1] 在这种框架里，智能体通过与环境交互、采取行动并接收奖励信号来学习，而不是对每个输入都得到一个标注好的正确答案。它关心的是：当反馈延迟、不完整时，智能体怎样改进自己的行为。例如，智能体在某个状态下选择动作，环境返回奖励或惩罚，它据此调整下一次的选择。这个问题把机器学习与心理学联系起来，因为它类似于动物和人从行为后果中学习的方式。

基本算法

巴托与萨顿共同、也与其他人合作，发展了强化学习的基本算法方法，包括时序差分学习（temporal difference learning）、策略梯度（policy gradient）方法，以及用神经网络表示学习到的函数。^[1] 时序差分学习用已有的估计去更新估计，因此不必等到最终结果出现就能学习。策略梯度方法沿着预期能提高奖励的方向调整策略的参数。神经网络则提供灵活的函数近似器，用来表示学到的内容。这些被称为基本方法：它们是构建块，而不是某个单一而完整的系统。

与神经科学的联系

包括巴托本人在内的近期研究表明，人工智能中发展出的特定强化学习算法，能为关于人脑多巴胺系统的广泛发现提供最好的解释。^[1] 多巴胺是一种与奖励信号有关的神经递质。这里的重点在解释：为人工智能体设计的算法，可以说明生物奖励系统中观察到的模式。由此，强化学习成为人工智能与神经科学之间的一种共同语言。

荣誉

他的荣誉包括马萨诸塞大学神经科学终身成就奖、IJCAI研究卓越奖和IEEE神经网络学会先驱奖。^[1] 他是IEEE和AAAS的会士。^[1]

在领域中的位置

巴托的工作为强化学习提供了问题框架和一组基本算法，后来又把这些算法与人脑奖励系统的发现联系起来。2024年的图灵奖由巴托与萨顿共同获得。^[1]