《时序差分学习的实践问题》（TD-Gammon）

问题

1992年5月，IBM Thomas J. Watson 研究中心的 Gerald Tesauro 在《Machine Learning》第8卷257–277页发表《时序差分学习的实践问题》。^[1] 论文要回答一个很实际的问题：像 Sutton 的 TD(lambda) 这样的时序差分（temporal difference）方法，能否用于复杂的现实问题，而不只是小型或经过特殊安排的任务？^[1] 作者选择西洋双陆棋作为案例，让程序通过自对弈学习，并从对局结果中获得训练信号。^[1] 论文称，这显然是该算法首次被用于复杂、非平凡的任务。^[1]

做法

这一学习设置没有内置人类知识。^[1] 网络从零开始，通过自对弈学习整盘棋，并利用每局的结果进行训练。^[1] 时序差分学习的基本思路是：比较相邻的预测，让较早的估计向较晚的估计靠近；最终的对局结果则提供一个明确的参照。论文把这个思路用于西洋双陆棋——一个掷骰子、局面变化很多的游戏。关键在于，程序没有被给予大量专家棋谱或手写策略，而是要靠自己对局和结果来改进。^[1]

结果

训练后的网络在整盘棋上达到了相当强的中级水平。^[1] 它明显强于常规商业程序。^[1] 它还超过了用大规模人类专家数据集训练的同类网络。^[1] 这些比较之所以重要，是因为它们同时检验了该方法相对普通软件和相对数据密集型替代方案的表现。结果还表明，时序差分学习在实际中的表现可能好于当时理论所预期的程度。^[1] 这个说法听起来谨慎，却很重要：实际表现比当时的理论理解所预测的更强。^[1]

为什么重要

这篇论文让时序差分学习作为一种可用于困难领域的实用工具受到关注。它表明，一个没有内置知识的系统可以通过自对弈学会复杂游戏并表现得很好。^[1] 论文还把自对弈学习与使用大规模人类专家数据集的训练方式放在一起比较，结果自对弈网络在这项比较中占优。^[1] 对习惯依赖手工评估或专家样例的系统来说，这是一种不同的技能来源：让程序自己生成经验，再从结果中学习。论文的问题意识偏实践，关心的是当 TD 方法用于更大规模的问题时会出现哪些实际问题。^[1]

后续介绍

1995年，Communications of the ACM 第38卷第3期58–68页的文章《Temporal difference learning and TD-Gammon》再次描述了这一程序。^[2] 该文介绍了 TD-Gammon 与时序差分学习。^[2] 1992年的论文因此成为把时序差分学习用于复杂任务的一个清晰案例：网络从零开始学习困难的游戏，并在与常规商业程序和专家数据训练网络的比较中取得优势。^[1] 它没有解决理论问题，但报告了一个重要的经验结果：TD 学习在实践中可能比理论预期更有效。^[1]