《用时序差分方法学习预测》

要解决的问题

监督学习的标准形式，是从「正确答案已经知道」的样本中学习。这篇论文的核心论点是：目前应用监督学习的大多数问题，实际上是预测问题，也就是时序差分方法能够发挥优势的那一类问题^[1]。预测问题的特点是，需要估计的那个量在做出估计时还不知道，要等到以后才揭晓，甚至永远不会以可以直接当作训练目标的形式出现。

方法：用两次预测之差来分配信用

时序差分（temporal-difference）方法是增量式的：它维护一个不断更新的估计值，每来一个新观测就修正一次，而不是先攒一批数据再统一拟合。它与其他方法的区别在于信用如何分配。传统方法把误差看成「预测与实际结果之差」，时序差分方法则把误差看成「时间上相邻的两次预测之差」^[1]。

举一个具体的小例子。假设周四估计周六下雨的概率是 0.6；到了周五，掌握了更多信息，再估计一次，得到 0.8。周六的结果仍然未知，但周四与周五两次估计之间的变化本身已经携带信息：周五的估计是在更多信息下做出的，通常更可靠。时序差分方法会在结果出现之前，就把周四的估计往周五的估计方向拉，拉动的幅度就是修正信号。最终结果到来时，它只是沿途众多信号中的一个。

论文把这些做法整理成一类学习过程，而不是单一的算法，并在形式上把它与监督学习方法联系起来^[1]。

结果

论文证明了时序差分方法在特殊情形下的收敛性与最优性^[1]。在实用层面，论文给出的比较是：对大多数真实世界的预测问题，时序差分方法比传统方法需要更少的内存、更小的峰值计算量，而且预测更准确^[1]。这种节省来自更新的增量性质——每个观测一到就可以用掉，不必把一长串观测一直保存到结果揭晓。

为什么重要

这类方法此前已经以零散、临时的方式出现过：Samuel 的跳棋程序、Holland 的桶链算法（bucket brigade），以及作者自己的自适应启发式评价器（Adaptive Heuristic Critic）。但它们一直没被真正理解^[1]。每一个都只是能跑起来的工程做法，缺乏关于「它在做什么、为什么行得通」的共同解释。论文提供的正是这个解释：一个能覆盖此前各种方案的统一描述，一套关于方法在什么条件下收敛的分析，以及与当时大多数人使用的监督学习的直接对比。

论文以《Learning to predict by the methods of temporal differences》为题，于 1988 年 8 月发表于《Machine Learning》第 3 卷、第 9–44 页，当时萨顿在 GTE 实验室^[1]。

后来的影响

论文引入的这一族方法后来被称为 TD 算法。Tesauro 在 1992 年的论文中称其为「Sutton's TD(lambda) algorithm」^[2]。这个称呼说明，这项工作已经作为一个标准参照点进入文献：它是一族有名字、背后有已知分析结果的方法，而不是一堆彼此独立的技巧。