《Some Studies in Machine Learning Using the Game of Checkers》（用跳棋进行机器学习的若干研究）

要回答的问题

《Some Studies in Machine Learning Using the Game of Checkers》由 A. L. Samuel 撰写，发表在《IBM Journal of Research and Development》第 3 卷第 3 期，第 210 至 229 页；期刊记录给出的出版日期是 1959 年 7 月 31 日，DOI 为 10.1147/rd.33.0210^[1]。这篇论文要回答的问题可以用一句话说清：能不能把计算机编程到这种程度——它靠经验把一件事做得越来越好，而不是事先就被告知该怎么做。

为什么用跳棋而不是国际象棋

Samuel 解释说，之所以选跳棋而不是国际象棋，是因为跳棋的规则简单，可以把更多注意力放在学习技术上^[2]。游戏越简单，需要写进程序里的规则部分就越少，留给学习机制本身的空间就越大。

两条学习路线

论文区分了两种做法。一种是神经网络（neural net）式的：构造一个随机连接的开关网络，通过奖励和惩罚把学到的行为诱导进这个网络里^[2]。另一种被作者认为更有效率：构建一个只被设计用来学习某些特定东西的网络^[2]。论文中的实验建立在第二种做法之上^[2]。

做了什么，结果如何

摘要报告说，论文用跳棋这个游戏比较详细地考察了两种机器学习程序^[2]。Samuel 写道，已经做了足够的工作来验证一件事：计算机可以被编程到这种程度——它学会下跳棋，并且下得比写这个程序的人还要好^[2]。而且学会这一点只用了一段短得惊人的时间：8 到 10 小时的机器对弈时间。它一开始拿到的只有游戏规则、一个方向感，以及一份既冗余又不完整的参数表，这些参数正确的符号和相对权重都是未知的^[2]。

这份起始条件值得多看一眼。程序并没有被告知参数该取什么值，手里的参数表既不完整又有重复，连每个参数该取正号还是负号都不清楚。它拥有的是规则、一点关于往哪个方向走才对的方向感，以及用来下棋的时间。

更早的几个程序

论文的一条脚注记下了这项工作之前的一串程序：第一个能运行的跳棋程序 1952 年为 IBM 701 写成，1954 年被改写用于 IBM 704；第一个带学习能力的程序 1955 年完成，并于 1956 年 2 月 24 日在电视上做了演示^[2]。

结论

Samuel 的结论是：现在有可能设计出远远超过普通人水平的机器学习方案，而且这类方案最终可能在解决现实问题上具备经济上的可行性^[2]。他同时表示，这些实验所验证的机器学习原理可以应用到许多其他场合^[2]。

这篇论文的意义

这篇论文的分量，与其说在跳棋程序本身，不如在它提出的那类主张以及支持主张的方式。Samuel 并没有停留在抽象的层面论证机器也许能学习，而是拿出两种程序，在一个游戏上跑起来，报告一个具体的结果：从一个参数和权重全都未知的起点出发，程序最后下得比作者本人更好^[2]。论文还摆出了一个此后每次构建学习系统都会遇到的取舍——是用奖励和惩罚去塑造一个通用的网络，还是造一个更窄、只学某些特定内容的网络；Samuel 认为后者更有效率^[2]。它同时记下了这次实验所依赖的那些早期程序，使这个结果可以被读成一条工作脉络中的一步，而不是一次孤立的演示^[2]。