A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play

要解决的问题

论文标题本身就是它要验证的假设：一个通用的强化学习（reinforcement learning）算法，只靠自我对弈（self-play）学习，能不能同时下好国际象棋、将棋和围棋。自我对弈指程序跟自己下——早期版本跟后来的版本对局——而不是学习人类棋谱；强化学习指学习信号来自一局棋的胜负结果，而不是由人给每个局面标注好坏。棋类长期被当作检验机器智能的试验场，因为规则明确、胜负可自动判定，强弱容易衡量。把规则不同的三种棋交给同一个算法，问题就从「造三个专用程序」变成了「这个方法到底通不通用」。

怎么做的

作者给出的是一套由自我对弈驱动的单一算法，并把它分别用于国际象棋、将棋和围棋 ^[1]。三种棋在棋盘大小、棋子走法、对局长度上都不同，因此同一套方法要在三处都成立，它的知识只能从对局里长出来，而不能靠事先写进去的棋类专门知识。在围棋这一项上，用于对比的对手是 AlphaGo Zero ^[2]。

结果

arXiv 摘要给出的说法是：系统在 24 小时之内在国际象棋和将棋上达到超人水平，并在这两种棋里都令人信服地战胜了世界冠军级程序 ^[1]。DeepMind 后来的说明给出了更细的时间线：在国际象棋上，程序只训练 4 小时就第一次超过 Stockfish；完整训练在国际象棋上约 9 小时、将棋约 12 小时、围棋约 13 天 ^[2]。

比分方面，按 DeepMind 公布的数字：国际象棋对 Stockfish，1000 局中赢 155 局、输 6 局 ^[2]；将棋对 2017 年 CSA 世界冠军版本的 Elmo，赢下 91.2% 的对局 ^[2]；围棋对 AlphaGo Zero，赢下 61% 的对局 ^[2]。这三种情况下，对手都是为单一棋种打造的强程序。

搜索速度的对比让这组成绩更有分量：在国际象棋中，程序每秒搜索约 6 万个局面，而 Stockfish 约为每秒 6000 万个 ^[2]，相差约一千倍。也就是说，它并不是靠看得更多取胜。

发表经过

这项工作最早于 2017 年 12 月 5 日挂在 arXiv 上，v1 的标题是 "Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm"；arXiv 页面列出 13 位作者，Demis Hassabis 排在最后 ^[1]。Science 版本于 2018 年 12 月 7 日刊出，第 362 卷、第 6419 期、第 1140–1144 页 ^[3]，标题在预印本点名的两种棋之外加上了围棋。

为什么重要

它的分量来自几件事叠在一起：一个算法而不是三个，从自我对弈而不是人类棋谱里学习，并且在国际象棋和将棋上以小时计、在围棋上以天计就达到了很高的水平 ^[1][2]。每秒搜索局面数相差上千倍这一点，把讨论的焦点从「算得多快」挪到了「怎么学、把搜索花在哪里」 ^[2]。论文同时留下了一批可以直接比较的数字：训练时长、对局比分、每秒搜索的局面数，后来的工作可以按同样的口径去对照 ^[2]。