DeepMind 的 AlphaZero 精通国际象棋、将棋和围棋

背景

棋类长期被当作检验人工智能的试验场，因为它们的规则固定、胜负明确。预印本中特别指出，国际象棋是人工智能历史上被研究得最广泛的领域 ^[1]。但国际象棋、将棋和围棋并不是同一道题的变体：棋盘不同、棋子不同、规则也不同，为其中一种棋写的程序，默认情况下并不能直接搬到另外两种上去。过去常见的做法是为每一种棋单独打造一个系统，因此「一种方法通吃多种棋」一直是个悬而未决的问题。

发布了什么

2017 年 12 月 5 日，DeepMind 在 arXiv 上发布了一篇预印本，题为《Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm》（用通用强化学习算法通过自我对弈精通国际象棋与将棋）^[1]。预印本列出 13 位作者，其中包括 Demis Hassabis ^[1]。它描述的是一个算法，而不是三套彼此独立的系统；标题里的「通用」正是全文的核心主张。

怎么做的

算法只被给予棋的规则 ^[1]，其余一切来自自我对弈（self-play）：系统反复与自己下棋，并用这些对局的结果作为驱动自己变强的信号 ^[1]。在自我对弈中，没有外部对手，也没有预先给定、需要死记的局面；系统自己生成训练材料，随着水平提高，它自己也越来越难被击败。由于输入是规则，而不是大量人类对局或人工写下的「哪步棋好」的经验，同一套流程可以直接指向国际象棋、将棋和围棋，而不必为每一种棋重新设计 ^[1]。规则各不相同，学习回路却是同一个。

结果

在 24 小时之内，该算法在三种棋上都达到了超人类水平 ^[1]。在三种棋里，它各自击败了一个世界冠军级程序 ^[1]。这一点是关键：比较的基准不是业余爱好者，也不是普通引擎，而是当时每种棋上最强的程序。

为什么重要

它的意义主要不在于某一盘棋的胜负，而在于它说明了「通用」能做到什么程度。一种除规则之外什么都不必被告知、也不针对特定棋盘或棋子做专门设计的方法，却在三种棋上追平了各自最强的既有程序；其中国际象棋还是预印本所说的、人工智能史上被研究得最广泛的领域 ^[1]。一个在國際象棋上投入了几十年的领域，恰恰是检验「对国际象棋本身一无所知的方法」的严苛考场。

这项工作以预印本形式出现在 arXiv 上，而机器学习领域的许多研究正是以这种形式在正式同行评议发表之前公开流传的 ^[1]。公开发布让其他研究者可以读到算法的描述并加以讨论，也让「一个算法、三种棋、一天之内达到超人类水平」这一说法以任何人都能查阅的形式被记录了下来。