AlphaZero

是什么

AlphaZero 是 DeepMind 研发的通用棋类系统，最早见于 2017 年 12 月 5 日发布在 arXiv 上的预印本^[1]。它研究的不是单一棋种，而是国际象棋、将棋（shogi）和围棋三种。同一套算法、同样的设置被用于这三种棋，而它得到的关于每种棋的信息只有规则^[1]。从随机走子开始，它在 24 小时内于三种棋上都达到了超越人类的水平^[1]。

由来

这项工作把 AlphaGo Zero 的自对弈强化学习方法从围棋推广到了围棋之外的棋类^[1]。它由 David Silver 领导开发^[3]。预印本列出的作者有 13 位，其中包括 Demis Hassabis、Thore Graepel 和 Karen Simonyan^[1]。

把国际象棋选作目标是有所指的。预印本指出，国际象棋是人工智能历史上被研究得最广泛的领域^[1]，而最强的国际象棋程序依赖搜索技术、针对特定领域的改造以及手工设计的评估函数^[1]——也就是依赖人手工写入的、关于「什么样的局面更好」的知识。AlphaZero 要检验的是：一种通用的方法能不能不要这些。

怎么学

系统的核心是自对弈（self-play）：程序和自己下棋，最初走子完全随机。一局结束后，结果——胜、负或和——被用作训练信号，让通向这个结果的那些选择在下次出现的可能性略微升高或降低。一轮对局产生一个稍强一点的棋手，这个棋手再去生成下一轮对局。这就是通常意义上的强化学习（reinforcement learning）：没有人告诉系统哪一步是好棋，只告诉它这局赢没赢。

由于除规则之外没有提供任何东西，关于开局、子力活跃程度、局面是否稳固的一切理解，都只能由系统自己在这个循环中产生。同一套做法被用在三种规则差别很大的棋上，而不是为每种棋单独重造一套。

结果

从随机走子开始，系统在 24 小时内于国际象棋、将棋和围棋上都达到了超越人类的水平^[1]，并在三种棋中都以明显优势击败了世界冠军级程序^[1]。三种棋一起跑的意义在于比较：一套算法、一套设置、同样的起点，三种不同的棋。

之后

在 AlphaZero 之后是 MuZero，相关预印本于 2019 年 11 月发布，它在没有被给定棋类规则的情况下达到了与 AlphaZero 相当的表现^[2]。MuZero 的预印本说明，尽管 AlphaZero 被给定了几种棋的规则，MuZero 在围棋、国际象棋和将棋上仍然与 AlphaZero 打平^[2]。把这两个系统放在一起看，方向很清楚：同样的自对弈做法，外部提供的东西越来越少。

意义

AlphaZero 的贡献最好用「拿走」来描述。国际象棋是人工智能史上被研究得最充分的领域，长期以来的做法是手工构造评估、手工调整搜索^[1]；而 AlphaZero 只凭规则、在一天之内就在这项棋上、并在另外两种棋上达到了超越人类的力量^[1]。这说明，只要有足够的自对弈，单一的学习方法可以替代棋类人工智能长期以来所依赖的领域知识。它也为后来的工作定下了模式：每一个后继系统都被要求用更少的输入做到同样的事^[2]。