Mastering the game of Go without human knowledge

论文要回答的问题

在 AlphaGo Zero 之前，AlphaGo 的各个版本在训练中都使用了人类棋谱^[1]。这就留下一个很直接的问题：棋力当中有多少来自这些人类经验，去掉人类棋谱之后又能剩下多少？论文的标题把这句问话写在了题目里——在「没有人类知识」的条件下掌握围棋^[2]。围棋是一种可能的局面数量远多于国际象棋的棋盘游戏，胜负要看整盘棋的形势而不是吃掉多少子，这也是它长期难以被程序攻克的原因。

方法：从随机棋局开始的自我对弈

AlphaGo Zero 从随机落子开始，没有人类棋谱可以学，靠和自己下棋来提高^[1]。它的机制是一个循环：系统下完一局，看到谁赢了，然后做调整，让出现在胜局里的着法下次更容易被选中，出现在败局里的着法则更难被选中。整个过程不需要人来标注哪一步是好棋，唯一的信号就是一盘棋结束时的胜负。这样的循环重复非常多的次数，就足以从零开始积累出棋力。

DeepMind 描述的规模很大：在几天之内，系统下了几百万盘 AlphaGo 对 AlphaGo 的棋，按公司的说法，这相当于在这段时间里积累了几千年的人类知识——关键在于这些知识是被系统自己生成出来的，而不是由人提供的^[1]。

结果

按 DeepMind 的说法，AlphaGo Zero 以 100 比 0 击败了此前发表的那个曾击败人类冠军的 AlphaGo 版本，而这个结果是在仅仅三天的自我对弈训练之后取得的^[1]。训练并没有停在这里：经过 40 天的自我训练，DeepMind 称 AlphaGo Zero 已经强于被称为 AlphaGo Master 的版本，后者曾击败世界排名第一的柯洁^[1]。

比较的不只是棋力，还有计算硬件。DeepMind 文章中有一张图表，列出 AlphaGo Zero 与 AlphaGo Master 各使用 4 块张量处理单元（TPU），而 AlphaGo Fan 使用 176 块图形处理器（GPU），AlphaGo Lee 使用 48 块 TPU^[1]。

作者与发表

论文于 2017 年 10 月 19 日发表在《自然》（Nature），刊于第 550 卷，354–359 页^[2]。作者名单包括 David Silver、Julian Schrittwieser 和 Karen Simonyan，Demis Hassabis 列在最后^[2]。DeepMind 关于这项工作的博客文章由 David Silver 与 Demis Hassabis 撰写，日期为 2017 年 10 月 18 日^[1]。

为什么重要

这个结果把一个关于方法的主张变成了可以检验的东西。如果早期的 AlphaGo 需要人类棋谱，而 AlphaGo Zero 不需要，那就说明棋力并不必然来自人类的对局记录：一个从随机下棋开始、只和自己对弈的系统，可以追平并超过一个曾击败人类冠军的程序^[1]。论文之所以不只关乎围棋，正是在这个意义上——它演示了被去掉的可以只是人类的示例，而不是搜索与学习本身。硬件数据则补上了另一半：后来的系统用的加速器比早期版本更少^[1]，所以提升来自训练方法，而不是单纯堆算力。