AlphaGo Zero 从零自学围棋

背景

围棋是黑白双方在棋盘上落子的游戏。对人工智能来说，它的难点在于：好棋往往取决于整个棋盘的形状和很长的手数，程序无法把所有变化都算完。在 AlphaGo 系列中，与李世石（Lee Sedol）对弈的版本和 AlphaGo Master 是两个参照点。^[1]

发生了什么

2017年10月18日，DeepMind 宣布 AlphaGo Zero；次日，《自然》（Nature）刊登相关文章。^[1][2] 它最关键的变化在起点：AlphaGo Zero 从随机下棋开始，并且只通过与自己对弈来学习。^[1] 它的输入只有棋盘上的黑白棋子。^[1] 也就是说，它没有从现成的人类对局库出发，也没有得到棋子之外的额外描述；原始棋盘就是它的材料。^[1]

关键细节

它使用单个神经网络（neural network），硬件远少于此前的版本：4 个 TPU（张量处理单元），而与李世石对弈的 AlphaGo Lee 使用 48 个。^[1] 它从数百万局自我对弈中学习。^[1] 在自我对弈中，同一个系统轮流执黑执白；每局产生胜负结果，大量对局为网络调整提供经验。这就是自我对弈学习的一般思路：没有外部老师给出每一步，系统自己的对局成为训练材料。

从比较的角度看，训练时间很短。训练三天后，AlphaGo Zero 以 100–0 击败与李世石对弈的 AlphaGo 版本。^[1] 训练 40 天后，它超过了 AlphaGo Master。^[1] 100–0 是双方对局的比分，不是单局结果；它表示在这个比较中，新系统未输一局。^[1]

影响

AlphaGo Zero 的重要性在于，它证明了围棋能力可以从随机起点、仅靠自我对弈获得，输入只有棋盘上的棋子。^[1] 它也表明，单个神经网络和 4 个 TPU 可以超过使用 48 个 TPU 的版本。^[1] DeepMind 公布了结果，并在《自然》文章中记录了方法，因此外界可以公开查看这套做法。^[1][2]

在 AlphaGo 系列内部，它成为从零开始、并在 40 天后超过 AlphaGo Master 的版本。^[1] 它对与李世石对弈的版本取得 100–0，给出了一个具体的比较结果，说明自我对弈训练把系统推到了什么程度。^[1] 因此，这件事留下的不只是一个比分，而是一条不同的训练路径：随机起点、只靠自我对弈、单个网络，以及少得多的硬件。