AlphaGo Zero

是什么

AlphaGo Zero 是 DeepMind 开发的围棋程序。2017 年 10 月 18 日，DeepMind 公布了这一版本，介绍它的论文于 10 月 19 日发表在《自然》（Nature）上^[1][2]。它和此前围棋程序的区别不只在棋力，更在于知识从哪来：它靠和自己下棋学会下棋，起点是完全随机的下法，全程没有使用人类棋谱^[1]。DeepMind 的文章称它可以说是有史以来最强的围棋棋手^[1]。

从哪来

AlphaGo Zero 出现之前，DeepMind 已经做出了若干棋力很高的 AlphaGo 版本，其中两个成了讲述 AlphaGo Zero 时的参照物：一个是曾击败李世石（Lee Sedol）的版本，另一个是在网上击败过顶尖职业棋手的 AlphaGo Master^[1]。这些早期版本使用两个神经网络，AlphaGo Zero 只用一个^[1]。它们在硬件上也重得多：DeepMind 的功耗表把 AlphaGo Zero 列为 4 块 TPU，AlphaGo Lee 为 48 块 TPU，AlphaGo Fan 为 176 块 GPU^[1]。TPU 和 GPU 都是用来训练和运行神经网络的芯片。

怎么做的

它接收的输入很少。唯一的输入是围棋棋盘上的黑白棋子^[1]。AlphaGo Zero 用一个人工神经网络（neural network）取代早期版本所用的两个^[1]，并且不使用 rollout——也就是把当前局面一路走到底、常常用随机走法，来估算形势好坏的那种方法^[1]。它直接依靠网络自己对局面的判断。

学习发生在自我对弈（self-play）之中。AlphaGo Zero 和自己下了几百万盘棋^[1]。每一盘的两方都是它自己，所以对手的强弱总是刚刚合适，而且每盘都有胜负可以拿来学习：通向胜利的下法被调得更可能，通向失败的下法被调得更不可能。这个循环里不需要人标注局面，也不需要人讲解棋理，所以起点可以是随机下法，而不是职业棋谱库。

结果

进展很快。自我对弈三天之后，AlphaGo Zero 以 100 比 0 战胜了曾击败李世石的那个版本^[1]。40 天之后，它超过了 AlphaGo Master^[1]。DeepMind 还报告说，它发展出了非常规的策略和有创造性的新手^[1]——这些下法不是人教的，而是它在自己的对局中搜索出来的。

为什么重要

这件事的意义不止于围棋，因为它去掉了一个常见的前提。达到专家水平的系统通常要靠专家的记录来训练：人类的棋谱、人类写的文本、人类打的标签。AlphaGo Zero 一点也没用这些，却达到了 DeepMind 所说的可以说史上最强的水平，这说明在人类样本稀少或昂贵的领域里，样本原则上可以由系统自己生成。

后来

2017 年 12 月，DeepMind 把这套方法推广到国际象棋和将棋，命名为 AlphaZero^[2]，把同样的自我对弈方法带出了围棋棋盘。所以人们记住 AlphaGo Zero，更多不是把它当作一台强大的围棋引擎，而是把它当作一次演示：只靠自我对弈，给足对局数量和合适的网络，就能下出人没有预料到的棋。