Mastering the game of Go with deep neural networks and tree search（用深度神经网络和树搜索掌握围棋）

要解决什么问题

围棋长期被认为是AI最具挑战性的经典棋类游戏。它的搜索空间极其庞大，而且很难判断一个棋局的好坏，也很难确定哪一步值得考虑。这篇论文要解决的正是这两个困难。^[1]

怎么做的

AlphaGo使用两类深度神经网络。策略网络（policy network）负责选择落子，价值网络（value network）负责评估局面。两者都是深度卷积网络，把19×19的棋盘当作图像来读取。它们先通过人类专家对局进行监督学习，再通过自我对弈的强化学习（reinforcement learning）进行改进。这些网络与蒙特卡洛树搜索（Monte Carlo tree search）相结合：树搜索探索可能的落子序列，网络则负责引导搜索并给出判断。^[1] 简单来说，策略网络把搜索范围缩小到值得考虑的落子，价值网络则估计每一方在某个局面下的形势，使程序不必把每一条变化都下到终局。

监督学习的策略网络共有13层，使用了来自KGS Go Server的3000万个局面进行训练。它预测专家落子的准确率为57.0%，而此前其他团队的最好结果是44.4%。^[1] 为了避免过拟合，价值网络使用了一个新的自我对弈数据集进行训练，该数据集包含3000万个互不相同的局面，每个局面都取自不同的对局。^[1]

结果

单机版AlphaGo使用了40个搜索线程、48个CPU和8个GPU，在对其他围棋程序的比赛中赢下495局中的494局，胜率为99.8%。^[1][2] 分布式版本则使用了1,202个CPU和176个GPU。^[2]

2015年10月5日至9日，分布式版AlphaGo对阵樊麾。樊麾是职业二段棋手，曾获得2013、2014和2015年的欧洲围棋冠军。正式比赛中，AlphaGo以5比0获胜。这是计算机程序第一次在不让子的全尺寸围棋中击败职业棋手，而此前人们普遍认为这一成就至少还需十年。^[2]

为什么重要

这篇论文表明，程序可以通过把学习得到的局面评估与搜索相结合，达到职业水平，而不必只依赖手工编写的规则。作者指出，与卡斯帕罗夫对阵深蓝（Deep Blue）时相比，AlphaGo在对阵樊麾时评估的局面数量少了数千倍。他们还指出，与深蓝手工设计的评估函数不同，AlphaGo的网络是直接从对局中训练出来的。^[2]

后续影响

这一结果被广泛视为一个里程碑：一个长期抵抗计算机的棋类游戏，如今被一个从数据中学习判断能力的程序攻克。把深度网络与搜索相结合的做法，此后成为游戏AI研究中的一个参照。^[1]