Mastering Atari, Go, chess and shogi by planning with a learned model

要解决的问题

游戏长期以来被当作机器学习的试验场，但一个反复出现的障碍是：规划通常依赖于知道环境如何运转。程序要在行动之前向前推演，就需要某种模型来说明每个动作会把世界变成什么样。在棋类游戏里，这个模型一般就是规则本身，由人手工写进程序；在电子游戏里，它是模拟器。MuZero 的设想是，这个模型根本不必由人提供，它可以从经验中学出来，而且同一套学到的机制可以同时服务于围棋和一款 Atari 游戏这样差别巨大的对象。

怎么做的

MuZero 自己学出一个环境模型，然后在这个模型里做规划，而不是在人工编写的模拟器里规划。算法在围棋、国际象棋和将棋上接受评估时，完全没有任何关于规则的先验知识^[1]。也就是说，系统中没有任何部分告诉它哪些着法合法、某个局面会如何演化；在行动之前，是学到的模型代替真实环境，供系统在可能的未来上做搜索，而训练过程要学到的，就是让这种内部规划能做出好决策所需要的东西。

DeepMind 还描述了一个在 Atari 上使用的变体，称为 MuZero Reanalyze。在其中，学到的模型有 90% 的时间被用来重新规划过去对局中本该怎么走，也就是用现在的模型去重新审视早先的经验，而不只是沿用数据收集当时那个旧模型的判断^[2]。另一项在《吃豆人小姐》（Ms. Pac-Man）上的实验发现，每步做 5 到 50 次模拟的规划同时提升了学习速度和最终表现^[2]。

结果

论文的主要评估覆盖了 57 款不同的 Atari 游戏，并在这些游戏上取得了新的最优成绩^[1]。这项工作中的 Atari 分数以人类测试者为基准归一化，人类水平记为 100%，训练使用 200M 或 20B 帧^[2]。由于系统会做规划，更多的思考时间理应转化为更强的棋力，DeepMind 在围棋上报告的正是这一点：当每步可用时间从 0.1 秒增加到 50 秒时，棋力提升超过 1000 Elo^[2]。同一个算法同样在围棋、国际象棋和将棋上接受了评估，且依然不需要规则知识^[1]。

发表与作者

Schrittwieser 等人于 2019 年 11 月 19 日首次将这项工作发布到 arXiv，标题为「Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model」^[1]。arXiv 页面列出了 12 位作者，其中包括 David Silver、Thore Graepel、Timothy Lillicrap 和 Demis Hassabis^[1]。该工作的《自然》（Nature）版本发表于第 588 卷，第 604–609 页，DOI 为 10.1038/s41586-020-03051-4^[3]。DeepMind 于 2020 年 12 月 23 日发布的博客文章，把 MuZero 描述为在没有被告知规则的情况下掌握了围棋、国际象棋、将棋和 Atari^[2]。

为什么重要

这项工作有两点值得注意。第一是覆盖面：同一个算法、同样的结构，既能处理完全信息的棋类游戏，也能处理画面快速变化、带有噪声的视频游戏，而不需要为每种对象单独设计一套系统。第二是知识存放的位置。此前在高水平棋类上运作的系统，依赖的是由懂规则的人编写的模拟器；MuZero 把这份负担转移到了学到的模型上，于是同样的思路可以用在那些没有干净模拟器可写的问题上。

随思考时间增长而变强，是另一个有趣之处。如果允许每步做更多次模拟，棋力就持续上升，说明学到的模型足够好，可以真正在其内部搜索，而不只是训练过程的副产品。这也正是「用学到的模型做规划」这个说法构成对方法的描述、而不只是一句口号的原因，也是这篇论文常被看作迈向能够自行建立并使用世界模型的智能体的一步的原因。