DeepMind 发布无需规则即可规划的 MuZero

背景

游戏一直是检验人工智能的试验场：目标清楚，结果可测。一个关键问题是，系统在多大程度上需要预先获得游戏规则。MuZero 的设定是：它用学习到的模型进行规划，而不是依赖已知规则。^[1] 换句话说，重点不在于把规则写进系统，而在于学到一个能用于规划的内部模型。

发布

2019 年 11 月 19 日，DeepMind 将《Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model》发布到 arXiv。^[1] 这篇预印本列出 12 位作者，其中包括 Demis Hassabis 和 David Silver。^[1] 2020 年 2 月 21 日，修订版发布。^[1] 这些信息把 2019 年的 arXiv 论文标为 MuZero 公开描述的起点：一篇初步论文，介绍了这一方法。

用学习到的模型规划

规划就是在行动前向前看：考虑可能发生的情况，再据此选择动作。许多游戏系统需要明确规则来生成这些可能性。MuZero 的不同之处在于，它的规划使用学习到的模型，而不是预先提供的规则。^[1] 也就是说，支持前瞻的模型是学出来的，不是写成一本游戏规则手册。这样做的意义在于，系统可以不依赖交给它的规则，仍然进行规划。^[1]

结果

论文报告在 57 款 Atari 游戏上取得新的最优成绩。^[1] 它还在围棋、国际象棋和将棋上比肩 AlphaZero，而且没有被告诉这些游戏的规则。^[1] 后一个结果更便于比较：AlphaZero 被用作参照，MuZero 在这三种棋类游戏上达到相当表现，同时依靠学习到的模型进行规划。^[1] Atari 的结果则说明，这套方法不局限于棋类：它在一大批电子游戏上接受了测试。^[1] 两项结果合在一起，把 MuZero 描述为一个能跨不同游戏进行规划的系统。

后续位置

公开记录有两个阶段。2019 年的 arXiv 预印本在 2020 年 2 月修订。^[1] DeepMind 在 2020 年 12 月 23 日的 MuZero 文章中，将 MuZero 描述为一篇 Nature 论文，位置在 2019 年初步论文之后。^[2] 这个顺序使 2019 年 11 月的发布成为 MuZero 初步的公开描述。^[1][2] 它的重要性在于把规划和学习到的模型结合起来：系统会规划，但不是靠被给予的游戏规则来规划。^[1] 对关注游戏人工智能的读者来说，MuZero 体现了一种重心的变化——从依赖明确规则的系统，走向学习模型并用模型规划的系统。