MuZero

MuZero 是什么

MuZero 是 DeepMind 的强化学习（reinforcement learning）算法，最早在 2019 年 11 月 19 日发布到 arXiv 的预印本中描述。^[1] 强化学习通过让系统不断尝试动作、获得奖励并调整行为来学习。MuZero 的特点是把手搜式的树搜索（tree-based search）与学习到的模型（learned model）结合起来。^[1] 这个模型会被反复应用，用来预测奖励（reward）、动作选择策略（action-selection policy）和价值函数（value function）。^[1] 由于模型是学习得到的，MuZero 不需要知道环境底层的动态变化。^[1]

学习到的模型怎样参与规划

树搜索会探索可能的动作序列，并利用对未来奖励的估计来选择动作。在 MuZero 中，搜索由学习到的模型给出的预测来引导。^[1] 模型预测奖励、动作选择策略和价值函数；反复应用这些预测，系统就能评估可能的未来。^[1] 这正是该设计的核心：规划依赖一个从经验中学出来的模型，而不是依赖事先给定的模型。^[1]

在游戏上的结果

在 57 款 Atari 游戏上，MuZero 刷新了当时的最好成绩。^[1] DeepMind 后来表示，MuZero 在 Atari 基准上取得了新的最好成绩。^[3] 在 Atari 测试中，MuZero Reanalyze 变体有 90% 的时间使用了学习到的模型。^[3] 在围棋、国际象棋和将棋上，MuZero 在未被告知游戏规则的情况下，达到了与 AlphaZero 的超人类表现相当的水平。^[1] 棋类结果覆盖三种不同游戏，而 Atari 结果显示同一套方法也能用于视觉上复杂的游戏。^[1]

论文与团队

arXiv 预印本列出了 12 位作者，其中包括 Julian Schrittwieser、Demis Hassabis 和 David Silver。^[1] DeepMind 在 2020 年 12 月 23 日的一篇博客文章中说，MuZero 在一篇发表于《自然》（Nature）期刊的论文中有所描述。^[3] 这篇文章也报告了 Atari 上的最好成绩。^[3]

游戏之外

DeepMind 后来把 MuZero 用于 YouTube 等网站的视频压缩，报告称比特率（bitrate）平均降低了 6.28%。^[2] 这项应用把算法带出了游戏，进入一个实际的数据问题：减少传输视频所需的比特数。^[2]

在发展中的位置

MuZero 报告的结果之所以重要，是因为它们同时覆盖了两类任务：一类是以规划为核心的棋类游戏，另一类是输入在视觉上很复杂的 Atari 游戏。^[1] 在这两类场景中，MuZero 都学习一个模型，并在这个模型上做搜索，而不需要被事先告知环境规则。^[1] Atari 上的最好成绩，以及在围棋、国际象棋和将棋上与 AlphaZero 相当的表现，是它被报告的具体结果。^[1] 在 Atari 测试中，Reanalyze 变体有 90% 的时间使用学习到的模型，这是评估该系统时的一个细节。^[3]