用深度强化学习玩 Atari 游戏

要解决的问题

强化学习（reinforcement learning）是一种靠试错来训练智能体的方法：智能体在环境里行动，拿到一个数值奖励，再调整行为，让自己长期累积到的奖励变多。深度学习（deep learning）则擅长处理原始的高维数据——图像、声音——从中自己学出有用的表示，而不必依赖人工设计的特征。把两者接起来并不容易。奖励往往延迟且稀疏，智能体很难知道自己一连串动作里究竟是哪一步起了作用；游戏相邻画面之间高度相关，而神经网络通常假定训练数据彼此独立；智能体一旦改变行为，它看到的数据分布也跟着变。

论文正是在这个背景下提出主张的：作者称他们给出了第一个用强化学习、直接从高维感官输入学习控制策略的深度学习模型 ^[1]。目标是省掉人工编写的游戏状态描述，让系统直接根据屏幕上的内容决定怎么做。Volodymyr Mnih、Koray Kavukcuoglu、David Silver、Alex Graves、Ioannis Antonoglou、Daan Wierstra 和 Martin Riedmiller 于 2013 年 12 月 19 日把论文发布到 arXiv ^[1]。

模型怎么工作

模型是一个卷积神经网络（convolutional neural network），用 Q 学习（Q-learning）的一个变体训练 ^[1]。卷积网络是为图像这类网格状输入设计的：小滤波器在画面上滑动，对局部图案作出反应，一层层叠加起来就形成越来越抽象的特征。在这里，网络以原始像素为输入，输出一个估计未来奖励的价值函数（value function）^[1]。挡板在哪、得分多少、飞过来的是哪种敌人，这些都没有以编码好的形式交给它；看屏幕的是它，做决定的也是它。

Q 学习是一种经典的强化学习算法，学的是「在某种情形下采取某个动作有多好」。做法是估计从那一刻起往后能拿到的总奖励，再不断把这个估计往「实际拿到的奖励加上下一步情形的估计」上修正。这篇论文所用的变体，把这条学习规则接到一个深度卷积网络上，于是估计值是从像素算出来的，而不是从一张状态表里查出来的。

试验平台是街机学习环境（Arcade Learning Environment），一组被用作基准的 Atari 2600 游戏。作者把方法用在其中七款游戏上，网络结构和学习算法都不做任何调整 ^[1]：同一套结构、同一套流程，变的只有游戏本身。

结果

作者报告说，该方法在七款游戏中的六款上超过了此前所有方法 ^[1]；在其中的三款上超过了人类专家 ^[1]。把这两句话照字面读下去，也能看出结果的边界：六款胜过旧方法，意味着有一款没有；三款越过人类水平，意味着另外四款没有。比较的对象是此前的方法和人类玩家，论文以预印本形式发布在 arXiv 上 ^[1]。

为什么重要

它的意义在于排除了哪种可能。此前大量关于学习控制的研究，都假定已经有人判断出情形中哪些方面重要，并把一份精炼的描述交给学习器；而这里输入的是原始像素，表示和行为是一起学出来的。由于同一套结构和算法原封不动地用在了七款不同的游戏上 ^[1]，这就不像是一个为某一款游戏调出来的系统，而是一套必须应付屏幕上出现任何情况的过程。

论文还把机器学习里两条长期分开走的路线接了起来。深度学习提供的是把高维感官数据变成有用内部表示的能力，强化学习提供的是目标——未来奖励——告诉这套表示是为什么服务的。作者为模型提出的主张，即直接从高维感官输入学习控制策略 ^[1]，正是两者的接合处。

论文没有回答的是这套办法能走多远。证据是七款游戏，而对人类专家的优势只在其中三款上成立 ^[1]；作者把模型说成同类中的第一个，这是他们对自己工作的定性，不是一个可以测量的量。这些限定对理解结果很重要：论文的贡献是演示了一个网络可以在奖励信号下从像素一路走到动作，并且清楚地标出了这次演示到达了哪里、没到达哪里。