通过深度强化学习实现人类水平的控制

要解决的问题

强化学习（reinforcement learning）是机器学习的一个分支：智能体不会被告知正确答案，而是通过行动、观察返回的奖励或分数来调整自己。这篇论文的作者指出，在此之前，强化学习智能体一直局限于两类领域：一是有用的特征可以由人手工设计，二是可能的状态空间被完全观测且维度很低^[1]。手工特征和小状态空间能让学习问题保持在可控范围内。而原始感官输入（比如屏幕上的像素）两个条件都不满足：它维度很高，其中真正有用的结构必须由学习系统自己去发现，而不是由人预先提供。

怎么做的

Volodymyr Mnih、Koray Kavukcuoglu、David Silver 等人构建了一个被称为深度 Q 网络（deep Q-network）的智能体，并在经典的 Atari 2600 游戏上对它进行测试^[1]。该智能体只接收游戏画面的像素和游戏分数作为输入^[1]，没有得到关于画面中有哪些物体、它们位于何处、以及游戏规则是什么的任何说明。

名称中的「Q」指的是在某个状态下采取某个动作的价值，也就是从这一刻起可以期望得到的奖励的估计值。Q 学习（Q-learning）是从经验中学习这类估计值的常用方法。用深度神经网络来计算这个估计值，就可以直接从原始输入得出结果，于是同一套机制可以用于任何能提供画面和分数的任务。

所有测试游戏使用同一套算法、同样的网络结构和同样的超参数^[1]。这个细节承载了论证的很大一部分分量：这些游戏在外观、规则和计分方式上各不相同，用一套固定配置取得的结果，说明的是方法的通用性，而不是针对每个任务单独调参的效果。

结果

论文于 2015 年 2 月 25 日发表在《自然》（Nature）第 518 卷，第 529 至 533 页^[1]。在一组 49 款游戏上，作者报告该智能体超过了此前所有算法，并达到与职业人类游戏测试员相当的水平^[1]。整个比较始终使用同一算法、同一网络结构和同一超参数^[1]。

为什么重要

作者称这项工作弥合了高维感官输入与动作之间的鸿沟^[1]。从摄像头或屏幕给出的东西直接得到智能体应当采取的动作，是任何要在复杂世界里运作的系统都必须跨过的一步，而手工设计特征曾是绕开这一步的办法。他们将该结果描述为第一个能够学会在多种具有挑战性的任务上表现出色的人工智能体^[1]。

适用范围

论文所主张的是人类水平的游玩表现，而且是在一组游戏上衡量的，不是只针对其中某一款；它是与职业人类测试员的比较，并没有声称超越人类^[1]。这一设置在一个特定意义上也是有利的：在这类游戏里，分数提供了毫不含糊的数值奖励，而且游戏可以低成本地反复重玩。现实世界中的大多数任务并不会给学习系统如此干净的信号，因此这项演示更多被理解为关于「从原始输入学习」的结论，而不是一套可直接套用到一般控制问题的完整方案。