深度 Q 网络（DQN）

是什么

深度 Q 网络（Deep Q-Network，DQN）是一种强化学习（reinforcement learning）智能体，它把经典的 Q 学习（Q-learning）算法与深度卷积神经网络（convolutional neural network）结合在一起。它的输入不是游戏规则的说明，而是屏幕上的画面；它的输出是一个摇杆方向。在 DeepMind 后续的工作中，研究者在 50 款雅达利 2600（Atari 2600）游戏上分别训练了独立的 DQN 智能体，每个智能体只接收原始屏幕像素和一个与游戏得分挂钩的奖励信号，并以摇杆方向作为可选择的动作^[2]。这些智能体在训练时并不预先知道游戏规则^[2]。

由来

2013 年 12 月 19 日，Volodymyr Mnih、Koray Kavukcuoglu、David Silver、Alex Graves、Ioannis Antonoglou、Daan Wierstra 和 Martin Riedmiller 把论文《Playing Atari with Deep Reinforcement Learning》发布到 arXiv，首次描述了这一方法^[1]。论文中使用的游戏来自街机学习环境（Arcade Learning Environment），这是一个以雅达利 2600 游戏为基础的测试平台^[1]。

怎么工作

Q 学习是一种经典的强化学习方法：智能体试图学到一个价值函数，用来估计自己在某个状态下采取某个动作之后能拿到多少奖励，再用实际得到的奖励不断修正这个估计。深度 Q 学习把「状态—动作」价值表换成神经网络，于是价值可以直接从高维输入算出来，而不需要一个由人手工枚举的小状态空间。

因为输入是图像，网络采用卷积结构：它从像素的局部模式中逐层提取特征，并为每个可能的动作给出一个价值。哪些形状重要、哪种移动预示着奖励，全部从像素流里学出来，没有人把游戏知识写进去。

这样训练网络很难稳定下来。同一局游戏里相邻的画面高度相似，网络会反复看到几乎相同的样本；同时，网络要拟合的目标又随着它自身估计的变化而移动。DQN 的一个关键技术是经验回放（experience replay）：智能体把自己的经历存起来，再随机采样、重复播放，从而得到去相关的训练数据^[2]。

结果

2013 年的论文在街机学习环境的 7 款雅达利 2600 游戏上评估了这一方法，在其中 6 款上超过了此前的方法，并在 3 款上超过了人类专家^[1]。借助直接从原始像素中学习的深度 Q 学习与卷积网络，它在 Pong、Breakout 和 Enduro 上超过了人类水平，在 Seaquest、Beamrider 和 Q*bert 上刷新了此前的最好成绩^[3]。

在后来规模更大的实验中，DeepMind 报告 DQN 在这 50 款游戏中的将近一半达到了人类水平的表现^[2]。

在发展中的位置

DQN 的分量在于它拿到的东西很少。同一套方法、同样的输入形式被用在几十款不同的游戏上，每个游戏单独训练一个智能体，事先不提供任何规则^[2]。让智能体直接从像素中学会控制策略，而不是依赖研究者为某一款游戏设计的特征，这使得雅达利系列成为一个要求很高、又可以反复使用的检验：一套通用的学习流程究竟能不能奏效。

这条路线此后继续推进。据报道，2020 年 DeepMind 的 Agent57 在雅达利 2600 的全部 57 款游戏上都超过了人类水平的表现^[3]，把这一方法覆盖的范围扩展到早先实验所用的 50 款之外。