Proximal Policy Optimization Algorithms

要解决的问题

强化学习是机器学习的一个分支：智能体与环境交互，根据奖励调整行为。它不依赖每个输入的标准答案，而是通过尝试、观察后果来学习。策略（policy）是其中的核心概念，指从情境到动作的规则；策略优化方法直接改进这个规则，让带来高奖励的动作更可能被选中。

2017年7月20日，John Schulman、Filip Wolski、Prafulla Dhariwal、Alec Radford 和 Oleg Klimov 向 arXiv 提交了《Proximal Policy Optimization Algorithms》^[1]。论文提出近端策略优化（proximal policy optimization，PPO）。作者在摘要中把所提方法的特点归结为：实现起来简单得多、更通用，并且在实验上样本复杂度更好^[1]。样本复杂度指算法达到一定表现所需的环境交互数据量；在数据采集成本高时，这个量越小越好。

怎么做的

论文在包括模拟机器人运动和 Atari 游戏在内的基准任务上测试 PPO^[1]。这类基准用于比较学习算法在控制与游戏任务上的表现。摘要称，PPO 优于其它在线策略梯度方法^[1]。在线策略梯度方法使用当前策略在改进过程中新采集的数据来学习，而不是依赖一个固定数据集；策略梯度则沿着让高奖励动作更可能被选中的方向调整策略参数。

论文的结论以比较性陈述为主，依据的是一组基准任务，而不是单一演示；它为方法给出的理由集中在几个实用属性上：实现简单、通用、样本效率好^[1]。

结果

摘要对结果的概括是：所提方法更简单、更通用、样本复杂度更好，并且 PPO 优于其它在线策略梯度方法^[1]。OpenAI 后来的介绍给出了相近的判断：PPO 的表现与当时最先进的方法相当或更好，同时实现和调参都简单得多^[2]。

为什么重要

据 OpenAI 介绍，由于易用性和良好表现，PPO 已成为 OpenAI 的默认强化学习算法^[2]。这说明它不只是一篇论文里的方法，也进入了机构日常实验的默认工具箱。OpenAI 的 Baselines 发布中包含 PPO2，这是一个 GPU 版本，在 Atari 上运行速度约为 PPO 基线的 3 倍^[2]。从 PPO 到 PPO2，可以看到算法被工程化、被反复使用的过程：先是论文中的方法，随后成为默认选择，再出现更快的实现。

后来的影响

OpenAI 的介绍把 PPO 放在了机构的常用工具之列：它在那里成为默认强化学习算法，Baselines 中也提供了 PPO2^[2]。原论文则为方法给出的理由，是实现更简单、更通用、样本复杂度更好，以及优于其它在线策略梯度方法^[1]。这些正是 OpenAI 在解释采用这一方法时所强调的属性^[2]。