OpenAI Universe

是什么

2016 年 12 月 5 日，OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能（general intelligence）的软件平台，覆盖游戏、网站和其他应用^[1]。OpenAI 为它设定的目标很具体：让智能体像人一样使用电脑，把屏幕看作像素，操作虚拟键盘和鼠标^[1]。它要面对的不是整理好的分数表，而是人日常使用的那种不规整的界面。

发布了什么

这次发布包含 1000 个环境^[1]。其中很大一部分来自网页：从 3 万多个 Flash 游戏中选出 1000 个，其中 100 个附带奖励函数（reward function）^[1]。两个数字的差距说明了工作量所在——为人类设计的游戏本身没有机器可读的分数，除非有人补上一个，所以只有一部分环境自带奖励。

环境集合里还有来自 Arcade Learning Environment 的 Atari 2600 游戏，以及 Mini World of Bits 基准这类浏览器任务，后者包含 80 个环境^[1]。OpenAI 表示其中有数百个环境可以直接用于强化学习（reinforcement learning）^[1]。这个数字小于发布的一千个，意味着其余环境更多是留待加工，而不是拿来就能训练。

提供游戏或应用的合作伙伴包括 EA、Microsoft Studios、Valve、Wolfram、NVIDIA 和 Kongregate^[1]。

怎么工作

Universe 建立在 2016 年 4 月发布的 Gym 之上，可以把任意程序变成 Gym 环境^[1]。两者在导入时接上：导入 universe 库会自动把它的环境注册到 Gym，因此一行调用就能创建^[1]。对训练脚本来说，一个 Flash 游戏和一个 Atari 游戏是用同一种方式取到的。

在底层，Universe 让每个程序跑在 VNC 远程桌面之后，因此不需要访问程序的内部、源代码或 bot API^[1]。VNC 是用于查看和操作远程桌面的协议；把所有应用放到它后面，就能把从未为学习设计过的软件，当成有人坐在前面操作一样暴露出来。智能体收到像素，发出键盘和鼠标事件，中间不需要应用配合。

每个环境打包成一个 Docker 镜像，镜像里运行一个 VNC 服务器负责像素和输入，一个 WebSocket 服务器负责奖励和控制消息^[1]。Docker 让每个环境把自己的依赖封在容器里，众多环境可以并存而不互相干扰。两个服务器的分工也很关键：一个通道传递智能体看到和做了什么，另一个通道传递训练循环需要的奖励和控制消息。

它处在什么位置

Universe 没有取代 Gym，而是给 Gym 供料。Gym 为强化学习提供了统一的环境接口，Universe 把这个接口的触角伸向任意软件^[1]。手里有程序的人——游戏、网站、模拟器——都可以把它包起来，得到一个和其他环境一样使用的环境。

这套设计也把问题摆明了。多数应用需要手工添加奖励，Flash 游戏中只有 100 个附带奖励函数^[1]，这让人看清在真实软件上做学习，很大程度上取决于怎么定义「成功」。而它要求跨游戏、网站和其他应用衡量通用智能^[1]，也就把进展定义为广度，而不是某一次的高分。