OpenAI Five（Dota 2 智能体）

是什么

OpenAI Five 是由 OpenAI 开发的一支五人神经网络机器人队伍，参加多人对战游戏《Dota 2》，用强化学习（reinforcement learning）训练^[1]。在《Dota 2》里，每名玩家操控一个英雄，双方各五人争夺地图上的目标，而地图上有相当一部分区域是自己看不到的，一局往往要打几十分钟。时间跨度长、信息不完全、可选动作极多，这几点叠加在一起，使它成了机器很难玩好的游戏。

五个机器人各自由一个单层、4096 个单元的 LSTM 网络驱动^[1]。单看网络规模并不大，真正拉开差距的不是模型本身，而是喂给它的经验量。

由来

这个项目的首次公开演示是在 2017 年 8 月的国际邀请赛（The International）上，职业选手 Dendi 在一场现场一对一比赛中输给了一个机器人^[1]。一对一只是简化过的窄场景，完整的五机器人团队对战则在 2018 年 6 月对外报告^[1]。

怎么训练的

强化学习的意思是：给系统一个目标和一套奖励信号，让它在试错中自己变强，而不是从标注好的例子里学。OpenAI Five 的主要练法是自己跟自己打——机器人对局自己的副本，打出来的更强版本又成为下一轮的对手。

这种练法非常耗算力。到 2018 年，训练跑在 Google Cloud Platform 上的 256 块 Nvidia P100 GPU 和 128,000 个可抢占的 CPU 核心上^[1]。2018 年的系统每天和自己对局约相当于 180 年的游戏量^[1]。OpenAI 说，2018 年 8 月国际邀请赛时使用的版本，在 1.5 个真实月里累计经历了约 10,000 年的《Dota 2》自我对弈；到 2019 年 4 月，这个总量在 10 个真实月里达到约 45,000 年，平均每天约 250 年的模拟经验^[5]。

项目由 Jakub Pachocki 以研究总监的身份主导，他后来成为 OpenAI 的首席科学家；Greg Brockman 也参与领导了这个项目^[2][3]。

战绩

2018 年国际邀请赛上，机器人两场都输了，对手分别是 paiN Gaming 和一支由前中国职业选手组成的全明星队^[1]。转过年来结果反转：2019 年 4 月 13 日在旧金山，它们在三局两胜的系列赛中击败了 OG——2018 年国际邀请赛的冠军^[1]。

更大范围的公开测试发生在 2019 年 4 月的一次四天在线活动中，它们打了 42,729 场公开对局，赢下其中的 99.4%^[1]。arXiv 论文给出了同样的胜率，并给出了这次展示的另一组数字：3,193 支队伍、7,257 场对局^[4]。

为什么重要

这项工作写进了论文《Dota 2 with Large Scale Deep Reinforcement Learning》，该文于 2019 年 12 月 13 日首次提交，作者名单中列有 Greg Brockman 和 Jakub Pachocki^[4]。论文称，OpenAI Five 成为第一个在电子竞技项目上击败世界冠军的 AI 系统^[4]。

除了这个结果本身，这个项目还是一次大范围的检验：一个统一的学习系统，只要给足自我对弈和算力，就能在一款策略通常由人手工编写的团队游戏里达到很高水平。论文公开了训练如何扩展、消耗了多少硬件和模拟对局时间，这些记录也是后来同类工作可以参考的基础。