OpenAI Five 击败 Dota 2 世界冠军 OG

背景

Dota 2 是一款五人对五人的团队游戏，双方各操控一组英雄在同一张地图上争夺，一局往往要打几十分钟。玩家在任何时刻只能看到局部的战场，可选动作的数量极其庞大，而且早期做出的一个决定可能很久之后才显现后果。长时段、信息不完全、动作空间巨大，这三点正是它被选为 AI 研究目标的原因。

2018 年 8 月，名为 OpenAI Five 的机器人出现在 Dota 2 最重要的赛事 The International 上，与职业战队打了两局，两局皆负 ^[1]。这套系统完全通过强化学习（reinforcement learning）训练，不模仿人类的对局，而是靠自己与自己反复对战来进步：在 2018 年那个版本中，它每天与自己打的比赛量约相当于 180 年的游戏时间 ^[1]；OpenAI 后来回顾说，出现在 8 月 The International 上的那一版，在 1.5 个真实月的时间里累计完成了约 1 万年的自我对局 ^[3]。

比赛

2019 年 4 月 13 日，在旧金山，OpenAI Five 与 OG 打了一场三局两胜的系列赛。OG 是 The International 2018 的卫冕冠军，最终 OpenAI Five 赢下了这个系列赛 ^[1]。也就是说，它的对手不是随便找来的队伍，而是当时这项赛事最近一届的冠军。

关键细节

两次露面之间，训练并没有停下来。到 2019 年 4 月，累计的自我对局已增至约 4.5 万年游戏时间，用了 10 个月，平均每天约 250 年 ^[3]。把相当于许多人类选手一辈子的对局量压缩进几个月的真实时间里，正是强化学习系统能在这类复杂游戏上达到职业水平的关键原因。

公开线上竞技场

比赛之后，OpenAI 在 2019 年 4 月举办了一场为期四天的公开线上活动，任何人都可以排队与机器人对战。据维基百科的记录，机器人在这次活动中打了 42,729 局，胜率 99.4% ^[1]。描述该系统的论文则给出了同一胜率对应的另一组数字：在 2019 年 4 月 18 日至 21 日的竞技场里，机器人遇到了 3,193 支队伍，共打了 7,257 局，胜率 99.4% ^[2]。两处口径不同，但结论一致——击败世界冠军并非偶然，面对范围大得多的普通玩家，这套系统同样几乎局局获胜。

为什么重要

论文把 OpenAI Five 称为第一个在电子竞技游戏中击败世界冠军的 AI 系统，指的就是它对 OG 的那场胜利 ^[2]。这个说法比笼统的「在电子游戏上战胜人类」要窄：它说的是一场定义清晰、对手明确、结果可核对的比赛。但正因为可核对，它才成为很难被质疑的里程碑。

该系统的技术细节并未停留在表演赛层面：描述它的论文于 2019 年 12 月 13 日首次提交到 arXiv ^[2]，把训练方法和实验结果公开了出来。把时间线连起来看会更清楚——2018 年 8 月输给职业队，2019 年 4 月战胜世界冠军，同月的公开竞技场取得 99.4% 的胜率，年底发表论文。