AlphaStar

是什么

AlphaStar 是 DeepMind 开发的、用来玩《星际争霸 II》（StarCraft II）的人工智能系统。这是一款即时战略游戏：双方同时采集资源、建造基地、生产单位、争夺地图控制权。与回合制的棋类不同，两边同时行动，谁也看不到对方的全部部署，玩家必须在信息不完整、可行动作又极多的情况下做决定。AlphaStar 会打游戏里的三个种族——神族（Protoss）、人族（Terran）和虫族（Zerg），每个种族用一个神经网络^[2]。

由来

DeepMind 与游戏开发商暴雪（Blizzard）的合作于 2016 年 11 月在 BlizzCon 上公布^[1]。2017 年 8 月，双方发布了用于开发机器人的工具，以及 65,000 局历史对局的数据^[1]。AlphaStar 本身在 2019 年 1 月登场，与两位职业选手对战取得 10 连胜；不过当时它能看见整张地图，这是人类玩家没有的优势，而去掉这一优势的后续版本输掉过一局^[3]。研究组由 Oriol Vinyals 领导^[4]。

怎么训练的

训练从模仿学习（imitation learning）开始：先从人类对局中学习，得到一个初始策略。仅靠这个初始策略，它就已经能打得比 84% 以上的活跃玩家更好^[2]。第二阶段是基于联赛的多智能体强化学习（multi-agent reinforcement learning），许多智能体放在一起互相训练。联赛里，主智能体（main agent）的目标是战胜所有人，利用者智能体（exploiter）则专门去暴露主智能体的弱点，于是系统会不断遇到能惩罚它既有习惯的对手^[2]。

操作界面也被限制得更像人类。AlphaStar 通过摄像机接口观察画面，并受动作频率上限约束，这些限制由一位职业选手确认过^[2]；智能体在 5 秒内最多执行 22 个动作^[2]。

结果

从 2019 年 7 月起，一个受限版本以匿名身份在欧洲公共 1v1 天梯上对战^[1]。2019 年 10 月 30 日，DeepMind 在《自然》（Nature）发表论文，报告 AlphaStar 在三个种族上都达到宗师（Grandmaster）水平，在 Battle.net 活跃玩家中排名超过 99.8%^[2]。2019 年这一版本是匿名在 Battle.net 上对局的，使用与人类玩家相同的地图、相同的条件^[2]。DeepMind 表示，它是在没有任何游戏限制的情况下、在一个人气电竞项目中打入最高联赛的第一个 AI^[2]。

为什么重要

即时战略游戏难做测试：局面只可见一部分，可行动作数量巨大，一个决定的后果往往要好几秒才显现。AlphaStar 的成绩来自两套机制的接力：先模仿人类已有的打法，得到一个本身就不弱的起点；再用联赛训练不断制造专攻当前智能体弱点的对手，把这个起点继续往前推^[2]。它匿名出现在公共天梯上，面对的是不知道自己正在和机器交手的人，用的是和所有人一样的地图与条件，这与一场安排好的表演赛是不同的证据^[1][2]。上 ladder 的那个版本在看什么、能多快操作上都受到刻意限制，因此它的排名是在一位职业选手确认过的条件下取得的^[2]。

所以 AlphaStar 说明的是：一个学习出来的系统，可以在同一款游戏的三套不同玩法上，把信息不完全的复杂游戏打到接近人类天梯顶端的水准^[2]。