模仿学习

是什么

模仿学习（imitation learning）通过从专家示范中做监督学习（supervised learning），训练智能体完成某一任务。它也被称为示范学习（learning from demonstration）或学徒学习（apprenticeship learning）^[1]。它与靠反复试错去摸索做法不同：智能体不是自己发现一条可行的路，而是被示范一遍，然后学着把它复制出来。

怎么工作

最基本的形式是行为克隆（behaviour cloning），即在示范数据上做监督学习，训练出一个策略（policy）^[1]。策略就是把智能体感知到的状态映射为它所执行动作的规则；监督学习则是用带标注的样本把这条规则拟合出来。行为克隆的标注来自专家：每一段记录都提供一个输入——一帧摄像头图像、一组机器人的关节角度、一个游戏局面——以及专家在那个时刻采取的动作。剩下的训练过程，用的就是普通的分类或回归那一套办法。

开车是一个具体的小例子。人在驾驶时，车载摄像头记录前方的路面，每一帧画面都和驾驶员当时打的方向盘角度配成一对。这样的配对足够多以后，网络面对它没见过的画面也能给出看上去合理的转向。最早的具名例子基本就是这个设定^[1]。

从哪来

最早的具名例子是 ALVINN：1988 年，Dean A. Pomerleau 用一个神经网络，在人类驾驶示范上训练它^[1]。做法就是上面描述的那一套：把人在方向盘后的操作记录下来，把这些动作当作标签，让网络学会从视野到动作的映射。

行为克隆后来一直是参照点，后续工作保留示范数据，但改变了使用数据的方式。Ross、Gordon 和 Bagnell 于 2011 年发表的 DAgger，通过反复汇总专家数据来改进行为克隆^[1]。Ho 和 Ermon 于 2016 年发表的 GAIL，用生成对抗（generative adversarial）的思路去匹配行为分布^[1]：它比较的不是单个动作，而是学到的策略整体上产生的行为与专家的行为有多接近。Chen 及其同事于 2021 年发表的 Decision Transformer，把强化学习重新表述为一个序列建模（sequence modelling）问题^[1]，也就是把一条轨迹当成一个序列来预测，而不是当成一串彼此独立的决策。

今天用在哪里

模仿学习是构建机器人控制器的常见途径，因为拿到示范往往比写清楚奖励信号更容易。RT-1 的作者就把自己的方法描述为一种模仿学习方法^[2]，把这个大规模机器人系统归入模仿学习的谱系。

局限

行为克隆的主要局限是分布偏移（distribution shift）：一旦策略偏离了专家的轨迹，它就会进入示范数据里没有出现过的状态^[1]。人开车时会不停修正小误差；而克隆出来的策略只要稍微偏离车道中心，看到的就是训练时从未见过的画面，错误会一步步累积。DAgger 这类方法正是针对这一点：它不是在固定的数据集上训练一次，而是在一轮轮迭代中不断补充专家数据^[1]。

第二个限制来自示范本身的天花板。RT-1 的作者指出，由于他们的方法属于模仿学习，它可能无法超越示范者的表现^[2]。克隆出来的策略可以训练得很稳、很省事，但它继承的是提供数据那个人的水平。