Google DeepMind 发布视觉-语言-动作模型 RT-2

背景

多数机器人控制系统靠机器人数据训练：在一间实验室、用一台机械臂，反复演示任务并记录下来。这类数据采集成本高、覆盖面窄，因此训练出来的策略往往在见过的环境里表现良好，换个场景就不行。语言模型和视觉模型的训练方式不同，它们吃的是从网络上收集来的大量文字和图像。RT-2 要回答的问题就是：这类知识能不能拿来驱动机器人。

发布内容

2023 年 7 月 28 日，Google DeepMind 发布 Robotic Transformer 2（RT-2），并称其为一种首创的视觉-语言-动作模型（vision-language-action model）^[1]。名字里的三样东西对应模型的三个环节：看到什么、被告知什么、以及做什么。其核心主张是把网络数据中的知识迁移到机器人控制上^[1]，也就是用网络素材训练之后，模型获得的视觉与语言能力可以用于操纵一台真实的机器。

动作怎么变成输出

最特别的设计在于动作的表示方式。RT-2 把动作表示成输出里的词元（token），与语言模型输出词语的方式相似^[1]。词元是模型一步步预测的最小单位：在文本模型里，它是一个词或词的一部分；在这里，它是一段运动指令。一个物理动作——移动多远、朝哪里、以多大力——可以写成一串数字，而这串数字被当作另一种「文本」交给模型生成。这样做的实际结果是，用于语言的训练方法和输出层可以直接复用来产生行为，不必另外手工设计一套动作输出接口。

评估结果

评估一共进行了超过 6000 次试验^[1]。最受关注的是泛化指标：在未见过的场景中，RT-2 的成功率从 RT-1 的 32% 提升到 62%^[1]。换句话说，面对不属于机器人训练数据的场面，新模型的成功率接近前代的两倍。

三类技能

Google DeepMind 为 RT-2 划分了三类技能：符号理解、推理、人物识别^[1]。这三类区分了语言与视觉在控制中承担的不同任务：读懂场景里的符号与文字，判断当下该做什么，以及识别一个人在做什么、想要什么。推理这一类有一个具体例子：模型能够判断出哪个物体——比如一块石头——可以当作临时的锤子使用^[1]。挑一个替代工具不是记住的动作序列，而要把指令和目标同眼前恰好存在的物品联系起来。

意义

这一结果被视为一条绕开机器人领域老问题的路径：如果从网络规模的文字和图像中获得的能力可以延续到控制上，那么机器人的行为就不必完全依赖实验室能采集到多少演示数据。它也指向一种用日常语言下达指令、而不必为每个任务单独写代码的方式，因为模型本身就是把文字和图像作为输入、把动作作为输出。在发布之时，它被称作此类系统中的首创^[1]，视觉-语言模型与机器人控制由此合进了同一个系统。