RT-2（机器人 Transformer 2）

RT-2 是什么

RT-2（Robotic Transformer 2）是 Google DeepMind 的视觉-语言-动作模型（vision-language-action model，VLA），于 2023 年 7 月 28 日公布^[1]。它的输入与输出正好对应名字里的三样东西：看机器人摄像头拍到的画面，读一句指令，然后给出机器人下一步的动作。

由来与训练方式

RT-2 由两个已有的视觉语言模型 PaLI-X 和 PaLM-E 共同微调（co-fine-tuning）而来，微调使用的是机器人的轨迹数据^[1]。视觉语言模型是在大量「图像配文字」的数据上训练出来的模型；微调则是在这样一个已经训练好的模型上继续训练，只是换用范围更窄的数据。这里的窄数据就是轨迹，也就是机器人在完成一项任务时被记录下来的运动过程。描述这项工作的论文于 2023 年 7 月 28 日提交到 arXiv，作者共 54 人，第一位是 Anthony Brohan^[2]；论文把做法描述为在机器人轨迹数据上共同微调当前最好的视觉语言模型^[2]。

把动作写成文字

RT-2 一个关键的设计选择，是把机器人的动作输出成文本词元（token）^[1][2]。词元是文本模型处理的最小单位，大约相当于一个词或词的一部分；文本模型的工作方式，就是一个接一个地预测下一个词元。只要一段动作能被写成一小串字符，同一套机制就能把它生成出来。又因为模型同时从网络数据和机器人数据中学习^[1][2]，从图像与文字里学到的知识就有可能影响机器人怎么动。

结果

Google DeepMind 用超过 6000 次机器人试验来评估这个模型^[1]。在它此前没见过的场景中，成功率提升到 62%，而它的前代模型 RT-1 是 32%^[1]。同时，RT-2 在机器人数据中出现过的原有任务上保持了原有的表现^[1]——也就是说，陌生场景上的进步并不是靠牺牲已训练过的任务换来的。

三类技能

研究团队把所测试的能力归为三类：符号理解、推理、人物识别^[1]。三类之中，推理在演示里最为直观：RT-2 能执行需要一步推断的指令，比如拿起一个可以当作临时锤子用的物体^[1]。指令里并没有直接说「锤子」，模型需要把锤子这个概念和眼前的物件对应起来。

它处在什么位置

RT-2 站在两类训练数据的交汇处：一边是从网络上收集的材料，一边是真实机器人运动的记录^[1][2]。它给出的结果是一个关于迁移的判断——一个既用网络数据、也用机器人数据的模型，在处理陌生情况时可以比只围绕机器人数据构建的模型做得更好。这也正是「视觉-语言-动作」这个标签的意义：它命名的是一类模型，看、读、动由同一个网络完成，而不是几套彼此拼接的独立流程。