RT-1 机器人变换器

是什么

RT-1（Robotics Transformer，机器人变换器）是一个控制真实机器人的模型：它接收画面和语言指令，输出机器人该做的动作。论文题为「RT-1: Robotics Transformer for Real-World Control at Scale」，于 2022 年 12 月 13 日提交到 arXiv，编号 arXiv:2212.06817^[1]。

作者把 RT-1 归入模仿学习（imitation learning）：模型从示范中学习，而不是靠人工设计的奖励信号反复试错。这也意味着它的能力边界由示范者划定——作者明确写道，模仿学习的方法可能无法超越给出示范者的表现^[1]。

怎么训练

RT-1 的能力来自数据规模。作者用 13 台机器人、历时 17 个月，收集了超过 13 万个回合（episode）的数据来训练它^[1]。这样采来的数据覆盖多种任务、多种物体和多种摆放方式，不同于为单一任务专门录制的演示。

作者还报告，RT-1 能够吸收来自仿真环境和其他机器人形态（morphology）的异构数据，同时不牺牲它在原本任务上的表现^[1]。也就是说，不同来源的数据可以汇总到一起使用，新增的数据不会把模型已经学会的东西冲掉。

结果

论文给出的核心数字是：RT-1 执行了 700 多条指令，成功率为 97%^[1]。这里的「700 多条」指的是模型被要求完成的指令种类，而不是同一个任务的反复试验。

作者还测试了更长链条的行为。在 SayCan 框架下，RT-1 能够执行多达 50 步的长程（long-horizon）任务^[1]。长程任务指需要连续多个动作才能完成的目标，比如先找到某个物体，再拿起它，把它送到指定位置放下。步数越多，前面某一步出错就越容易让后面的步骤全部偏离。

局限

作者对泛化能力做了坦率的说明。RT-1 对未见指令的泛化，仅限于对已经见过的概念做重新组合；它还不能泛化到一个全新的动作上^[1]。如果某类运动在训练数据里从未出现，模型不会仅仅因为请求听起来合理就把它做出来。

论文里还有一个关于数据多样性的实验：在保留 97% 数据的前提下删掉 25% 的任务，对泛化造成的损害，和把数据集规模削减最多 49% 差不多^[1]。这个结果说明，任务种类的覆盖面与数据总量同样重要——同样多的数据，如果只来自少数几类任务，模型学到的东西反而更少。

公开与后续

作者把 RT-1 的代码向研究社区公开^[1]。此后出现了在更大规模、更多机器人数据上训练的版本：OpenVLA 的作者在列举被自己超越的通用策略时，就提到了 RT-1-X，一个在 Open X-Embodiment 数据集上训练的模型^[2]。RT-1 也因此成为后来通用机器人策略对照的一个参照点。