Google 发布 RT-1

为什么通用机器人控制难

传统机器人程序通常只为一件事编写：一条专抓某种零件的机械臂，一个只会叠某种积木的夹爪。换一个任务往往就要重新做一遍工程，为一个任务调好的控制器到了下一个任务上常常就不管用了。通用机器人对模型的要求正相反：同一个模型接收一句口头指令，就能在很多不同的物体和任务上给出正确的动作。

在 RT-1 的作者看来，通往通用机器人的关键不在某个单点技巧，而在两件事的组合：开放式、与具体任务无关的训练，以及能够吸收多样化机器人数据的大容量架构^[1]。这两者缺一不可，重点在于数据与模型规模如何配在一起。

论文发布

2022 年 12 月 13 日，Google 的研究者把论文《RT-1: Robotics Transformer for Real-World Control at Scale》提交到 arXiv^[1]。论文提出了一类被作者称为「机器人 Transformer（Robotics Transformer）」的模型，训练数据来自真实机器人，而不是人手写下的控制规则^[1]。

两个要素

与任务无关的训练，意思是模型不是围绕某一件活搭起来的。它不为每个任务单独训练一个策略，而是在开放式、混合了大量任务和指令的数据上训练，于是「按指令做事」本身成为通用能力，各个具体任务只是这种能力的实例。模型不会事先就被限定为只做某一件事。

大容量则指一个足够大的神经网络。Transformer 架构建立在注意力（attention）之上：输入的每一部分都可以去衡量其他部分与自己有多相关。放到机器人场景里，正是这一点让指令中的词能够和当前画面里的东西对应起来，并由这种对应产生动作。容量决定了一个模型能吸收多少样的数据而不至于「装不下」。作者的判断是，多样化的机器人数据只有在架构足够大时才真正用得上^[1]。

数据从哪来

为了训练这个模型，团队用 13 台机器人、在 17 个月里收集了超过 13 万个回合（episode）^[1]。一个回合就是一次被记录下来的尝试：机器人看到了什么、被告知要做什么、实际做了什么。这种规模的数据采集是这类工作中最贵的部分——数据只能靠真实的机器在真实的房间里一次一次跑出来。用 13 台机器人而不是一台，意味着训练数据不会绑定在某一台具体的机器上^[1]。

结果与开源

作者报告了 700 多条指令、97% 的成功率^[1]。他们还在论文发表的同时公开了 RT-1 的代码^[1]。

为什么重要

这篇论文的主张既关于一个模型，也关于一种做法：通用机器人控制来自开放式、与任务无关的训练，加上大容量架构，而不是来自按任务逐个打磨的控制器^[1]。按这个说法，机器人学习被归入「数据加规模」这一类问题——积累足够多样的经验，再让网络大到能用上这些经验。

把代码一并公开，理由也在这里。一个依赖大规模私有机器人数据集的结果，别人很难核对；公开实现至少能让其他团队看清模型是怎么搭的，并在自己的数据上跑起来^[1]。700 多条指令上 97% 的成功率，是论文为这条路给出的数字^[1]；而它点出的两个要素——与任务无关的数据和模型容量——也是后来同方向的工作必须回应的部分。