Physical Intelligence 发布 π0

背景

让机器人在普通房间里干点有用的活很难，难处往往不在机械结构。多数机器人学习系统是为单一机器上的单一任务训练的：会叠毛巾的控制器不会做咖啡，把同一件事换到另一条机械臂或另一个夹爪上，通常就得重新训练。另一种思路是「通用策略」——用一个模型接收机器人看到的东西和它被要求做的事，输出动作指令。要做出这样的模型，既需要大量多样的数据，也需要能吸收这些数据的网络。

发布

2024 年 10 月 31 日，Physical Intelligence 发布了 π0 ^[1]。公司称这个模型是在此前 8 个月里开发出来的 ^[1]。它把 π0 描述为一个原型，将大规模的多任务、多机器人数据采集与一种新的网络架构结合起来 ^[1]。发布它的博客文章题为“π0: Our First Generalist Policy”，把它定位为面向多任务的单一策略的第一次尝试，而非完成品 ^[1]。

它是怎么构建和使用的

Physical Intelligence 表示，这个模型从视觉-语言模型（vision-language model）的互联网规模预训练中继承了语义知识 ^[1]。视觉-语言模型是在大量图文配对上训练的，因而学会了把词和事物的样子联系起来；把这样的模型接到机器人控制上，系统就能从这种联系出发，而不必只靠机器人数据去认识杯子和衣服。

公司称 π0 能够控制多种不同的机器人，并可以针对具体任务通过提示（prompting）或微调（fine-tuning）来使用 ^[1]。提示是在运行时把任务作为指令交给模型；微调则是在某一具体技能的示教数据上继续训练模型。也就是说，同一个模型被设计成可以跨机器复用，并用追加的数据适配新任务。

演示了什么

博客展示的演示包括叠衣服、做咖啡、装袋杂货、收拾餐桌和组装纸箱 ^[1]。这些都是手工写程序很别扭的日常操作任务：布料没有固定形状，杯子和纸箱需要抓取和放置，餐桌要一件一件清空。展示一批这样的任务而不是一个打磨过的单一任务，正是「通用」这一主张的要点。

配套的实验

论文记录了三个方面的实验：零样本（zero-shot）任务表现、遵循语言指令，以及通过微调获得新技能 ^[2]。零样本表现指在没有针对该任务做过专门训练的情况下接受评测；遵循语言指令考察的是模型能否按用语言给出的要求行动，而不是执行固定程序；微调实验考察的则是能否用相对少量的新数据，把一个通用模型变成胜任某项专门工作的模型。这三者合起来，正是通用机器人策略必须回答的问题：没训练过的事能不能做、能不能听懂要它做什么、学一门新技能贵不贵。

意义

π0 是以原型的名义发布的，这则消息更适合被理解为对一种工作方向的说明：一个模型、多种机器人、多种任务，以语言作为接口。公司所描述的组合——大规模多任务与多机器人数据、新的网络架构、以及从视觉-语言模型带过来的语义知识——正是通用策略这一想法所依赖的配方 ^[1]。演示和论文中的三组实验，就是发布之时这一配方在实践中呈现的样子 ^[1][2]。