Google DeepMind 发布 Gemini Robotics

背景

今天在工厂和仓库里工作的机器人，多数围绕一套固定流程设计：固定的动作、固定的位置、变化不大的物体。要让机器人做通用的事情，它就得应付没见过的东西和没听过的指令，而每多一种任务就多写一套控制程序，代价很高。视觉-语言-动作模型（vision-language-action model，VLA）是应对这个问题的一条路线：一个模型同时接收摄像头画面和自然语言指令，直接输出机器人该做的动作，不必为每种任务单独搭一条控制流程。Gemini 2.0 是一个通用模型，这里说的两个机器人模型都建立在它之上。

发布了什么

2025 年 3 月 12 日，Google DeepMind 发布两个基于 Gemini 2.0 的机器人模型：Gemini Robotics 和 Gemini Robotics-ER^[1]。两者分工不同。Gemini Robotics 是视觉-语言-动作模型，直接输出机器人的动作^[1]。Gemini Robotics-ER 侧重空间推理和具身推理（embodied reasoning），也就是判断物体在空间中的位置、某个动作会带来什么结果，本身不负责输出电机指令^[1]。先想清楚该做什么，再把决定变成动作，是机器人系统里常见的一种分层做法，这也是两个模型分开呈现而不合并成一个的原因。

合作方与早期测试

仿人机器人（humanoid robot）方面的合作伙伴是 Apptronik^[1]。在模型公开之前拿到访问权限、参与测试的还有 Agile Robots、Agility Robots、Boston Dynamics 和 Enchanted Tools^[1]。让外部公司在自己的硬件和任务上先试，是了解模型在开发者没有亲自搭建的场景里会如何表现的一种办法。

结果

Google DeepMind 在技术报告中表示，在一个综合泛化基准（generalization benchmark）上，Gemini Robotics 的成绩提高到原来的两倍以上^[1]。泛化基准考察的是模型在训练之外的任务和情境中表现如何，因此这类成绩说明的不只是模型把排练过的任务重复得多好，还包括它能否离开调优过的场景使用。Gemini Robotics-ER 大幅提升了 Gemini 2.0 的指向（pointing）和 3D 检测能力^[1]。指向是在图像里定位一个物体，3D 检测是估计它在三维空间中的位置；伸手、抓取、移动物体都要用到这两项基本能力。在端到端（end-to-end）的设置下，Gemini Robotics-ER 的成功率是 Gemini 2.0 的 2 倍到 3 倍^[1]。这个数字是在由推理模型直接驱动动作、中间不经过人或另一套规划模块时测得的。

安全

与模型一同发布的还有 ASIMOV 数据集，用来帮助研究者衡量机器人动作在安全方面的影响^[1]。机器人做错事和聊天模型说错话不一样：一句话可以收回，一个动作却可能已经把东西挪了位置、已经撞上了什么。要比较不同动作带来的后果，需要有一套共同的度量方式，这个数据集就是为这类测量准备的。

意义

这次发布有两点值得注意。第一是从会读会说的通用模型，走到会动的模型。视觉-语言模型处理的是文字和图像；视觉-语言-动作模型要把回路闭上，产出运动，于是引入了语言模型从不面对的问题：空间关系、某个动作会导致什么、动作出错能错到什么程度。Gemini Robotics 与 Gemini Robotics-ER 的分工正反映了这一点：空间与后果的推理可以作为一项单独的能力来构建和评估，再与真正让机器人动起来的部分接上。第二是报告的是什么。主要数字关于泛化，关于指向和 3D 检测，而某一项任务在某一套实验室设置下的表现不在其列。真实环境里的机器人遇到的，多半是没有排练过的情况，所以围绕未见任务设计的基准更接近真正要问的问题。ASIMOV 数据集补上了第三块：一种谈论动作后果的方式，而不只是谈论动作有没有成功。