视觉-语言-动作模型 VLA

是什么

视觉-语言-动作模型（vision-language-action model，VLA）是一个神经网络：输入是摄像头图像和一句自然语言指令，输出直接是驱动机器人的动作。OpenVLA 的作者把这类模型称为「大规模策略（policy）」，它们在大规模互联网视觉-语言数据和多样化的机器人示教数据的组合上预训练而成^[1]。关键词是「策略」：模型输出的不是对场景的描述，而是机器人下一步实际要做的动作。

怎么工作

常见做法是以视觉-语言模型（vision-language model，VLM）为底座——它已经学会了把图像和文字对应起来——再给它加上输出动作的能力。最后这一步各家做法不同。

Physical Intelligence 把 π0 描述为一个视觉-语言-动作流模型（flow model），它通过流匹配（flow matching）为预训练的视觉-语言模型加上连续动作输出^[2]。也就是说，模型直接生成一条平滑的连续轨迹，而不是从一个固定命令表里挑出一条。

智元的 ViLLA 架构走的是另一条路：它通过预测隐式动作令牌（latent action token）来扩展视觉-语言-动作建模，这些令牌充当图像-文本输入与机器人动作之间的桥梁^[4]。动作被表示成令牌，和句子里的词有些类似。

也有系统把工作拆成两段。NVIDIA 称其 GR00T N1 人形模型的 System 2 模块由一个视觉-语言模型驱动，负责理解环境、规划动作^[5]，更快的底层执行交给另一部分。

一个小例子能说明问题的形状。假设摄像头对着桌面，人下指令「把红色积木拿起来」。模型要在图像里找到那块积木，把「红色积木」这个说法和那片区域对应起来，再输出一串关节或末端执行器指令，让机械臂朝它移动过去。这条链路里没有任何一环是专门为这块积木手写的；同一套权重还要能应付下一句指令和下一个场景。

从哪来

视觉-语言-动作模型不是凭空出现的，它建立在已经能把图像和语言对应起来的视觉-语言模型之上。但 OpenVLA 的作者指出，在 OpenVLA 之前，已有的视觉-语言-动作模型基本是封闭的，公众无法获取^[1]；那篇论文正是在这样的背景下写的。它提出的说法——一个同时在互联网规模视觉-语言数据和多样化机器人示教上预训练的大规模策略^[1]——后来成了描述这一类模型的常见方式。

今天用在哪里

Figure 把 Helix 描述为一个通用的视觉-语言-动作模型，把感知、语言理解和学习到的控制统一在一起^[3]；Figure 还称它是第一个能对整个上半身输出高频连续控制的视觉-语言-动作模型^[3]。Physical Intelligence 的 π0 则是一个建立在预训练视觉-语言底座上的视觉-语言-动作流模型^[2]。在人形机器人方向，NVIDIA 的 GR00T N1 把推理与规划的角色交给 System 2 模块里的视觉-语言模型^[5]。智元的 ViLLA 用隐式动作令牌实现同一思路^[4]。这些系统的共同点是：由同一个模型把摄像头看到的东西、指令说的事情，和电机的动作连起来。

局限

上面这些系统对「动作」该怎么表示并不一致：有的用令牌，有的用连续流轨迹，有的另设一个规划模块^[2][4][5]。这种分歧说明这个方向还没有定下来的配方。另一方面，机器人示教数据比图文配对难采集得多，这也是预训练要重度依赖视觉-语言数据的原因^[1]。此外，一个能高频控制整个人形上半身^[3]、或从对环境的推理出发规划动作^[5]的模型，最终仍要被托付真实的物理行为——在那里，出错的性质和写错一句图注并不相同。