OpenVLA

OpenVLA 是什么

OpenVLA 是一个视觉-语言-动作模型（vision-language-action model，VLA）：输入是机器人摄像头拍到的一幅图像，加上一句用自然语言写的指令，输出直接就是机器人应当执行的动作 ^[1]。这类模型把过去要分成几段的东西——感知模块、规划模块、底层控制器——合并成一个在演示数据上端到端训练的网络。OpenVLA 有 70 亿参数，并且是开源的：公开的不只是论文，还包括模型权重 ^[1]。论文于 2024 年 6 月 13 日提交到 arXiv，编号 arXiv:2406.09246 ^[1]。

怎么训练出来的

模型在 97 万条真实世界的机器人演示数据上训练 ^[1]。结构上，它以一个 Llama 2 语言模型为基础，再接入一个视觉编码器；这个编码器融合了两个预训练视觉模型 DINOv2 和 SigLIP 的特征 ^[1]。这两个编码器事先都在大量图像上训练过，因此策略网络一开始拿到的视觉表示并不是只从机器人数据里学来的。训练这个模型动用了 64 块 A100 显卡组成的集群，跑了 15 天 ^[2]。

评测结果

作者把 OpenVLA 与 RT-2-X 作了对比，后者是一个 550 亿参数的闭源模型。在 29 项任务和多种机器人本体上，OpenVLA 的绝对任务成功率高出 16.5%，而参数少了 7 倍 ^[1]。在针对具体任务或具体机器人做微调之后，OpenVLA 的表现还比常用的模仿学习方法 Diffusion Policy 高出 20.4% ^[1]。评测在两套硬件上进行：Bridge V2 中的 WidowX 装置，以及 RT 系列论文中的 Google Robot ^[2]。

公开了什么

除了论文，作者还放出了模型检查点、微调用的 notebook，以及一套支持在 Open X-Embodiment 数据集上训练的 PyTorch 代码库 ^[1]。作者称，模型可以用低秩适配（low-rank adaptation，LoRA）在消费级显卡上微调，也可以用量化方式高效部署，而下游成功率不会下降 ^[1]。项目主页则说明，放出的模型开箱即可控制多种机器人，遇到新的机器人配置时，可以通过参数高效的微调来适配 ^[2]。

在发展中的位置

把语言和图像直接映射为动作的通用机器人策略，此前主要靠大型闭源模型来展示，这里的对照对象 RT-2-X 就是一例 ^[1]。OpenVLA 的意义在于把这一类模型连同适配它所需的代码和流程一起开放出来：团队可以从公开的检查点出发做微调，而不必从头训练一个同等规模的模型 ^[1]。这一点之所以重要，是因为新的机械臂、新的相机位置很难直接套用别处训练好的策略，现实做法往往是用少量新数据做微调，而公开的 notebook 和低秩适配的结果，正是为了让这件事能在普通硬件上完成 ^[1]。所以它更像一个起点而不是成品：一个通用策略，随模型一起给出把它专门化的工具 ^{[1] [2]}。