OpenVLA 开源发布

背景

视觉-语言-动作模型（vision-language-action model，VLA）的输入是摄像头画面加上一句文字指令，输出是机器人的动作。这样一来，同一套网络不必为每个动作单独写控制器，只要用一句话让它「把杯子拿起来」或「把挡路的东西挪开」就行。这类模型在 OpenVLA 之前就已存在，但作者指出，已有的 VLA 模型大多处于封闭状态，外界无法获取^[1]。对实验室之外的人来说，这意味着没有训练好的权重可以运行，没有代码可以阅读，也无法在自己的机器人上微调，更无法在同等条件下与它们做对比。

发布了什么

2024 年 6 月 13 日，团队把 OpenVLA 的论文提交到 arXiv^[1]。这次发布不只是交一篇论文，而是打包成可直接使用的工具：作者公开了模型检查点（checkpoint）、微调笔记（notebook）和 PyTorch 代码库^[1]。检查点就是训练好的参数集合，载入之后不必重跑训练就能使用模型；微调笔记则是按步骤走的脚本，带使用者把自己的数据接上去。两者一起公开，一个结果才真正变成别的研究组能接着用的东西。

训练数据与结果

模型在 97 万条机器人操作轨迹上训练，数据来自 Open X-Embodiment 数据集^[1][2]。这里的一条轨迹指的是一段被记录下来的操作过程：机器人的摄像头看到了什么、收到什么指令、实际做了什么动作。把这么多条轨迹汇集起来，模型才能积累足够多样的物体、场景和指令经验。

作者在 29 项任务上做了评测，报告称其任务成功率比拥有 550 亿参数的 RT-2-X 高出 16.5 个百分点（绝对提升）^[1]。这个对比之所以重要，是因为它把一个公开模型直接放在同一批任务上与规模大得多的既有系统比较，差距用同一套单位说清楚，而不是含糊带过。

参与者

项目页面列出作者所在机构包括斯坦福大学、加州大学伯克利分校、丰田研究院、Google DeepMind、Physical Intelligence 和麻省理工学院^[2]，既有高校的机器人研究组，也有产业界的研究实验室。

意义

权重和代码公开，改变的是一个结果能被拿来做什么。有自己机械臂的实验室可以从公开的检查点出发，照着微调笔记把模型适配到自己的硬件上，而不必从零训练一套 VLA 系统^[1]；想验证机器人学习某个设想的研究组，也有了一个公开的基线可以对照，而不是只依赖封闭系统给出的数字^[1]。而与 550 亿参数模型的比较，给这 29 项任务上的评测留下了一个明确的参照点^[1]。

这次发布没有回答的，是这些测量之外的一切。模型是在共享数据集的抓取与操作轨迹上训练的，评测也固定在特定任务集合上；它迁移到别的机器人、别的动作类型或陌生环境中表现如何，只能靠后续使用公开代码和检查点的工作来回答。论文本身陈述的贡献要具体得多：一个可公开获取的视觉-语言-动作模型、它的训练做法，以及把它与规模大得多的前代系统放在一起的评测^[1][2]。