Ai2 发布开放视觉语言模型 Molmo

背景

视觉语言模型（vision-language model）是能同时读入图像和文字请求、并用文字作答的系统。要把它训练好，需要大量图像与语言配对的语料，成本很高，因此有些团队会走一条捷径：让新模型去模仿一个已经很强的闭源模型的输出，这种做法叫蒸馏（distillation）。Ai2 表示，Molmo 在训练中没有蒸馏任何闭源视觉语言模型，这一点与若干强力的开放权重模型（open-weights model）不同。^[2]

发布了什么

2024 年 9 月 25 日，Ai2 发布 Molmo，一组开放的多模态模型（multimodal model）。^[1] 它是一个系列而不是单个模型，规模从小端的 MolmoE-1B 一直到大端的 Molmo-72B。^[1] 这些模型基于 Ai2 新建的 PixMo 图像数据集训练。^[1] 提供多个尺寸在实际使用中是有意义的：能跑在普通硬件上的模型，和要回答最难问题的模型，是两个不同的工程问题。

用「指」来回答

Ai2 着重介绍的能力是「指」。Molmo 可以按照文字要求，指出图像中的东西。^[1] 多数能看图的对话模型只用文字作答，比如说明杯子在左边；指向是另一种输出形式——模型在图像里标出某个东西在什么位置。Ai2 把 Molmo 描述成学习指出它所感知到的东西，并把这当作在物理环境和虚拟环境中行动的基础。^[2] 这个说法的道理不难理解：只会描述场景的助手可以给人提建议，但如果系统要移动机械臂或点击按钮，它需要的是物体的位置，而不是一句关于物体的话。

与 GPT-4o 的比较

Ai2 表示，在人类偏好（human preference）评价中，Molmo-72B 的排名仅次于 GPT-4o。^[1] 人类偏好评价的做法是：把两个模型的输出给人看，请人选出自己更喜欢的一个，再汇总投票形成排名。这类结果说明的是输出在人读起来是否讨喜，并不是在每项任务上都更强；而且这一说法出自 Ai2 对自家模型的评价。

意义在哪里

在 Ai2 对这次发布的说明里，有两点比较突出。

第一点是训练来源。Ai2 说 Molmo 在训练中没有蒸馏闭源视觉语言模型，与若干强力的开放权重模型不同。^[2] 也就是说，它的训练没有借助某个闭源系统的输出来完成，而是建立在 Ai2 新建的 PixMo 图像数据集上。^[1]

第二点是模型被设计来做什么。指向把「描述」和「位置」连了起来，Ai2 把学习指出自己所感知到的东西，当作在物理与虚拟环境中行动的基础。^[2] 一个能在图像中标出某物位置的模型，做的正是任何要在现实世界中行动的系统都必须完成的一部分工作：找到它即将触碰、拿起或点击的那个东西在哪里。

这个系列同时覆盖了很宽的规模范围，从 MolmoE-1B 到 Molmo-72B。^[1] Ai2 自己的比较把其中最大的模型放在人类偏好上仅次于 GPT-4o 的位置。^[1] 合起来看，这次发布呈现的是一组开放的多模态模型：训练路径与输出形式——能指，而不只是写句子——都是刻意的选择。