Molmo

Molmo 是什么

Molmo 是 Ai2 于 2024 年 9 月 25 日发布的一个开放视觉语言模型（vision-language model）系列。^[1] 视觉语言模型接收一张图像和一段文字提示，用文字作答：描述画面、回答关于画面的问题、读出图里的文字。Molmo 引起注意有两点：在 Ai2 自己做的对比中，它与知名商业系统表现相当；而且除了权重，Ai2 还把背后的数据一并公开了。^[1]

这一系列有四个成员，规模与定位各不相同。MolmoE-1B 是混合专家（mixture-of-experts）模型，总参数 70 亿、激活参数 10 亿，基于 Ai2 的 OLMoE-1B-7B 构建。Molmo-7B-O 被 Ai2 称为最开放的 7B 模型，Molmo-7B-D 是演示模型，Molmo-72B 是其中规模最大的一个。^[1]

怎么做的

所有发布的模型都用 OpenAI 的 CLIP ViT-L/14（336 像素）作为视觉编码器，也就是把像素转换成语言部分可以处理的表示的那个部件。^[1]

训练数据是 Ai2 为这个项目新建的 PixMo 数据集系列。^[1] 其中 PixMo-Cap 包含 712,000 张图像和约 130 万条密集描述，这些描述是从语音叙述中收集的。^[1] 用语音收集的做法不常见：标注者不是打字写一句简短说明，而是开口把画面讲出来，Ai2 把它当作获得高度详细图像描述的办法。^[2] PixMo-Points 则包含来自 428,000 张图像的 230 万个「问题—点」配对。^[1]

指出来

Ai2 最强调的能力是「指」。Molmo 可以指出图像中的具体物体，而不只是描述整张图。^[1] Ai2 把这种能力说成若干用途的基础：逐一数清物体、围绕画面里的东西讲解场景、引导机器臂或网页智能体（web agent）到某个位置。^[1] 所谓「指」，是模型在文字之外同时给出图像中的一个位置；没有它，「左边那个杯子」这样的说法就说不清画面上到底是哪一个杯子。

Ai2 报告的结果

Ai2 说 Molmo-72B 在它自己的对比中取得了最高的学术基准分数，在人类偏好排序中位列第二，仅次于 GPT-4o；它报告的最好模型超过了 Gemini 1.5 Pro 和 Flash 以及 Claude 3.5 Sonnet。^[1] 对小模型，Ai2 说 MolmoE-1B 几乎追平 GPT-4V，7B 模型则处在 GPT-4V 与 GPT-4o 之间。^[1] Ai2 还说，较小的 Molmo 模型胜过了参数量十倍于己的模型。^[2] 这些都是 Ai2 自己做的对比，成绩是该机构的说法，而非独立测量。

开放程度

权重、代码、数据和评测都公开发布。^[1] Ai2 说它的整套视觉语言流程——权重、代码、数据、评测——都是开放的，且没有蒸馏（distillation）任何专有视觉语言模型。^[2] 蒸馏指让一个模型去模仿更强模型的输出；不少开放模型会部分采用这种做法，Ai2 的说法是 Molmo 没有这样做，能力来自公开记录的数据。

在发展中的位置

Molmo 于 2025 年 12 月由 Molmo 2 接续。^[1]