Mistral AI 发布首个多模态模型 Pixtral 12B

背景

多模态模型（multimodal model）指能同时接受不止一种输入、并以文字作答的模型，最常见的形式是「图像加文字」。要做到这一点，需要两样东西配合：一种把图片变成语言模型能读的序列的办法，以及一个足够强的语言模型来处理这些序列。

发布了什么

2024 年 9 月 17 日，Mistral AI 发布 Pixtral 12B，可同时接受图像和文本输入。^[1] 模型权重以 Apache 2.0 许可发布，可用于使用和修改，包括商业用途。^[1] Mistral 的更新日志把这次发布记为 pixtral-12b-2409。^[2]

结构

Pixtral 由两部分组成：一个负责把图像转成 token 的视觉编码器（vision encoder），一个多模态 Transformer 解码器（multimodal transformer decoder）。^[1] 编码器有 4 亿参数，是从头训练的，没有沿用现成的视觉模型；与它搭配的是基于 Mistral NeMo 的 120 亿参数解码器。^[1]

分工是有讲究的。编码器把图片切成小块，把每个小块转成一个向量，解码器于是可以像处理一串词那样处理一张图片；至于读懂文档里的小字、判断照片里两个物体的关系，则留给解码器，它才是负责推理的那一半。

token 在语言模型里指被处理的最小单位，大致是一个词或词的一部分。图片被切成小块之后，每个小块也变成一个 token，图像因此会占用模型上下文里的位置。图片越大、切得越细，占的位置越多，这是这类模型在细节与一次能处理多少内容之间要做的权衡。

「从头训练」也值得说明：编码器的行为是针对这一套搭配拟合出来的，而不是沿用它在原来任务上形成的习惯。这是关于两半如何学会配合的一个设计选择。

成绩

Mistral 给出的成绩是 MMMU（使用思维链提示）52.5%、DocVQA 90.7。^[1] 思维链提示指让模型先把推理过程一步步写出来，再给出答案。两个基准考的东西不同：MMMU 覆盖多个学科与多种图像类型，偏重知识与推理；DocVQA 针对文档图像提问，考的是把细小文字读准。一个看推理，一个看细节。

同一天的另一件事

同一天，Mistral 把 Mistral Small v24.09 放上了自己的 API。^[2] 两件事性质不同：一个是开放权重的多模态模型，一个是通过 API 提供的模型。

后续

Mistral 的 Pixtral 12B 页面现在写明，该模型已不再维护。^[1] 不再维护并不意味着模型消失——权重仍然在那里，可以继续运行——但它不再收到修复和更新。