多模态模型（Multimodal models）

什么算多模态模型

多模态模型（multimodal model）在同一个模型里处理不止一种输入或输出，比如把图像和文本放在一起处理，而不是把一个视觉系统和一个语言系统分开放着^[1][2]。区别不只是「两种格式的文件都能读」：模型读到的文字会改变它处理图像的方式，反过来也一样，因为两边共用同一套参数。

这样的模型怎么学出来

最直接的一套做法来自 CLIP。Radford 等人让它去判断哪句说明配哪张图，用的是从互联网收集的 4 亿对图文数据^[1]。这个目标本身不针对任何下游任务：模型只需要判断一段文字和一张图片是不是一对。事实证明，这个简单的预训练任务是一种高效且可扩展的方式，能从零开始学到当时最好的图像表征^[1]。

可以举一个小例子说明这个任务在要求什么。假设一批数据里有一张草地上奔跑的狗的照片、一张停着的汽车的照片，还有两句话「一只狗在草地上跑」和「一辆车停在路边」。模型要想判对，就得把每张图拉向属于自己的那句话，同时推离另一句。要过这一关，它必须注意到物体、场景，以及画面里正在发生什么——这恰好是说明文字通常会描述的信息。

预训练结束后，自然语言可以指向模型学到的视觉概念，这正是零样本迁移（zero-shot transfer）到下游任务得以实现的原因^[1]。新任务可以用文字说出来，而不必先教给它一批带标注的例子。

两个节点

CLIP 由 Radford 等人于 2021 年 2 月发表，并在 30 多个已有的计算机视觉数据集上做了评测，覆盖 OCR、视频中的动作识别、地理定位和细粒度物体分类^[1]。在 ImageNet 上，它在零样本设置下达到了原始 ResNet-50 的准确率，而没有使用 ResNet-50 训练时用过的那 128 万个样本中的任何一个^[1]。

Flamingo 由 Alayrac 等人于 2022 年 4 月发表，是一族视觉语言模型，设计目标是只用少量带标注的样本就能适应新任务^[2]。它把预训练好的纯视觉模型和纯语言模型连接起来，能处理任意交错排列的视觉与文本序列，图片或视频都可以作为输入^[2]。由于可以在文本与图像交错的大型多模态网络语料上训练，它获得了上下文少样本学习（in-context few-shot learning）能力^[2]。在众多基准上，单个 Flamingo 模型的表现超过了用成千上万倍任务专用数据微调过的模型，而它只是被提示了一些任务示例^[2]。

两种拼法

这两个系统代表了通往同一想法的两条路。CLIP 用语言来监督视觉：文本在训练时是教学信号，训练结束后又变成调用所学内容的方式^[1]。Flamingo 则保留一个预训练语言模型和一个预训练视觉模型，把两者接起来，让图片和文字可以一起进入同一条数据流，任务本身也能写在提示里^[2]。前者得到的是一个会识别的模型，后者得到的是一个可以递上几个例子、请它接着做的模型。

为什么重要

因为接口是语言，一个模型可以被指向很多不同的任务，而不是只做一件。CLIP 的评测横跨了读出图像中的文字、识别视频中的动作、判断照片拍摄地点、区分相似物体等多种任务^[1]。Flamingo 的少样本设置意味着：要说明一个任务，可以在提示里给几个例子，而不必先收集大规模标注数据再做微调^[2]。这改变了尝试一个新任务的成本结构——工作重心从训练挪到了描述。

这些成绩该怎么看

这些数字都是针对明确基线做出的比较，也应该这样理解。CLIP 的 ImageNet 零样本成绩是相对原始 ResNet-50 给出的，后者用 128 万个带标注样本训练过^[1]；它想说明的是，两者以不同方式达到了相近的准确率。Flamingo 的比较对象是用多得多任务专用数据微调过的模型，而它自己只在提示里拿到少量示例^[2]。所用的基准覆盖的是特定几类任务——CLIP 那 30 多个数据集，Flamingo 报告中那众多基准——所以这些结果描述的是模型在这些任务上、以这种测法得到的结果^[1][2]。