Flamingo

一个同时读图和读文字的模型

Flamingo 是 DeepMind 的视觉语言模型（visual language model），于 2022 年 4 月 28 日公布^[1]。它的输入是一段把图像、视频和文字交错混排的提示（prompt），输出是与这些内容相关的语言^[1]。它要做的不是某一个固定任务，而是让同一个模型通过所给的提示去应对许多不同任务。

怎么工作

论文说，Flamingo 能处理任意交错排列的视觉与文本数据，输入可以是图像，也可以是视频^[2]。也就是说，图片、视频片段和句子的先后与搭配并不事先固定，模型把整段序列作为一个整体来处理。

它不需要额外训练，只要给几对示例就能学会新任务^[1]。具体做法是在提示里放几组「输入—输出」的例子，模型照着这个模式往下接，而不是改动自己的参数。这就是少样本学习（few-shot learning）的意思：任务靠示例来说明，而不是靠重新训练来指定。

最终模型有 800 亿参数，建立在 DeepMind 700 亿参数的 Chinchilla 语言模型之上，把分别预训练好的、冻结的语言模型和视觉模型组合起来^[1]。所谓「冻结」（frozen），是指这些预训练好的部分在这一阶段不再更新，原有的能力被原样保留和复用。这样得到的是一个语言一侧已经会生成通顺文本、视觉一侧已经会表示图像的系统，两者合起来，就能同时对文字和图像作出回应。

结果

在 16 个任务上，每个任务只给四对示例，Flamingo 就超过了此前的少样本方法，在若干情形下还超过了为任务专门微调过的方法^[1]。论文的说法更进一步：在许多基准（benchmark）上，Flamingo 超过了用多达成千上万倍任务特定数据微调出来的模型^[2]；同一个 Flamingo 模型在提示里给出任务示例时，以少样本学习取得了新的最优结果^[2]。

这组对比之所以重要，是因为它把通常的取舍关系倒了过来。要在某个任务上拿到好成绩，常规路径是为这个任务收集大规模标注数据，再微调一个模型。Flamingo 讲的则是相反的情形：任务特定数据极少，以示例形式放进提示里，一个模型覆盖许多任务。

处在什么位置

Flamingo 出现的时候，大语言模型已经立住了，悬而未决的问题是：怎么把文字之外的输入接上去。它给出的答案是——把预训练好的语言模型和视觉模型都冻结，依靠交错排布的提示和提示内的示例——这让多模态提示从演示变成了指定任务的一种实用方式。

Flamingo 的论文于 2022 年 4 月 29 日提交到 arXiv^[2]，比模型公布晚一天^[1]。公布与论文合在一起，既交代了工程上的描述——800 亿参数、架在 Chinchilla 之上、组件冻结、输入可交错——也交代了评测上的结论：少样本条件下在众多任务上的表现。对关注多模态模型的人来说，Flamingo 是一个参照点：它说明视觉语言模型可以不必为每个新任务重新训练，也能通用。