从自然语言监督中学习可迁移的视觉模型（CLIP）

CLIP 是 OpenAI 的一个模型，学的是把图像和文字对应起来。它不靠固定的类别清单来训练，而是从互联网上图像旁边的普通句子中学习；训练好之后，只要用文字把类别写出来，就能让它去做一个新的分类任务。

要解决的问题

长期以来，图像识别都是在有标注的数据集上训练的：给定一份固定的类别清单，每张图由人打好标签。这样的模型在自己训练过的类别上表现不错，但被牢牢绑在那份清单上，换一个任务往往就要重新收集和标注图像。CLIP 的作者换了一个监督来源：互联网上的图像通常配着文字——说明、标题、替代文本——这些文字比人工标注便宜得多。他们想验证的是，学会把图像和自然语言对应起来，能不能得到一个可以迁移到原本没有专门训练过的任务上的视觉模型。

做法

CLIP 同时训练一个图像编码器（image encoder）和一个文本编码器（text encoder），训练数据是从互联网收集的 4 亿对图文对^[2]。训练目标是对比式的（contrastive）：给一批图像和对应的文字，模型要把匹配的图文对在共享的嵌入空间（embedding space）里拉近，把不匹配的推远^[2]。训练完成后，一张图和一句话可以直接比较，因为两者被映射到了同一个空间。

这个共享空间让零样本（zero-shot）分类成为可能。要把一张图归入若干类别中的一个，只需为每个类别写一句文本提示，例如「a photo of a dog」，把提示编码成文本、把图像编码成向量，再选出文本嵌入与图像嵌入最接近的那个类别^[2]。整个过程不需要重新训练，类别只要能用文字描述即可。

结果

最有代表性的是 ImageNet 上的结果。完全不使用该基准的标注样本，CLIP 的零样本 top-1 准确率达到 76.2%，而更早的 Visual N-Grams 只有 11.5%^[2]。更值得注意的是，它的零样本准确率与最初的 ResNet-50 持平，而后者用到了 128 万张有标注的训练图像，这些图像 CLIP 一张也没用^[2]。一个从未被训练做分类的模型，在这个长期定义该领域的基准上追平了有监督分类器。

为什么重要

CLIP 真正的贡献是那个图文共享空间本身。它后来更多是作为文生图系统里的部件出现，而不是作为分类器。Stable Diffusion 使用一个冻结的 CLIP ViT-L/14 文本编码器，把写下的提示转成条件信号^[3]；OpenAI 在 2022 年 4 月发布的 DALL-E 2 则从 CLIP 的图像嵌入出发生成图像^[4]。一个为分辨图片而建的模型，最终最广为人知的用途是帮助生成图片。

这种设计也改变了任务的指定方式。类别信息放在文本编码器里，新任务可以以一句话的形式交给模型，而不必再训练一个新的输出层，这也正是同一个冻结的编码器能被后来的系统反复使用的原因^[3][4]。

发表与影响

OpenAI 于 2021 年 1 月 5 日公布 CLIP，与 DALL-E 是同一天；论文在 2021 年 2 月 26 日上传到 arXiv，第一作者是 Alec Radford，并在 ICML 2021 发表^[1]。它给出的数字——ImageNet 零样本 76.2%，而 Visual N-Grams 为 11.5%，以及在没有使用任何标注训练图像的情况下与有监督的 ResNet-50 持平——成了人们谈论「用自然语言学习能给视觉带来什么」时经常引用的参照^[2]。

局限

这种方法的上限取决于描述图像的文字。难以用语言说清的类别，或者需要区分细节、而任何图像说明都不会提到的任务，并不自动在它的能力范围之内。CLIP 提供的是一种用语言指定任务的方式，而不是「语言总是够用」的保证。