CLIP（对比语言-图像预训练）

是什么

CLIP 是 OpenAI 于 2021 年 1 月 5 日发布的图像-文本模型。项目仓库把它简单描述为一个在各种（图像，文本）对上训练过的神经网络^[2]。论文由 Alec Radford 领衔，共有 11 位合作者，于 2021 年 2 月 26 日发布到 arXiv^[1]。CLIP 的全称是「对比语言-图像预训练」（Contrastive Language-Image Pre-training），这个名字说的是训练方式而不是某个具体任务：它不学着输出一组固定的标签，而是学着把图像和句子放进同一个空间，让相互匹配的一对靠得更近。

怎么工作

CLIP 由两个编码器一起训练而成^[1]。图像编码器把一张图变成一个向量，有 ResNet 和 Vision Transformer 两种变体；文本编码器是使用掩码自注意力（masked self-attention）的 Transformer，把一句描述变成同一空间里的向量。训练使用对比损失（contrastive loss），目标是让每张图和它自己的描述对上：真实配对的得分要高于把描述安到别的图上凑出来的配对。

支撑这一切的是数据规模：约 4 亿对从互联网收集的图像-描述对，称为 WebImageText；这个数据集本身没有公开^[1]。

零样本用法

这样训练出来的直接结果，是 CLIP 不做任何针对具体任务的训练也能分类。做法是：把候选类别写成一句句文本提示（prompt），让图像与它们逐一比较，得分最高的那句就是答案。在 ImageNet 上，这种做法没有使用那 128 万个带标签的训练样本，成绩追平了原始的 ResNet-50^[1]。论文在 30 多个数据集上做了评测，涵盖光学字符识别、动作识别和地理位置定位等任务^[1]。

怎么用、怎么发布

公开的代码把模型的两半分别暴露出来：用法示例先用 `clip.load` 加载模型，再从 `encode_image` 和 `encode_text` 取出图像特征与文本特征^[2]。仓库要求 PyTorch 1.7.1 或更高版本并配合 torchvision，代码以 MIT 许可证发布^[2]。

权重是分批放出的：先是 ViT-B/32 和 RN50，之后是 RN101、RN50x4、RN50x16、ViT-B/16、RN50x64 和 ViT-L/14，最后在 2022 年 4 月放出 ViT-L/14@336px^[2]。

局限与用途边界

模型卡把预期用途限定在研究：部署上线的用法不在范围内，监控和人脸识别则始终不在范围内^[3]。模型卡列出的已知弱点包括细粒度分类和清点画面中物体的数量^[3]。

在发展中的位置

CLIP 的影响主要来自被其他系统借走的那部分。Stable Diffusion v1 用一个冻结的 CLIP ViT-L/14 文本编码器作为条件，DALL-E 2 则从 CLIP 的图像嵌入出发生成图像；LAION 的开源项目 OpenCLIP 在公开数据集上复现并放大了这套做法^[4]。它把「先在大规模图文对上预训练，再用文字描述任务」的思路带进了图像领域，此后许多图像生成与识别系统都以此为基础搭建。