《Segment Anything（分割一切）》

论文想解决什么问题

图像分割（image segmentation）就是把一张图切分成有意义的区域：把物体从背景里分出来，把道路和路上的车分开，把医学影像里的某个器官单独标出来。多年来的常规做法是：为每一类这样的任务单独训练一个模型，用一个专门为这项任务建立、逐像素人工标注的数据集来训练。Segment Anything 这篇论文提出的问题不一样：能不能只用一个分割模型，像语言模型那样，被一个提示指向某个新场景就能直接工作？

作者把答案组织成三件必须一起设计的东西——任务、模型、数据集，而不是只给出一个模型^[1]。

可提示的任务与可提示的模型

论文定义的任务是「可提示分割（promptable segmentation）」：给模型一张图像，再给一个提示（prompt）说明要分割什么，模型返回对应的分割掩码（mask）。关键在于，这个模型在设计时就把「可提示」当作目标来训练，因此能够零样本（zero-shot）迁移到新的图像分布和新的任务上——也就是处理它没有针对性地训练过的图像类型和分割问题，不需要再额外调参^[1]。

这是对常规做法的一次有意偏离。以往模型的适用范围基本被训练数据的分布框住；可提示的模型则意在复用：同一套权重，对着用户眼前的具体问题去用。

用模型来造数据

这样的模型需要规模极大、种类极多的分割数据，而在这个量级上纯人工标注并不现实。作者的办法是把一个高效、快速的模型放进数据采集的回路里，让标注者在模型辅助下工作，而不必每个掩码都从零画起。借助这个回路，他们建成了论文所称的迄今最大的分割数据集：1100 万张有授权、尊重隐私的图像上，超过 10 亿个掩码^[1]。

模型和数据因此是一起长起来的：模型加快标注，标注出来的数据又反过来改进模型。

结果

论文报告说，在大量任务上，这个模型的零样本表现相当好，常常与先前完全监督（fully supervised）的结果相当，甚至更好^[1]。换句话说，一个没有专门在某项基准上训练过的系统，可以追上专门为它训练的系统。这是全文最核心的实证结论，也正是它让「基础模型（foundation model）」这个说法在分割领域站得住脚，而不只是一句愿景。

公开了什么，为什么重要

论文同时公开了 Segment Anything Model 和 SA-1B 数据集——10 亿个掩码、1100 万张图像——明确目的就是推动计算机视觉基础模型的研究^[1]。把数据公开和把模型公开同样重要：视觉基础模型的进展依赖大规模、多样化的分割数据，研究者需要能在这上面继续搭建并相互比较，而这样的数据此前一直稀缺。

论文本身

《Segment Anything》的作者是 Alexander Kirillov、Eric Mintun、Nikhila Ravi、Hanzi Mao、Chloe Rolland、Laura Gustafson、Tete Xiao、Spencer Whitehead、Alexander C. Berg、Wan-Yen Lo、Piotr Dollar 和 Ross Girshick，2023 年 4 月 5 日提交到 arXiv，编号 2304.02643^[1]。