Meta 发布 Segment Anything 模型和 SA-1B 数据集

背景

图像分割是指标出图像中每个像素属于哪个物体。传统的分割工具通常只针对固定的物体类别。Meta 希望构建一个通用模型，能够处理训练中未见过的物体。^[1]

发生了什么

2023 年 4 月 5 日，Meta 发布了 Segment Anything Model（SAM），这是一个可以通过提示（prompt）进行操作的图像分割模型。同时，Meta 发布了 SA-1B 数据集，其中包含超过 11 亿个掩码，覆盖约 1,100 万张图像。Meta 表示，它的掩码数量是此前任何分割数据集的 400 倍。^[1]

关键细节

SAM 可以根据点、框或掩码形式的提示来分割物体，并能分割训练中未见过的物体类别。^[1]

图像嵌入计算完成后，SAM 约在 50 毫秒内生成一个掩码，足以用于交互场景。^[1]

该模型采用 Apache 2.0 许可证发布，同时公开了代码、数据集和在线演示。论文编号为 arXiv:2304.02643。^[1][2]

Meta 把 SAM 定位为迈向图像分割基础模型的一步，即一个可以通过不同提示完成多种分割任务的通用模型。^[1]

在 SAM 中，提示是告诉模型关注哪里的输入，例如在某点上单击，或框出一个物体。模型随后返回掩码，即标出物体轮廓的一组像素。掩码正是图像分割的输出，因此超过 11 亿个掩码的数据集就是一大批已标注的样本。^[1]

影响

2023 年 9 月，Meta 宣布 SAM 被用于 Instagram 的 Backdrop 功能。^[3]

由于代码、数据集和论文都已公开，其他研究者和开发者可以直接在 SAM 的基础上开展工作。数据集的规模也为该领域的分割研究提供了一份大型公开资源。^[1][2]