《SAM 2：在图像与视频中分割一切》

要解决的问题

SAM 2（Segment Anything Model 2）是一个用于图像和视频「可提示视觉分割」的基础模型。论文由 Meta FAIR 团队署名，2024 年 8 月 1 日以 2408.00714 的编号提交到 arXiv ^[1]。它要回答的问题很直接：能不能用一个模型，对一张图片或者一段视频里指定的目标给出分割掩码，并且在目标移动时保持这个掩码的一致 ^[1]。

在它之前，SAM 只处理图像。SAM 2 的设计目标是把两种媒介都覆盖进来，这也是论文标题同时提到图像与视频的原因 ^[1]。

任务：可提示视觉分割

论文把任务形式化为可提示视觉分割（Promptable Visual Segmentation，PVS）。用户在视频的任意一帧上给出提示——一个点、一个框或者一个掩码——模型据此预测一个时空掩码，论文称之为 masklet。这个预测不是一次定死的：用户可以在后续帧上继续给提示来修正它 ^[1]。

这比分割单帧图像要求更高。一个 masklet 既要回答目标边界在哪里，也要回答这条边界在时间上如何延续，包括目标被部分遮挡或者形状发生变化的时候。

模型怎么做的

模型结构是一个简单的 Transformer（变换器），带流式记忆（streaming memory），可以实时处理视频 ^[1]。记忆的作用是让前面帧里关于目标的信息传递到后面的帧，从而让同一个 masklet 在整段视频里始终对应同一个目标。

一个关键设计是把图像当作只有一帧的视频来处理，于是同一个模型同时覆盖图像和视频两种输入；在图像上记忆是空的，模型的行为与 SAM 一致 ^[1]。也就是说，视频能力不是外挂在图像模型之外的一个独立模块，两者共用同一套结构，区别只在于记忆里有没有内容。

数据引擎与 SA-V 数据集

这类模型需要的数据规模，在视频分割领域此前并不存在。为此团队搭建了一个数据引擎，通过用户交互同时改进模型和数据，并用它收集了当时规模最大的视频分割数据集 ^[1]。

随论文发布的 SA-V 数据集包含 50.9 千段视频、共 3550 万个掩码，掩码数量是以往任何视频分割数据集的 53 倍 ^[1]。掩码数量上的差距是关键：视频分割长期受限于带标注的视频素材太少，而不只是模型设计本身，数据引擎正是用来批量生产这类素材的办法。

结果

在视频分割上，SAM 2 比此前的方法更准确，同时所需的交互次数少 3 倍；在图像分割上，它比 SAM 更准确，速度快 6 倍 ^[1]。这两个结果出自同一个设计：视频一侧的收益来自跨帧记忆和更大规模的视频训练数据，图像一侧的收益来自一套比原始 SAM 跑得更快的结构。

发布了什么，为什么重要

论文随附发布了主模型、数据集、训练代码和一个演示 ^[1]。把权重、数据和训练代码一起放开，意味着其他团队可以复现和改造这个模型，而不只是对照论文里报告的数字。

因此这篇论文的贡献有两面。在模型这一面，它说明只要把图像看成单帧视频、再加上流式记忆，图像和视频的可提示分割就可以表达成同一个任务。在数据这一面，它给出了一个掩码量远超以往的视频分割数据集，以及一套可以继续扩充它的数据引擎。两者指向的是同一个目标：让「给个提示就能分割」成为对动态画面同样成立的一般能力，而不只适用于静态图片 ^[1]。