SAM 2（分割一切模型第二代）

是什么

SAM 2 是一个统一的模型，用于图像和视频中的实时可提示物体分割。Meta 于 2024 年 7 月 29 日发布它，把原版 SAM 从静态图像扩展到了视频。^[1] 处理单张图像时，它的记忆库为空，表现与 SAM 相同，因此同一个模型兼顾两种情况。^[1]

由来

SAM 2 随模型发布了新的数据集 SA-V，包含约 5.1 万段视频和超过 60 万条掩码轨迹（masklet），这些视频来自 47 个国家。^[1] 掩码轨迹指一个掩码在连续视频帧中被跟踪的结果。许可证按部分区分：代码和权重采用 Apache 2.0，SA-V 采用 CC BY 4.0，评估代码采用 BSD-3。^[1]

主要特点

提示方式。 提示可以是正向或负向的点击、框，或者掩码。在视频中，模型会把掩码跨帧传播，形成一条掩码轨迹，用户可以在任意一帧上修正它。^[1]

流式结构。 SAM 2 逐帧处理视频。它包含记忆编码器、一个保存过去帧和被提示帧的记忆库，以及记忆注意力机制，让当前帧能参考这些已存储的历史。遮挡头（occlusion head）负责预测物体是否可见，这在另一物体遮住目标时很关键。^[1]

速度。 模型大约能以每秒 44 帧的速度运行。^[1]

交互式视频分割。 在 17 个零样本数据集上做交互式视频分割时，SAM 2 所需的人工交互次数约为既有方法的三分之一。^[1]

图像分割。 在图像上，SAM 2 比原版 SAM 更准确，并且在一个包含 23 个数据集的零样本测试集上快了六倍。^[1]

标注效率。 在标注流程中使用 SAM 2，比用原版 SAM 逐帧标注快 8.4 倍。^[1]

为什么视频更难。 在视频中跟住同一个物体，比在单张图像中分割它更难。物体的形状会变，可能被其他物体部分遮住，也可能离开画面后再出现。模型要把掩码往后传，就得处理这些变化，记忆结构正是为此而设。例如，用户在一段视频的第一帧点击一辆汽车，模型把点击转换成掩码并向后传递。如果汽车开到树后面，遮挡头会提示它暂时不可见；用户之后可以在某一帧补充一次修正点击，而无需从头开始。^[1]

在发展中的位置

SAM 2.1 于 2024 年秋季发布，是一个改进版的检查点，对外观相似的物体和遮挡的处理更好。2025 年 2 月 12 日，它在亚马逊 SageMaker JumpStart 上可用。^[1]

SAM 3 于 2025 年 11 月 19 日发布，其跟踪器建立在 SAM 2 的记忆库和记忆编码器之上，因此 SAM 2 的设计延续到了下一代。^[2][3]