Meta 发布支持视频的 SAM 2

背景

可提示分割（promptable segmentation）指的是：用户给模型一个提示，比如点一下某处，或者框出一个物体，模型就把这个物体的轮廓以蒙版（mask）的形式返回。视频比静态图片更难做。模型需要在物体移动、改变形状、从画面中消失又重新出现的过程中，持续跟住同一个物体。Meta 此前的 Segment Anything Model（SAM）处理的是图片，SAM 2 把这套方法扩展到了视频。

发生了什么

2024 年 7 月 29 日，Meta 发布 SAM 2。这是一个统一的模型，可以在图片和视频中进行实时的可提示分割。^[1]「统一」的意思是同一个模型同时处理两类输入，用户不必为图片和视频分别准备两套工具。模型的设计目标是在视频的各帧之间跟踪用户选中的物体。

关键细节

速度。 Meta 称，SAM 2 的运行速度约为每秒 44 帧。它采用流式记忆（streaming memory）设计，逐帧处理画面，并保存之前看到的内容，而不是把每一帧都当作孤立的问题来处理。^[1]

减少人工修正。 Meta 称，与此前的视频分割方法相比，SAM 2 所需的交互次数约为原来的三分之一。这里的交互指人需要给出的点击或其他修正操作，用来得到正确的蒙版。Meta 还称，在处理图片时，SAM 2 比原版 SAM 快六倍。^[1]

训练数据。 Meta 随模型一同发布了 SA-V 数据集，包含约 51,000 个视频和超过 600,000 个 masklet。masklet 指在视频各帧之间持续跟踪的物体蒙版。这些视频来自 47 个国家。该数据集采用 CC BY 4.0 许可，只要注明创作者，就可以再利用。^[1]

许可。 代码和模型权重以 Apache 2.0 许可发布。^[1]

后续版本。 2024 年秋季，改进版的 SAM 2.1 检查点随之推出。^[1]

影响

代码、权重和数据集都以开放条款发布，因此研究人员和开发者可以下载模型、自行测试，并根据自己的工作进行调整。速度加上开放条款，使 SAM 2 成为视频任务中常用的基础模型，适用于需要找到某个物体并持续跟踪的场景，例如视频编辑、分析和标注。后续的 SAM 3 条目记录了这条路线的延续。^[1]