SAM 3（分割一切模型第三代）

是什么

SAM 3 是一个统一模型，可以在图像和视频中检测、分割并跟踪物体。Meta 于 2025 年 11 月 19 日发布它，同时发布的还有 SAM 3D，并公开了 SAM 3 的模型权重。^[1] 模型接受简短的开放词汇（open-vocabulary）文字提示，例如「红色棒球帽」。它也接受示例图像，以及掩码、框和点之类的视觉提示。^[3][1]

开放词汇的意思是，提示词不局限于固定的物体名单。用户可以用日常语言描述想找的东西，模型再去寻找。^[3]

由来

论文《SAM 3: Segment Anything with Concepts》共有 38 位作者，第一作者是 Nicolas Carion 和 Laura Gustafson，于 2025 年 11 月 20 日提交到 arXiv。^[2]

训练数据来自一个数据引擎，它结合了 SAM 3、人类标注员和 AI 标注员，涵盖超过 400 万个不同的概念。^[3][2] 模型发布时还附带了 SA-Co（Segment Anything with Concepts）基准测试，这是针对此类任务的标准测试集。同时发布的 SAM 3D 是两个开放模型之一，能从单张图像重建 3D 物体和人体。两者都可以在 Segment Anything Playground 中体验。^[3][1]

主要特点

可提示的概念分割。 Meta 提出了这项任务：根据文字提示或示例提示，找出并分割某一概念的每一个实例。因此，一个提示就可能返回多个掩码，画面中每个符合的物体对应一个。^[3]

准确率。 Meta 报告称，在图像和视频的可提示概念分割任务上，SAM 3 的准确率是现有系统的两倍。在与最强基线 OWLv2 的比较中，用户约三比一地更偏好 SAM 3 的输出。^[2][3]

速度。 在 H200 显卡上，模型处理一张图像约需 30 毫秒，即使画面中检测到的物体超过 100 个。^[3]

结构。 文本和图像编码器来自 Meta 的 Perception Encoder。一个基于 DETR 的检测器负责找出物体，DETR 是一种用 Transformer 直接预测物体的设计。跟踪器则建立在 SAM 2 的记忆组件之上，用于在视频中跟随物体。^[3]

实际应用。 Meta 提到了两个用途：Instagram Edits 中的特效，以及 Facebook Marketplace 的「View in Room」功能。^[3]

在发展中的位置

SAM 3 直接建立在 SAM 2 之上。它的跟踪器复用了 SAM 2 的记忆组件，因此此前在视频中跟随物体的工作被延续到了这个模型。^[3]

Meta 于 2026 年 3 月 27 日发布了 SAM 3.1。它加入了对象复用（object multiplexing）功能，让模型能在一次前向计算中跟踪最多 16 个物体。在一块 H100 显卡上，对于物体数量中等的视频，处理速度从每秒 16 帧提升到每秒 32 帧。^[3]

对初学者来说，从第一代 SAM 到 SAM 3 的变化，在提示方式上最为明显。第一代模型依靠点、框和掩码工作。SAM 3 增加了按类别名称提出要求的方式，使分割更接近人们描述所找对象的方式。^[3]