计算机视觉 模型

Claude 3 Opus 于 2024 年 3 月 4 日公布，是 Claude 3 系列中能力最强的模型。它支持图像输入，发布时上下文窗口为 20 万 token，长文本测试召回率超过 99%。

Claude 3.5 Sonnet 于 2024 年 6 月 20 日发布，是 3.5 系列首款模型。速度是 Claude 3 Opus 的两倍，价格与中档型号相当，并随 Artifacts 一同推出。

AlexNet 是一个八层卷积神经网络，在 ILSVRC2012 图像分类任务中以明显优势夺冠，证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。

OpenAI 于 2021 年发布的图像-文本模型，用约 4 亿对图文数据训练，靠把图像与文字提示逐一比对来完成分类，不需要针对具体任务的训练。

Segment Anything 模型（SAM）是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码，它就能圈出对应的物体。

GPT-4V 是 GPT-4 中接受图像输入的版本，OpenAI 在 2023 年 9 月 25 日的系统卡中记录了它，并通过预览版 API 向开发者开放；图像理解后来在 GPT-4o 中成为原生能力。

Fuyu-8B 是 Adept 于 2023 年 10 月开源的多模态模型。它去掉了图像编码器，能接受任意分辨率的图片，面向需要读屏幕、图表和 PDF 的智能体场景。

Claude 3 Sonnet 是 Anthropic Claude 3 系列中的中间型号，2024 年 3 月 4 日发布，支持 20 万 token 上下文，曾驱动 claude.ai 免费版，于 2025 年 7 月 21 日退役。

Claude 3 Haiku 是 Anthropic Claude 3 系列中最小、最快的模型，2024 年 3 月发布，主打低价格、20 万 token 上下文与图像输入，2026 年 4 月退役。

Llama 3.2 于 2024 年 9 月 25 日发布，新增 110 亿和 900 亿参数的视觉模型，以及面向边缘和移动设备的 10 亿和 30 亿参数纯文本小模型。

Gemini Robotics 是 Google DeepMind 的视觉-语言-动作模型，建立在 Gemini 2.0 之上，直接输出物理动作控制机器人，2025 年 3 月 12 日公布。

Qwen3-VL 是阿里巴巴通义千问团队2025年9月发布的开放视觉语言模型系列，以 Apache 2.0 许可证发布，旗舰版本为 2350 亿参数，支持长视频、界面操作与空间定位。

Reka Edge 是 Reka AI 于 2026 年 3 月 11 日发布的 70 亿参数视觉语言模型，可接收图像、视频和文本并输出文本，主打在笔记本电脑、手机和小型端侧设备上本地运行。

EXAONE 4.5 是 LG AI Research 于 2026 年 4 月发布的首个开放权重视觉语言模型，总参数 330 亿，其中视觉编码器 12 亿，上下文长度 256K 个 token，侧重文档理解与韩语语境推理。

Claude Opus 4.7 于 2026 年 4 月 16 日发布，价格与 Opus 4.6 相同，新增 xhigh 投入程度档位，并支持大得多的图像。它是首个测试自动拦截高风险网络安全请求的模型。

Flamingo 是 DeepMind 于 2022 年 4 月公布的视觉语言模型：输入可以是图像、视频和文字交错混排的提示，输出相应的语言，并能只靠几个示例学会新任务。

RT-2 是 Google DeepMind 2023 年 7 月 28 日公布的视觉-语言-动作模型，把图像和文字指令转成机器人动作，陌生场景成功率从 32% 升至 62%。

Qwen-VL 是 2023 年 8 月发布的一系列视觉语言模型，在通义千问语言模型基础上加入看图、答问、定位物体和读取文字的能力，Base 与 Chat 版本开放。

Yi-VL-34B 与 Yi-VL-6B 是零一万物 2024 年 1 月 23 日开源的多模态模型，能够同时理解图像与文字，在 MMMU 与 CMMMU 基准上位列开源模型第一。

Step-1V 是阶跃星辰 2024 年 3 月发布的约一千亿参数多模态大模型，能读取图像中的文字、数据和图表并支持视频理解，发布时位列 OpenCompass 多模态榜单第一，后被 Step-1.5V 接替。

Grok-1.5 是 xAI 对 Grok-1 的升级版，推理能力更强，上下文窗口扩至 12.8 万 token。同期预览的 Grok-1.5V 是该公司首个多模态模型。两者的权重都没有公开发布。

SAM 2 是 Meta 于 2024 年 7 月发布的分割一切模型第二代，可以实时分割图像和视频中的物体。随模型发布的还有 SA-V 视频数据集。

Qwen2-VL 是阿里巴巴于 2024 年 8 月 29 日发布的视觉语言模型。它能理解 20 分钟以上的视频，能读取多种语言的图中文字，还可以作为代理操作手机和机器人。

Mistral AI 的第一个多模态模型，把 12B 参数的语言解码器与 400M 参数、从零训练的视觉编码器组合起来，以 Apache 2.0 开放权重，2024 年 9 月发布，2025 年底退役。

Molmo 是 Ai2 于 2024 年 9 月 25 日发布的一系列开放视觉语言模型，能在图像中指出具体物体，权重、代码、数据与评测全部公开。

Pixtral Large 是 Mistral AI 于 2024 年 11 月发布的开权重多模态模型，基于 Mistral Large 2，参数约 1240 亿。

DeepSeek 发布的混合专家视觉语言模型系列，是 DeepSeek-VL 的后继版本，分 1.0B、2.8B、4.5B 三个激活参数规模，面向文档、表格、图表与 OCR 理解。

通义千问 Qwen2.5-VL 是阿里巴巴 2025 年 1 月发布的视觉语言模型系列，有 3B 至 72B 四个尺寸，能读取图表和文档、定位物体并作为视觉代理工作，还能理解一小时以上的视频。

混元 3D 2.0 是腾讯的大规模三维生成系统，输入条件图像即可生成带高分辨率纹理的三维资产；它由生成形状的扩散 Transformer 与生成纹理的模型组成，2025 年 1 月 21 日随技术报告一同开源。

UI-TARS 是字节跳动 Seed 的图形界面智能体模型，只输入截图、直接输出键盘和鼠标操作，在十多个基准上报告了当时最好的成绩，并以 Apache-2.0 协议开放权重。

Cohere 的第一个视觉语言模型，2025 年 3 月以 8B 和 32B 两个开放权重版本发布，支持 23 种语言的图文输入，按非商业许可开放。

Kimi-VL 是月之暗面（Moonshot AI）于 2025 年 4 月发布的开源视觉语言模型。它把 16B 参数、约 3B 激活的混合专家语言模型与原生分辨率视觉编码器组合在一起，可在宽松的 MIT 许可下使用。

字节跳动 Seed 在 2025 年 4 月发布的界面操作模型，是 UI-TARS 的后继版本。7B 版本以 Apache-2.0 协议开源，完整版本在多项屏幕操作基准上报告了当时最好成绩。

Command A Vision 是 Cohere 2025 年 7 月发布的首个 Command 视觉语言模型，由 1120 亿参数语言模型与 SigLIP2 图像编码器组成。

智谱于 2025 年 8 月 11 日发布的视觉语言模型，基于 GLM-4.5-Air 微调，可处理图像推理、视频理解、长文档解析与 GUI 任务；智谱称其在 42 个公开基准上取得同规模模型中的最优成绩。

UI-TARS-2 是 UI-TARS 系列的新一代 GUI 智能体，采用多轮强化学习训练，2025 年 9 月发布技术报告，并在网页、桌面、安卓、游戏与软件工程等基准上给出成绩。

DeepSeek-OCR 是一个约 3B 参数的开源文字识别模型，它把长文本渲染成图像、用很少的视觉词元把文字读回来，用来检验「光学压缩」能否代替超长文本上下文。

百度 2025 年 11 月发布的开源多模态推理模型，总参数 280 亿、每个 token 激活 30 亿，支持「边看图边想」的放大与工具调用，权重按 Apache 2.0 开放。

SAM 3 是 Meta 于 2025 年 11 月发布的分割一切模型第三代，可依据简短文字或示例图像，找出并分割某一概念的全部实例。Meta 报告称，它在这项任务上的准确率是现有系统的两倍。

Molmo 2 是 Ai2 开放视觉语言模型家族的第二代，2025 年 12 月 11 日发布，把 Molmo 从图像扩展到视频，支持指点、目标跟踪和带时间戳的问答。

Phi-4-reasoning-vision-15B 是微软于 2026 年 3 月 4 日以 MIT 许可发布的 150 亿参数开放权重视觉语言模型，能在数学、科学问题上展开推理，在图像感知任务上直接作答。

NVLM 是 NVIDIA 的多模态大语言模型系列，论文于 2024 年 9 月发表；旗舰模型 NVLM-D-72B 随后以开放权重形式发布，限非商业用途。

Mistral OCR 是 Mistral AI 于 2025 年 3 月 6 日发布的文档理解 API，能识别文档中的文本、表格、公式与媒体，覆盖数千种文字和语言，后来被更新的 OCR 版本取代。

Robostral Navigate 是 Mistral AI 的首个具身导航模型：80 亿参数，只靠一台普通 RGB 摄像头和一句自然语言指令，就能带动轮式、足式或飞行机器人移动。