计算机视觉
| 人工神经网络 人工神经网络是由许多简单相连单元组成的计算系统,其行为由连接权重决定。它的源头是1943年的神经元模型,带学习能力的版本则始于1958年罗森布拉特的感知机。 | |
| 杰弗里·辛顿 杰弗里·辛顿(Geoffrey Hinton)是出生于伦敦的计算机科学家,他的神经网络研究是深度学习的核心内容之一,并共享了 2018 年图灵奖和 2024 年诺贝尔物理学奖。 | |
| The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain(感知机:大脑信息存储与组织的概率模型) 1958年,弗兰克·罗森布拉特描述了感知机:它的连接强度随训练而改变,从而通过试错学会对刺激分类。它成为可训练神经网络的起点。 | |
| Mark I 感知机 Mark I 感知机是感知机算法的第一台硬件实现:康奈尔航空实验室为图像识别建造的定制模拟计算机,以 20×20 光电池作输入,用电位器存可调权重。 | |
| 杨立昆(Yann LeCun) 杨立昆(Yann LeCun)是法国计算机科学家,以直接从像素中学习图像识别的卷积神经网络闻名,并共享 2018 年 ACM 图灵奖。 | |
| Shakey 机器人 Shakey 是 1966 至 1972 年在 SRI International 研制的移动机器人,被视为第一台能感知并推理环境的 AI 机器人,其项目产出 A* 与 STRIPS。 | |
| ALVINN 神经网络自动驾驶系统 ALVINN 是 1988 年卡内基梅隆大学开发的神经网络自动驾驶系统,通过观察人类驾驶员学会操控 Navlab 厢式车,是端到端学习驾驶的早期示范。 | |
| 卷积神经网络 卷积神经网络让同一组小型图案探测器扫过整张图像,因此无论特征出现在哪里都能被找到。它在1989年用反向传播训练,1998年以LeNet-5的形式成熟,如今已是计算机视觉的标准方法。 | |
| CIFAR-10 数据集 CIFAR-10 是一个用于图像分类研究的小图数据集:6 万张 32×32 彩色图像分属 10 个互斥类别,5 万张训练、1 万张测试,由 Krizhevsky、Nair 和 Hinton 整理。 | |
| ImageNet: A Large-Scale Hierarchical Image Database(ImageNet:大规模层级图像数据库) 2009年的这篇论文提出了ImageNet,一个规模大、标注清晰、按WordNet层级组织的图像数据库,后来成为ILSVRC竞赛的基础。 | |
| 基于单幅深度图像分部位的实时人体姿态识别 这篇论文用逐像素分类的方法,从单幅深度图像直接得到三维关节点位置,不使用时间信息,在消费级硬件上达到每秒 200 帧,获 CVPR 2011 最佳论文。 | |
| ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络做 ImageNet 分类) 2012年的NeurIPS论文提出了AlexNet,这是一个在GPU上训练的大型卷积神经网络,并在ILSVRC-2012竞赛中夺冠。 | |
| Very Deep Convolutional Networks for Large-Scale Image Recognition 这篇 2014 年的论文证明:把大量 3×3 的小卷积核堆到 16–19 个权重层,能提升大规模图像识别;其模型在 ImageNet Challenge 2014 上拿下定位赛道第一、分类赛道第二,并对外公开。 | |
| Going Deeper with Convolutions 2014 年的论文,提出 Inception 架构以及用它搭成的 22 层网络 GoogLeNet,在 2014 年 ImageNet 挑战赛的分类与检测任务上取得最好成绩,top-5 错误率 6.67%。 | |
| Mask R-CNN Mask R-CNN 是 2017 年提出的物体实例分割框架,在检测物体的同时为每个实例生成高质量掩码,通过给 Faster R-CNN 增加并行掩码分支实现。 | |
| 基于风格的生成对抗网络生成器架构(StyleGAN) 这篇 2018 年的论文提出基于风格的 GAN 生成器架构,将高层属性与随机变化分离,并支持尺度特定控制,在分布质量、插值和解耦上取得改进。 | |
| 《NeRF:将场景表示为用于视图合成的神经辐射场》 2020 年的论文提出 NeRF:把场景表示成由 5 维坐标映射到密度与颜色的神经网络,并用相机位姿已知的稀疏图像优化,在新视图合成上取得领先结果。 | |
| 特斯拉完全自动驾驶(受监督) 特斯拉最先进的一套驾驶辅助软件,以每月 99 美元的订阅方式出售。它能完成路线导航、转向、变道和泊车,但驾驶者仍需全程监督,车辆本身并不具备自动驾驶能力。 | |
| 《一张图像等价于 16x16 个词:面向大规模图像识别的 Transformer》(ViT) 这篇 2020 年的论文表明,把图像切成图块、当作词的序列直接送进标准 Transformer,完全不用卷积,也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。 | |
| 《Segment Anything(分割一切)》 这篇 2023 年的论文提出 Segment Anything 项目:一个可提示的分割任务、一个模型,以及包含 1100 万张图像上 10 亿多个掩码的数据集,并把模型与数据一并公开,以推动计算机视觉基础模型研究。 | |
| Claude 3 Opus Claude 3 Opus 于 2024 年 3 月 4 日公布,是 Claude 3 系列中能力最强的模型。它支持图像输入,发布时上下文窗口为 20 万 token,长文本测试召回率超过 99%。 | |
| Claude 3.5 Sonnet Claude 3.5 Sonnet 于 2024 年 6 月 20 日发布,是 3.5 系列首款模型。速度是 Claude 3 Opus 的两倍,价格与中档型号相当,并随 Artifacts 一同推出。 | |
| 谷歌自动驾驶汽车原型 谷歌自动驾驶汽车原型是在量产车上加装摄像头、雷达和车顶激光测距仪的试验车,它沿人工驾驶车辆事先测绘好的路线行驶,车上始终有一名受过训练的安全驾驶员和一名软件操作员。 | |
| 多模态模型(Multimodal models) 多模态模型在同一个模型里处理不止一种输入或输出,例如图像和文本。CLIP 与 Flamingo 这两项工作展示了这类模型怎样训练出来,又怎样靠文字提示迁移到新任务。 | |
| ImageNet 图像数据库 ImageNet 是按 WordNet 概念体系组织的大型分层图像数据库,2009 年在普林斯顿大学发布,含 21841 个类别、超过 1400 万张图像及边界框标注,其 1000 类子集被 ILSVRC 挑战赛采用。 | |
| 多伦多大学 多伦多大学是加拿大的公立研究型大学。杰弗里·辛顿(Geoffrey Hinton)自1987年起与其保持隶属关系,2012年的深度卷积网络AlexNet也在这里研发。 | |
| 贝尔实验室 贝尔实验室是贝尔系统的研究机构,晶体管、Unix 和 C 语言都诞生于此。杨立昆(Yann LeCun)用于手写数字识别的卷积网络也在这里完成,使其成为神经网络研究的重要早期阵地。 | |
| 斯坦福人工智能实验室(SAIL) 斯坦福人工智能实验室(SAIL)由约翰·麦卡锡(John McCarthy)于1963年创办,与斯坦福机械臂、斯坦利自动驾驶汽车等成果相关。 | |
| 李飞飞 斯坦福计算机科学家李飞飞创建了 ImageNet 大规模图像数据集及挑战赛,为数据驱动的计算机视觉提供了共同基准,并在学界与产业界长期从事 AI 研究。 | |
| 计算机视觉与模式识别会议(CVPR) CVPR(计算机视觉与模式识别会议)是每年举办的计算机视觉学术会议,1983 年首次在华盛顿特区举行,通常在 6 月于北美召开,以多级双盲评审和论文开放获取为特点。 | |
| 安德烈·卡帕西(Andrej Karpathy) AI 研究者与教育者,生于布拉迪斯拉发,少年时移居多伦多;OpenAI 创始成员之一,曾任特斯拉 AI 总监、主讲斯坦福 CS231n 课程,后加入 Anthropic 的预训练团队。 | |
| 《ALVINN:神经网络中的自主陆地车辆》 ALVINN 是一个三层反向传播网络,以摄像头与激光测距仪的图像为输入、输出车辆应行驶的方向,用模拟道路图像训练,并在卡内基梅隆大学的自主导航测试车上做了验证。 | |
| Backpropagation Applied to Handwritten Zip Code Recognition(反向传播用于手写邮政编码识别) 1989年,杨立昆与同事在AT&T贝尔实验室用反向传播训练卷积网络,识别美国邮件上手写的邮政编码数字,测试错误率为5.0%。这项工作表明,卷积结构可以在真实任务中端到端地学习。 | |
| 微软研究院 微软 1991 年成立的研究机构,成果包括 ResNet 图像识别架构,并用于 Kinect、Bing、HoloLens 等产品。 | |
| MNIST 手写数字数据库 MNIST 是一个包含 60,000 张训练图像和 10,000 张测试图像的手写数字数据库,图像被归一化为 28×28 像素;它与 LeCun 等人 1998 年的论文一起,成为文档识别研究的共同基准。 | |
| Gradient-Based Learning Applied to Document Recognition(基于梯度的学习在文档识别中的应用) 杨立昆等人1998年的综述主张,学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法,并引入了MNIST数据集。 | |
| 《从小图像中学习多层特征》(CIFAR-10/100) CIFAR-10 与 CIFAR-100 是从 8000 万张小图像数据集中抽出的带标签子集。CIFAR-10 含 10 类、共 60000 张 32×32 彩色图像。 | |
| 从小图像中学习多层特征 Alex Krizhevsky 于 2009 年撰写的技术报告,提出 CIFAR-10 与 CIFAR-100,并研究用多层生成模型从小图像中学习特征。 | |
| NVIDIA GeForce GTX 580 NVIDIA 于 2010 年 11 月发布的消费级显卡。两张各带 3 GB 显存的 GTX 580 后来训练出了在 ILSVRC-2012 夺冠的 AlexNet。 | |
| Kinect for Windows SDK 测试版 微软于 2011 年 6 月 16 日免费发布的测试版开发工具包,让开发者能在 Windows 个人电脑上使用 Kinect 传感器的深度感知、动作追踪和语音识别能力,最初仅限非商业用途。 | |
| AlexNet AlexNet 是一个八层卷积神经网络,在 ILSVRC2012 图像分类任务中以明显优势夺冠,证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。 | |
| 用大规模无监督学习构建高层特征 2012年,Quoc Le、Andrew Ng 等人在谷歌用1000台机器训练大规模无监督神经网络,在没有标注人脸的图像上学会了检测人脸。 | |
| 用于精确目标检测与语义分割的丰富特征层级 R-CNN 把卷积神经网络用于区域提议做目标检测,在 PASCAL VOC 2012 上平均精度均值达 53.3%,比此前最好结果高出 30% 以上[^1]。 | |
| Visualizing and Understanding Convolutional Networks(可视化并理解卷积网络) Zeiler 与 Fergus 提出可视化卷积网络中间层的技术,并用消融实验找到在 ImageNet 上超越 Krizhevsky 等人的架构。 | |
| DeepFace:把人脸验证拉近人类水平 DeepFace 是 2014 年的人脸验证系统,重新设计了对齐与表示两个环节,用一个 1.2 亿多参数的九层网络在 Labeled Faces in the Wild 上达到 97.35% 的准确率。 | |
| 《Microsoft COCO:上下文中的常见物体》 2014 年发表的论文,提出 Microsoft COCO 数据集:以日常复杂场景为对象,用逐实例分割标注常见物体,把物体识别放进场景理解的大框架里。 | |
| Caffe Caffe 是以 BSD 许可证发布的 C++ 深度学习库,带 Python 和 MATLAB 绑定,用于训练和部署卷积神经网络,由 Yangqing Jia 等人在 2014 年的论文中提出。 | |
| 《卷积走得更深》(GoogLeNet / Inception) 一篇2014年的谷歌论文,提出Inception架构;其GoogLeNet在固定计算预算下加深加宽网络,在ILSVRC 2014分类与检测任务上刷新当时最好成绩。 | |
| 商汤科技 商汤科技是 2014 年 10 月成立的中国 AI 公司,2021 年底在香港上市,研发日日新(SenseNova)大模型。2026 年上半年,公司实现了上市以来首次 IFRS 口径的净利润。 | |
| 看图说话:神经图像描述生成器 这是 Vinyals 等人在 2014 年发表的论文,用一个端到端训练的深层网络把照片变成句子,在 Pascal 数据集上取得 59 的 BLEU-1 分数,而当时最好成绩为 25。 | |
| 《U-Net:用于生物医学图像分割的卷积网络》 2015 年 5 月提交到 arXiv 的生物医学图像分割卷积网络,能用极少的标注图像端到端训练,并在 ISBI 细胞追踪挑战赛 2015 的各个类别中夺冠。 | |
| Faster R-CNN:用区域建议网络实现实时目标检测 2015 年论文提出与检测网络共享卷积特征的区域建议网络,使候选区域生成几乎无额外成本,实现端到端训练;在 GPU 上达到每秒 5 帧,并在多个基准上取得当时最好精度。 | |
| YOLO:统一的实时目标检测 2015 年的论文提出 YOLO,把目标检测视为从图像像素直接回归边界框和类别概率的单一问题。一个神经网络一次评估即可完成预测,达到实时速度。 | |
| 《You Only Look Once:统一、实时的目标检测》 2015 年的 YOLO 论文把目标检测改写为单个神经网络对边界框和类别概率的回归,实现实时检测,并减少空白背景上的误检。 | |
| Deep Residual Learning for Image Recognition(用于图像识别的深度残差学习) 2015年的这篇论文提出了残差网络,通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练,并在2015年的多项ILSVRC和COCO任务中夺得第一名。 | |
| 用循环一致性对抗网络做无配对图像转换(CycleGAN) CycleGAN 在没有配对样本的情况下学习两个图像域之间的转换,用对抗损失匹配目标分布,并加入循环一致性约束来限制映射。 | |
| 用于密集目标检测的焦点损失 2017年论文,作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡,并提出降低已分类良好样本损失权重的焦点损失。 | |
| 渐进式增长 GAN:提升质量、稳定性与多样性 2017 年的一篇论文提出渐进式增长训练法:生成器与判别器从低分辨率开始逐层加深,使 GAN 训练更稳定、图像质量与多样性更高。 | |
| 大规模 GAN 训练与高保真自然图像合成(BigGAN) 2018 年的论文,作者为 Andrew Brock 等,把生成对抗网络训练到当时最大规模,提出 BigGAN,刷新了类别条件图像合成的最好成绩。 | |
| 《An Image is Worth 16x16 Words》(一张图等于 16×16 个词:用于大规模图像识别的 Transformer) 2020 年的论文。Dosovitskiy 等人证明,把图像切成小块当序列交给纯 Transformer,得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。 | |
| CLIP(对比语言-图像预训练) OpenAI 于 2021 年发布的图像-文本模型,用约 4 亿对图文数据训练,靠把图像与文字提示逐一比对来完成分类,不需要针对具体任务的训练。 | |
| 从自然语言监督中学习可迁移的视觉模型(CLIP) CLIP 是 OpenAI 用 4 亿对图文数据训练的模型,把图像与文字映射到同一个空间,因此能凭一句文字提示直接完成图像分类。 | |
| Segment Anything 分割一切模型(SAM) Segment Anything 模型(SAM)是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码,它就能圈出对应的物体。 | |
| GPT-4V(具备视觉的 GPT-4) GPT-4V 是 GPT-4 中接受图像输入的版本,OpenAI 在 2023 年 9 月 25 日的系统卡中记录了它,并通过预览版 API 向开发者开放;图像理解后来在 GPT-4o 中成为原生能力。 | |
| Fuyu-8B(无视觉编码器的多模态模型) Fuyu-8B 是 Adept 于 2023 年 10 月开源的多模态模型。它去掉了图像编码器,能接受任意分辨率的图片,面向需要读屏幕、图表和 PDF 的智能体场景。 | |
| Claude 3 Sonnet Claude 3 Sonnet 是 Anthropic Claude 3 系列中的中间型号,2024 年 3 月 4 日发布,支持 20 万 token 上下文,曾驱动 claude.ai 免费版,于 2025 年 7 月 21 日退役。 | |
| Claude 3 Haiku Claude 3 Haiku 是 Anthropic Claude 3 系列中最小、最快的模型,2024 年 3 月发布,主打低价格、20 万 token 上下文与图像输入,2026 年 4 月退役。 | |
| 《SAM 2:在图像与视频中分割一切》 SAM 2 是 Meta FAIR 提出的基础模型,用点、框或掩码等提示即可在图像和视频中分割目标,论文同时发布了大规模视频分割数据集与训练代码。 | |
| Llama 3.2 Llama 3.2 于 2024 年 9 月 25 日发布,新增 110 亿和 900 亿参数的视觉模型,以及面向边缘和移动设备的 10 亿和 30 亿参数纯文本小模型。 | |
| 计算机使用(Computer use) 计算机使用(computer use)是 Anthropic 在 2024 年 10 月开放公开测试的一项能力,让模型像人一样看屏幕、移动光标、点击和打字,从而操作原本为人设计的普通软件。 | |
| Gemini Robotics Gemini Robotics 是 Google DeepMind 的视觉-语言-动作模型,建立在 Gemini 2.0 之上,直接输出物理动作控制机器人,2025 年 3 月 12 日公布。 | |
| 特斯拉 Robotaxi 特斯拉 Robotaxi 是特斯拉的无人驾驶出租车服务,乘客通过其 App 呼叫自动驾驶车辆;专用车型 Cybercab 为双座设计,没有方向盘、踏板和后视镜。2025 年 6 月在奥斯汀开始有限服务。 | |
| 通义千问 Qwen3-VL 视觉语言模型 Qwen3-VL 是阿里巴巴通义千问团队2025年9月发布的开放视觉语言模型系列,以 Apache 2.0 许可证发布,旗舰版本为 2350 亿参数,支持长视频、界面操作与空间定位。 | |
| Reka Edge(70 亿参数端侧视觉语言模型) Reka Edge 是 Reka AI 于 2026 年 3 月 11 日发布的 70 亿参数视觉语言模型,可接收图像、视频和文本并输出文本,主打在笔记本电脑、手机和小型端侧设备上本地运行。 | |
| EXAONE 4.5(LG 首个开源视觉语言模型) EXAONE 4.5 是 LG AI Research 于 2026 年 4 月发布的首个开放权重视觉语言模型,总参数 330 亿,其中视觉编码器 12 亿,上下文长度 256K 个 token,侧重文档理解与韩语语境推理。 | |
| Claude Opus 4.7 Claude Opus 4.7 于 2026 年 4 月 16 日发布,价格与 Opus 4.6 相同,新增 xhigh 投入程度档位,并支持大得多的图像。它是首个测试自动拦截高风险网络安全请求的模型。 | |
| 视觉里程计 视觉里程计让巡视器通过跟踪行驶前后相机图像中的地形特征,测出自己实际移动了多远,而不是只靠数车轮转数。NASA 的火星探测车首次实际演示了这项技术。 | |
| 火星车 AutoNav 与 GESTALT 自主导航软件 AutoNav 是 NASA 火星探测车“勇气号”和“机遇号”使用的自主导航软件,结合立体视觉、GESTALT 地形评估、视觉里程计和 Field D* 路径规划,让火星车自行判断并选择行驶路线。 | |
| 沈向洋 沈向洋是计算机科学家,长期任职微软,参与创办微软亚洲研究院,后领导微软人工智能与研究事业部。他是 IEEE 会士与 ACM 会士,因计算机视觉与计算机图形学方面的工作受到认可。 | |
| Runway(生成式影视与实时世界模型平台) Runway 做生成式视频、图像与音频工具,服务 6000 多万创作者,同时研究能实时模拟视频、音频和界面的通用世界模型。 | |
| Reka AI Reka AI 是一家为「物理 AI 时代」构建模型与基础设施的 AI 研究实验室,代表成果包括 210 亿参数的推理模型 reka-flash-3 和面向设备端部署的 70 亿参数视觉语言模型 Reka Edge。 | |
| 斯坦福国际研究所 SRI SRI 国际(SRI International)是位于加州门洛帕克的非营利研究机构,1946 年以斯坦福研究所之名成立。它的人工智能中心造出了机器人 Shakey,后来的研究还催生了 Siri。 | |
| Quoc Le Quoc Le 是机器学习研究者,2013 年在斯坦福大学获得博士学位,是序列到序列学习、神经架构搜索和 EfficientNet 等论文的共同作者;序列到序列论文获 NeurIPS 2024 时间检验奖。 | |
| 何恺明 何恺明是计算机视觉与深度学习研究者,2015 年 ResNet 论文的第一作者,也是残差连接这一通用结构的提出者之一,现为麻省理工学院终身教职副教授。 | |
| 普林斯顿大学 普林斯顿大学1746年以「新泽西学院」之名获得特许状,是图灵、麦卡锡、明斯基取得博士学位的地方,也是李飞飞启动 ImageNet 的地方;共有17位图灵奖得主曾在此学习或任职。 | |
| 纽约大学 纽约大学是1831年获得特许状、位于纽约市格林威治村的私立研究型大学,其库朗研究所与数据科学中心使它成为机器学习研究与数据科学人才培养的重要地点。 | |
| 汤晓鸥 汤晓鸥(1968—2023)是香港中文大学信息工程学系教授、计算机视觉研究者,也是中国知名人工智能公司商汤科技的联合创始人兼董事长。 | |
| 阿里·法哈迪 阿里·法哈迪(Ali Farhadi,1982年生)是华盛顿大学的计算机科学家,2023年至2026年担任艾伦人工智能研究所首席执行官,任内该机构完成了OLMo、Molmo与Tülu的完全开放发布。 | |
| 微软亚洲研究院 微软亚洲研究院是微软在亚太地区的研究机构,1998年11月在北京成立。它研究人工智能、人机交互等方向,ResNet 论文的第一作者也曾在这里工作。 | |
| 旷视科技 旷视科技是2011年成立的中国计算机视觉公司,由三位清华毕业生创办,2012年推出人脸识别云平台Face++,是「计算机视觉四小龙」中成立最早的一家。 | |
| 依图科技 依图科技是一家中国计算机视觉公司,2012年9月由 Zhu Long 与 Lin Chenxi 共同创立。它从计算机视觉领域起步,与 Megvii、SenseTime、CloudWalk 并称「CV四小龙」。 | |
| 看图、注意与描述:带视觉注意力的神经图像描述生成 2015 年的一篇 arXiv 论文,由 Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho 等人提出带视觉注意力的图像描述模型,能在生成每个词时显示自己在看图像的哪个位置。 | |
| 云从科技 云从科技是一家技术根基来自学术人脸识别研究的中国人工智能公司,2015年4月成立,是被称作「计算机视觉四小龙」的四家中国公司中最后成立的一家。 | |
| Flamingo Flamingo 是 DeepMind 于 2022 年 4 月公布的视觉语言模型:输入可以是图像、视频和文字交错混排的提示,输出相应的语言,并能只靠几个示例学会新任务。 | |
| RT-2(机器人 Transformer 2) RT-2 是 Google DeepMind 2023 年 7 月 28 日公布的视觉-语言-动作模型,把图像和文字指令转成机器人动作,陌生场景成功率从 32% 升至 62%。 | |
| 通义千问视觉语言模型 Qwen-VL Qwen-VL 是 2023 年 8 月发布的一系列视觉语言模型,在通义千问语言模型基础上加入看图、答问、定位物体和读取文字的能力,Base 与 Chat 版本开放。 | |
| Yi-VL 多模态模型 Yi-VL-34B 与 Yi-VL-6B 是零一万物 2024 年 1 月 23 日开源的多模态模型,能够同时理解图像与文字,在 MMMU 与 CMMMU 基准上位列开源模型第一。 | |
| Step-1V 多模态大模型 Step-1V 是阶跃星辰 2024 年 3 月发布的约一千亿参数多模态大模型,能读取图像中的文字、数据和图表并支持视频理解,发布时位列 OpenCompass 多模态榜单第一,后被 Step-1.5V 接替。 | |
| Grok-1.5 与 Grok-1.5V Grok-1.5 是 xAI 对 Grok-1 的升级版,推理能力更强,上下文窗口扩至 12.8 万 token。同期预览的 Grok-1.5V 是该公司首个多模态模型。两者的权重都没有公开发布。 | |
| Project Astra Project Astra 是 Google DeepMind 的通用 AI 助手研究原型,能一边看一边听并即时回应,2024 年 5 月在 Google I/O 上展示,后基于 Gemini 2.0 更新。 | |
| SAM 2(分割一切模型第二代) SAM 2 是 Meta 于 2024 年 7 月发布的分割一切模型第二代,可以实时分割图像和视频中的物体。随模型发布的还有 SA-V 视频数据集。 | |
| 通义千问 Qwen2-VL 视觉语言模型 Qwen2-VL 是阿里巴巴于 2024 年 8 月 29 日发布的视觉语言模型。它能理解 20 分钟以上的视频,能读取多种语言的图中文字,还可以作为代理操作手机和机器人。 | |
| Pixtral 12B Mistral AI 的第一个多模态模型,把 12B 参数的语言解码器与 400M 参数、从零训练的视觉编码器组合起来,以 Apache 2.0 开放权重,2024 年 9 月发布,2025 年底退役。 | |
| Molmo Molmo 是 Ai2 于 2024 年 9 月 25 日发布的一系列开放视觉语言模型,能在图像中指出具体物体,权重、代码、数据与评测全部公开。 | |
| Pixtral Large Pixtral Large 是 Mistral AI 于 2024 年 11 月发布的开权重多模态模型,基于 Mistral Large 2,参数约 1240 亿。 | |
| DeepSeek-VL2 视觉语言模型 DeepSeek 发布的混合专家视觉语言模型系列,是 DeepSeek-VL 的后继版本,分 1.0B、2.8B、4.5B 三个激活参数规模,面向文档、表格、图表与 OCR 理解。 | |
| 通义千问 Qwen2.5-VL 视觉语言模型 通义千问 Qwen2.5-VL 是阿里巴巴 2025 年 1 月发布的视觉语言模型系列,有 3B 至 72B 四个尺寸,能读取图表和文档、定位物体并作为视觉代理工作,还能理解一小时以上的视频。 | |
| 混元 3D 2.0 混元 3D 2.0 是腾讯的大规模三维生成系统,输入条件图像即可生成带高分辨率纹理的三维资产;它由生成形状的扩散 Transformer 与生成纹理的模型组成,2025 年 1 月 21 日随技术报告一同开源。 | |
| UI-TARS UI-TARS 是字节跳动 Seed 的图形界面智能体模型,只输入截图、直接输出键盘和鼠标操作,在十多个基准上报告了当时最好的成绩,并以 Apache-2.0 协议开放权重。 | |
| Aya Vision Cohere 的第一个视觉语言模型,2025 年 3 月以 8B 和 32B 两个开放权重版本发布,支持 23 种语言的图文输入,按非商业许可开放。 | |
| Kimi-VL 视觉语言模型 Kimi-VL 是月之暗面(Moonshot AI)于 2025 年 4 月发布的开源视觉语言模型。它把 16B 参数、约 3B 激活的混合专家语言模型与原生分辨率视觉编码器组合在一起,可在宽松的 MIT 许可下使用。 | |
| UI-TARS-1.5 字节跳动 Seed 在 2025 年 4 月发布的界面操作模型,是 UI-TARS 的后继版本。7B 版本以 Apache-2.0 协议开源,完整版本在多项屏幕操作基准上报告了当时最好成绩。 | |
| Command A Vision Command A Vision 是 Cohere 2025 年 7 月发布的首个 Command 视觉语言模型,由 1120 亿参数语言模型与 SigLIP2 图像编码器组成。 | |
| GLM-4.5V 视觉语言模型 智谱于 2025 年 8 月 11 日发布的视觉语言模型,基于 GLM-4.5-Air 微调,可处理图像推理、视频理解、长文档解析与 GUI 任务;智谱称其在 42 个公开基准上取得同规模模型中的最优成绩。 | |
| UI-TARS-2 UI-TARS-2 是 UI-TARS 系列的新一代 GUI 智能体,采用多轮强化学习训练,2025 年 9 月发布技术报告,并在网页、桌面、安卓、游戏与软件工程等基准上给出成绩。 | |
| DeepSeek-OCR 光学压缩模型 DeepSeek-OCR 是一个约 3B 参数的开源文字识别模型,它把长文本渲染成图像、用很少的视觉词元把文字读回来,用来检验「光学压缩」能否代替超长文本上下文。 | |
| 文心 ERNIE-4.5-VL-28B-A3B-Thinking 百度 2025 年 11 月发布的开源多模态推理模型,总参数 280 亿、每个 token 激活 30 亿,支持「边看图边想」的放大与工具调用,权重按 Apache 2.0 开放。 | |
| SAM 3(分割一切模型第三代) SAM 3 是 Meta 于 2025 年 11 月发布的分割一切模型第三代,可依据简短文字或示例图像,找出并分割某一概念的全部实例。Meta 报告称,它在这项任务上的准确率是现有系统的两倍。 | |
| Molmo 2 Molmo 2 是 Ai2 开放视觉语言模型家族的第二代,2025 年 12 月 11 日发布,把 Molmo 从图像扩展到视频,支持指点、目标跟踪和带时间戳的问答。 | |
| Phi-4-reasoning-vision-15B Phi-4-reasoning-vision-15B 是微软于 2026 年 3 月 4 日以 MIT 许可发布的 150 亿参数开放权重视觉语言模型,能在数学、科学问题上展开推理,在图像感知任务上直接作答。 | |
| 朱松纯 朱松纯是计算机视觉方向的研究者,2002年加入加州大学洛杉矶分校,2020年9月北京大学宣布由他领导该校人工智能研究院。 | |
| 印奇 印奇是中国人工智能企业家,清华姚班毕业后与唐文斌、杨沐共同创办人脸识别公司旷视科技,后出任千里科技(原力帆科技)董事长,转向智能汽车技术。 | |
| 孙剑 孙剑是计算机视觉科学家,在微软工作13年,是 ResNet 论文的作者之一,后出任旷视首席科学家。2022年6月,他因病突然去世,享年45岁。 | |
| 施乐欧洲研究中心 XRCE 计算机视觉团队 XRCE 计算机视觉团队参加 ImageNet 挑战赛,2011 年凭高维图像签名、乘积量化与线性 SVM 赢得分类任务;其 Fisher 向量方法在 2010 至 2014 年持续表现强劲。 | |
| 徐立 徐立是商汤科技(SenseTime)的联合创始人、董事长兼首席执行官。他毕业于上海交通大学和香港中文大学,2023年曾在发布会上现场演示公司的聊天产品。 | |
| NVLM 1.0 NVLM 是 NVIDIA 的多模态大语言模型系列,论文于 2024 年 9 月发表;旗舰模型 NVLM-D-72B 随后以开放权重形式发布,限非商业用途。 | |
| Mistral OCR Mistral OCR 是 Mistral AI 于 2025 年 3 月 6 日发布的文档理解 API,能识别文档中的文本、表格、公式与媒体,覆盖数千种文字和语言,后来被更新的 OCR 版本取代。 | |
| Robostral Navigate Robostral Navigate 是 Mistral AI 的首个具身导航模型:80 亿参数,只靠一台普通 RGB 摄像头和一句自然语言指令,就能带动轮式、足式或飞行机器人移动。 |