多模态 模型

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

GPT-4 是 OpenAI 于 2023 年 3 月 14 日发布的大型多模态模型，能接受图像和文本输入，在模拟律师资格考试中成绩接近应试者前 10%，此后被 GPT-4 Turbo、GPT-4o 和 GPT-5 接续。

Gemini 1.0 是 Google DeepMind 多模态模型家族的第一代，2023 年 12 月 6 日发布，分 Ultra、Pro、Nano 三档；Google 称 Ultra 是首个在 MMLU 上超过人类专家的模型。

Claude 3 Opus 于 2024 年 3 月 4 日公布，是 Claude 3 系列中能力最强的模型。它支持图像输入，发布时上下文窗口为 20 万 token，长文本测试召回率超过 99%。

GPT-4o 是 OpenAI 于 2024 年 5 月发布的多模态模型，能在同一个神经网络中接收文字、语音、图像和视频输入，并生成文字、语音和图像输出。2026 年 2 月，它从 ChatGPT 中下线。

π0 是 Physical Intelligence 发布的通用机器人策略，从 30 亿参数的视觉语言模型改造而来，用流匹配输出连续动作，能以每秒最多 50 次的频率驱动机器人完成灵巧操作。

Gemini 2.5 Pro 是 Google Gemini 2.5 系列的首个模型，2025 年 3 月以实验版发布，主打「思考」能力和 100 万 token 上下文，发布时即在 LMArena 登顶。

GPT-5 是 OpenAI 于 2025 年 8 月 7 日发布的第五代 GPT 基础模型。它把快速模型与深度推理模型组合在一起，并由实时路由决定每个请求交给哪一个处理。

Gemini 3 Pro 是 Google Gemini 3 系列的首个模型，2025 年 11 月以预览版发布，拥有 100 万 token 上下文窗口，并在 LMArena 等榜单登顶，在推理、编程与多模态基准上取得高分。

字节跳动于 2026 年 2 月发布的视频生成模型，可在统一架构下同时生成画面与声音，接受文本、图像、音频和视频输入；因版权争议一度暂停全球发布。

Kimi K3 是月之暗面发布的 2.8 万亿参数开放权重多模态模型，2026 年 7 月 16 日发布，7 月 27 日公开权重，适用 Kimi K3 许可证。

OpenAI 于 2021 年发布的图像-文本模型，用约 4 亿对图文数据训练，靠把图像与文字提示逐一比对来完成分类，不需要针对具体任务的训练。

DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像模型，用 120 亿参数和 2.5 亿对图文数据训练，按文字描述逐个图像词元生成图片。

Whisper 是 OpenAI 开源的语音识别系统，2022 年 9 月发布，训练数据达 68 万小时，可转写多语言语音并翻译成英文。

Runway Gen-2 是 Runway 于 2023 年 3 月推出的多模态视频生成系统，能根据文字、图片或视频片段生成新视频，是最早面向公众商用的文生视频模型之一。

日日新（SenseNova）是商汤科技的一组基础模型，2023 年 4 月 10 日发布，包含聊天机器人 SenseChat、文生图生成器和数字人视频生成器，最初只面向政府与企业客户开放。

GPT-4V 是 GPT-4 中接受图像输入的版本，OpenAI 在 2023 年 9 月 25 日的系统卡中记录了它，并通过预览版 API 向开发者开放；图像理解后来在 GPT-4o 中成为原生能力。

Fuyu-8B 是 Adept 于 2023 年 10 月开源的多模态模型。它去掉了图像编码器，能接受任意分辨率的图片，面向需要读屏幕、图表和 PDF 的智能体场景。

GPT-4 Turbo 是 OpenAI 于 2023 年 11 月 6 日发布的 GPT-4 更便宜、能力更强的版本，上下文窗口达 128,000 个 token，API 价格大幅下调。

Google Gemini 1.5 代的中型多模态模型，2024 年 2 月公布，以上百万 token 的上下文窗口著称，可在单次提示中处理长视频、整段音频和大规模代码。

Sora 是 OpenAI 的文生视频模型，2024 年 2 月预览、同年 12 月向付费用户开放，可生成长达一分钟的视频，2025 年由 Sora 2 接替，2026 年停止服务。

Claude 3 Sonnet 是 Anthropic Claude 3 系列中的中间型号，2024 年 3 月 4 日发布，支持 20 万 token 上下文，曾驱动 claude.ai 免费版，于 2025 年 7 月 21 日退役。

Claude 3 Haiku 是 Anthropic Claude 3 系列中最小、最快的模型，2024 年 3 月发布，主打低价格、20 万 token 上下文与图像输入，2026 年 4 月退役。

Phi-3 是微软的小型语言模型系列，2024 年 4 月以 38 亿参数的 Phi-3-mini 起步，这一模型小到可以在手机上运行。

日日新 5.0 是商汤科技于 2024 年 4 月发布的大语言模型，采用混合专家架构，支持约 20 万 token 上下文，商汤称其在多项基准上对标 GPT-4 Turbo。

Veo 是 Google DeepMind 的生成式视频模型，2024 年 5 月发布，可生成超过一分钟的 1080p 视频，同年 12 月由 Veo 2 接替。

可灵大模型 1.0 是快手的视频生成模型，2024 年 6 月 6 日开放文生视频测试，可生成最长两分钟、最高 1080p 的视频。

OpenVLA 是一个 70 亿参数的开源视觉-语言-动作模型，在 97 万条真实机器人演示上训练，权重、代码与微调工具一并公开，让其他团队能在自己的机器人上微调和部署。

Runway 于 2024 年 6 月发布的视频生成模型，视频与图像联合训练，支持转场、关键帧等时间控制，后又加入 API、视频转视频和 Act-One 表演驱动。

OpenAI 于 2024 年 7 月 18 日发布的小型低成本模型，API 价格远低于 GPT-4o，MMLU 得分 82%，发布当天即在 ChatGPT 中取代 GPT-3.5 Turbo。

xAI 于 2024 年 8 月发布的一对模型，以 beta 形式向 X 订阅用户开放，新增图像输入，公布基准成绩，后来公开了权重。

Llama 3.2 于 2024 年 9 月 25 日发布，新增 110 亿和 900 亿参数的视觉模型，以及面向边缘和移动设备的 10 亿和 30 亿参数纯文本小模型。

混元视频（HunyuanVideo）是腾讯开源的文生视频模型，参数超过 130 亿，2024 年 12 月发布。本地运行至少需要 60GB 显存。

Amazon Nova 是亚马逊的基础模型家族，2024年12月3日推出，只在 Amazon Bedrock 中提供，2025年12月由 Nova 2 接续。

Gemini 2.0 Flash 是 Google Gemini 2.0 世代的首个模型，2024 年 12 月以实验模型形式发布，新增多模态输出与原生工具调用，2025 年 2 月正式开放。

MiniMax-01 是 MiniMax（稀宇科技）2025 年 1 月发布的开放权重模型系列，含语言模型 MiniMax-Text-01 与视觉语言模型 MiniMax-VL-01，采用混合注意力并支持超长上下文。

Kimi k1.5 是月之暗面于 2025 年 1 月 20 日发布的多模态推理模型，公司称其在数学、编程和多模态推理上达到 OpenAI o1 的水平；其技术报告强调用强化学习训练，而不依赖树搜索与过程奖励模型。

豆包 1.5 Pro（Doubao-1.5-pro）由字节跳动于 2025 年 1 月 22 日发布，是采用稀疏混合专家架构的闭源多模态模型，并以较低价格通过火山引擎提供。

Grok 3 与更便宜的 Grok 3 mini 是 xAI 2025 年 2 月发布的推理模型。Grok 3 加入了 Think 推理模式、100 万 token 上下文窗口和 DeepSearch 研究智能体。

Helix 是 Figure 2025 年 2 月发布的人形机器人视觉-语言-动作模型，分两个速度层，用约 500 小时遥操作数据训练，全部在本机 GPU 运行。

智元机器人于 2025 年 3 月 10 日发布的通用具身模型基座，采用视觉—语言—潜在动作架构。在智元对五项任务的测试中，平均成功率从 46% 提升到 78%。

Gemini Robotics 是 Google DeepMind 的视觉-语言-动作模型，建立在 Gemini 2.0 之上，直接输出物理动作控制机器人，2025 年 3 月 12 日公布。

Gemma 3 是 Google 于 2025 年 3 月发布的第三代 Gemma 开放模型，共有 1B 到 27B 四种规模，支持 128,000 词元的上下文，较大版本可处理图像，预训练阶段覆盖 140 多种语言。

文心大模型 X1 是百度于 2025 年 3 月 16 日与文心大模型 4.5 一同发布的深度思考推理模型，支持多模态与工具调用，定价较低，此后又更新为 X1 Turbo 和 X1.1。

文心大模型 4.5 是百度于 2025 年 3 月发布的原生多模态基础模型，可处理文本、图像、音频和视频。2025 年 6 月，百度开源了该系列的十款模型。

OpenAI 于 2025 年 3 月 25 日在 ChatGPT 中发布的 GPT-4o 原生图像生成能力，取代 DALL·E 3，API 中名为 gpt-image-1，以准确渲染文字和精确遵循提示词为特点。

Runway Gen-4 是 Runway 于 2025 年 3 月 31 日发布的视频生成模型，能让角色、地点和物体在不同镜头间保持一致，依靠参考图和文本指令工作，无需针对每个项目单独训练。

Llama 4 Maverick 是 Meta 于 2025 年 4 月 5 日与 Scout 同时发布的混合专家模型，总参数 4000 亿，上下文窗口为 100 万个词元。它在 LMArena 上的排名之后受到质疑。

Llama 4 Scout 是 Meta 于 2025 年 4 月 5 日发布的混合专家模型，总参数 1090 亿，每个词元激活其中 170 亿，上下文窗口达 1000 万个词元。

日日新 V6 是商汤 2025 年 4 月 10 日发布的原生多模态混合专家模型，参数量超过 6000 亿，分为通用、推理与实时交互三个版本。

可灵 2.0 是快手于 2025 年 4 月面向全球推出的 AI 视频生成模型，被公司称为「全球最强」，带来多模态编辑能力，并提出多模态视觉语言概念。

π0.5 是 Physical Intelligence 于 2025 年 4 月发布的视觉-语言-动作模型，主打开放环境泛化，通过混合多种异构数据共同训练，能让移动机器人整理从未见过的房间。

Veo 3 是 Google 于 2025 年 5 月 20 日在 Google I/O 上发布的视频生成模型，能生成带原生音频的视频，包括口型同步的角色对白；其输出带有 SynthID 水印。

字节跳动 Seed 团队的通用大模型系列，2025 年 6 月 11 日以豆包大模型 1.6 之名发布，支持多模态输入和 256K 上下文，并能按问题自动决定是否先推理再作答。

Seedance 1.0 是字节跳动 Seed 于 2025 年 6 月发布的视频生成模型。同一个模型可做文生视频与图生视频，能生成 1080p 多镜头视频，并在 Artificial Analysis 两个榜单上排名第一。

Grok 4 与 Grok 4 Heavy 是 xAI 2025 年 7 月发布的模型。Grok 4 的 API 上下文为 25.6 万 token，训练中大规模使用强化学习；Heavy 版本则并行运行测试时计算。

Step 3 是阶跃星辰开源的多模态推理模型，总参数 3210 亿，每个 token 激活 380 亿参数。2025 年 7 月发布，采用 Apache 2.0 许可证。

Seedream 4.0 是字节跳动 Seed 团队于 2025 年 9 月发布的图像模型，把文生图、图像编辑和多图组合放进同一套架构，可输出 1K 至 4K 的原生高分辨率图像。

Qwen3-VL 是阿里巴巴通义千问团队2025年9月发布的开放视觉语言模型系列，以 Apache 2.0 许可证发布，旗舰版本为 2350 亿参数，支持长视频、界面操作与空间定位。

腾讯 2025 年 9 月开源的图像生成模型：原生多模态，用自回归的混合专家结构把图像理解与生成放进同一个框架。

文心大模型 5.0（ERNIE 5.0）是百度于 2025 年 11 月发布的原生全模态基础模型，百度称其参数规模为 2.4 万亿，2026 年 1 月起向企业和个人开放，模型为非开源。

可灵 O1（Kling O1）是快手于 2025 年 12 月 1 日发布的视频模型，被介绍为「全球首个统一多模态视频模型」：文本、图像、视频与主体输入进入同一引擎，生成与编辑共用一套模型。

Mistral AI 于 2025 年 12 月发布的旗舰模型，稀疏混合专家架构，总参数 6750 亿，开放权重，支持图像理解与 40 多种语言。

Kimi K2.5 是月之暗面于 2026 年 1 月 27 日发布的开放权重模型，原生支持多模态，总参数 1 万亿，上下文 256K 个词元，并带有可并行调度子智能体的 Agent Swarm 功能。

可灵 3.0 是快手的视频与图像模型系列，2026 年 2 月 5 日以四款模型在全球上线。它可以一次生成最长 15 秒并带同步声音的视频，支持多镜头生成，并提供原生 4K 输出。

豆包大模型 2.0（Seed2.0）是字节跳动于 2026 年 2 月发布的模型系列，包含 Pro、Lite、Mini 三款面向智能体任务的版本，并公布了基准成绩与低价 token 策略。

通义千问 Qwen3.5 是阿里巴巴2026年2月发布的原生多模态模型系列，开放旗舰总参数 3970 亿、每个词元激活 170 亿，以 Apache 2.0 许可证发布。

Gemini 3.1 Pro 是 Google 于 2026 年 2 月 19 日以预览形式发布的大语言模型，在 ARC-AGI-2 上取得 77.1% 的验证成绩，并取代了 gemini-3-pro-preview。

Reka Edge 是 Reka AI 于 2026 年 3 月 11 日发布的 70 亿参数视觉语言模型，可接收图像、视频和文本并输出文本，主打在笔记本电脑、手机和小型端侧设备上本地运行。

Gemma 4 是 Google 在 2026 年 4 月发布的第四代开放权重模型，与 Gemini 3 建立在同一套研究和技术之上，覆盖从手机可跑的 E2B、E4B，到 26B 混合专家模型和 31B 稠密模型。

Muse Spark 是 Meta Superintelligence Labs 于 2026 年 4 月 8 日推出的首个模型，最初闭源，驱动 Meta AI 应用和 meta.ai，后来推出了开放权重版本。

EXAONE 4.5 是 LG AI Research 于 2026 年 4 月发布的首个开放权重视觉语言模型，总参数 330 亿，其中视觉编码器 12 亿，上下文长度 256K 个 token，侧重文档理解与韩语语境推理。

π0.7 是 Physical Intelligence 发布的通用机器人操作模型，在多种灵巧任务上达到微调专用模型的水平，并能听从新的语言指令、把已有技能重新组合用于没见过的场景。

Gemini Omni Flash 是 Google DeepMind 的视频生成模型，能用文本、图像、音频和视频参考生成并修改视频。

Command A+ 是 Cohere 于 2026 年 5 月 20 日以 Apache 2.0 许可发布的开源混合专家模型，总参数 2180 亿、激活 250 亿，面向主权部署与关键基础设施场景。

MiniMax 于 2026 年 6 月发布的大规模混合专家语言模型，总参数约 428B，支持 100 万 token 上下文，并引入为长上下文设计的新型稀疏注意力。[^1]

字节跳动 Seed 团队于 2026 年 6 月 23 日发布的大模型系列，分 Pro 与 Turbo 两版，面向真实生产力场景，在智能体能力、代码交付、知识、推理与多模态理解上均有提升。

Vidu S1 是生数科技 2026 年 7 月发布的实时交互视频生成模型：它把语音指令当作控制输入，在普通消费级显卡上以 540p、最高 42 帧每秒持续生成，不因时长增加而模糊或漂移。

Inkling 是 Thinking Machines Lab 发布的第一个模型：9750 亿参数混合专家模型，开放权重，原生支持文本、图像和音频输入，上下文窗口最高 100 万 token。

FLUX 3 是 Black Forest Labs 于 2026 年 7 月 23 日宣布的多模态模型系列，涵盖图像、视频、音频和动作预测。其视频模型于 2026 年 8 月 4 日正式开放。

Step 5 Preview 是阶跃星辰 2026 年 9 月发布的旗舰基础模型预览版，采用稀疏混合专家架构，总参数 6000 亿，支持 100 万 token 上下文，并公开了模型权重。

Vidu S2 是由两个模型组成的实时视频生成系统：S2-Avatar 实时生成 720p 的交互数字人，S2-Editing 对输入视频流做实时编辑，两者还探索了面向沉浸式显示的立体视图生成。

DeepSeek-V4.1-Flash 于 2026 年 9 月 10 日发布，是一款 5520 亿参数的多模态混合专家模型，API 模型名为 deepseek-flash。

PixVerse R2 是 2026 年 9 月 22 日发布的实时世界模型，在 R1 基础上升级：它在用户身处其中时持续生成可漫游的世界，并在一次会话内保留状态。

Mistral Large 4 是 Mistral AI 的旗舰开放权重模型，总参数约 1 万亿，上下文窗口为 100 万词元（token），原生支持多模态。2026年10月6日公开预览，同年10月29日发布改进版权重。

Muse Spark Open 是 Meta 于 2026 年 10 月 15 日发布的开放权重大语言模型，总参数 8,160 亿，主打编程和智能体任务，权重可下载。

可灵 4.0 是 2026 年 10 月向全部用户开放的视频生成模型，支持更长镜头、多张参考图和更可信的物理碰撞，并配有面向批量生产的更快版本可灵 4.0 Flash。

LFM3-Omni-2B 是 Liquid AI 在 LFM3 系列中推出的首个全模态模型：一个 21.7 亿参数的模型即可读入文本、图像、视频和音频，并以文字或语音作答。

Flamingo 是 DeepMind 于 2022 年 4 月公布的视觉语言模型：输入可以是图像、视频和文字交错混排的提示，输出相应的语言，并能只靠几个示例学会新任务。

Gato 是 DeepMind 于 2022 年 5 月公布的通用智能体。同一套网络权重可处理文本、图像、Atari 游戏和机器人控制，目标是覆盖多种任务与具身形态。

Runway Gen-1 是 2023 年 2 月推出的视频到视频扩散模型，能用文字或图片提示改写已有视频，同时保留原片结构，是最早一批投入商用的视频生成模型之一。

RT-2 是 Google DeepMind 2023 年 7 月 28 日公布的视觉-语言-动作模型，把图像和文字指令转成机器人动作，陌生场景成功率从 32% 升至 62%。

Qwen-VL 是 2023 年 8 月发布的一系列视觉语言模型，在通义千问语言模型基础上加入看图、答问、定位物体和读取文字的能力，Base 与 Chat 版本开放。

Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的研究预览版图像转视频模型，可把一张静态图片生成为数秒短片。

Yi-VL-34B 与 Yi-VL-6B 是零一万物 2024 年 1 月 23 日开源的多模态模型，能够同时理解图像与文字，在 MMMU 与 CMMMU 基准上位列开源模型第一。

日日新 4.0（SenseNova 4.0）于 2024 年 2 月 8 日发布，推出 4K、32K 和 128K 三档上下文版本、多个专用模型，以及商汤首个多模态工具调用接口。

Step-1V 是阶跃星辰 2024 年 3 月发布的约一千亿参数多模态大模型，能读取图像中的文字、数据和图表并支持视频理解，发布时位列 OpenCompass 多模态榜单第一，后被 Step-1.5V 接替。

Grok-1.5 是 xAI 对 Grok-1 的升级版，推理能力更强，上下文窗口扩至 12.8 万 token。同期预览的 Grok-1.5V 是该公司首个多模态模型。两者的权重都没有公开发布。

Gemini 1.5 Flash 是 Google Gemini 1.5 系列中的轻量模型，2024 年 5 月 14 日发布，由 1.5 Pro 蒸馏训练而来，上下文窗口为 100 万 token，主打快速与低成本。

商汤于 2024 年 7 月在世界人工智能大会上发布的日日新 5.5 模型系列，包含实时多模态模型、轻量与端侧版本，并以迁移优惠争取 OpenAI 客户。

Phi-3.5 是微软 Phi 系列小模型在 2024 年 8 月的一次更新，一次发布 mini、vision 和该系列首个混合专家模型三个版本，均以 MIT 许可证开放。

Qwen2-VL 是阿里巴巴于 2024 年 8 月 29 日发布的视觉语言模型。它能理解 20 分钟以上的视频，能读取多种语言的图中文字，还可以作为代理操作手机和机器人。

可灵 1.5 是快手于 2024 年 9 月推出的视频生成模型版本，支持 1080p 输出、运动笔刷和多种画幅，同年 12 月由可灵 1.6 接替。

Mistral AI 的第一个多模态模型，把 12B 参数的语言解码器与 400M 参数、从零训练的视觉编码器组合起来，以 Apache 2.0 开放权重，2024 年 9 月发布，2025 年底退役。

Molmo 是 Ai2 于 2024 年 9 月 25 日发布的一系列开放视觉语言模型，能在图像中指出具体物体，权重、代码、数据与评测全部公开。

讯飞星火 4.0 Turbo 是科大讯飞 2024 年 10 月发布、2025 年 1 月升级的大语言模型，训练与推理都在国产飞星一号算力平台上完成，讯飞称其多项中英文测试成绩超过 GPT-4 Turbo 与 GPT-4o。

Pixtral Large 是 Mistral AI 于 2024 年 11 月发布的开权重多模态模型，基于 Mistral Large 2，参数约 1240 亿。

可灵 1.6 是快手于 2024 年 12 月推出的视频生成模型升级版本，改进了对运动与镜头描述的理解和画面质量，2025 年 4 月由可灵 2.0 接替。

DeepSeek 发布的混合专家视觉语言模型系列，是 DeepSeek-VL 的后继版本，分 1.0B、2.8B、4.5B 三个激活参数规模，面向文档、表格、图表与 OCR 理解。

Veo 2 是 Google 于 2024 年 12 月 16 日公布的视频生成模型，强调对真实物理和人体动作的理解，输出分辨率最高 4K、时长可延伸至数分钟。

Megrez-3B-Omni 是 2024 年 12 月发布的开源全模态模型，能在端侧设备上理解图像、文本与音频，以 22.9 亿参数的语言主干搭配 SigLip 与 Whisper 编码器，总参数约 40 亿。

通义千问 Qwen2.5-VL 是阿里巴巴 2025 年 1 月发布的视觉语言模型系列，有 3B 至 72B 四个尺寸，能读取图表和文档、定位物体并作为视觉代理工作，还能理解一小时以上的视频。

Janus-Pro 是 DeepSeek 于 2025 年 1 月 27 日发布的多模态模型，同一个模型既能看图生文，也能按文字生成图片，有 1B 和 7B 两个规模，是 Janus 的升级版。

Google 于 2025 年 2 月发布的实验性模型，属于 Gemini 2.0 系列，被 Google 称为当时在编程和复杂提示上最好的模型，支持 200 万 token 的上下文窗口与工具调用。

Step-Audio 是阶跃星辰 2025 年 2 月 17 日开源的语音交互模型系列，包括 1300 亿参数的 Step-Audio-Chat 和 Step-Audio-TTS-3B。

Phi-4-mini 是 38 亿参数的文本模型，Phi-4-multimodal 是 56 亿参数、可同时处理文字、图像与语音的模型，二者于 2025 年 2 月作为 Phi-4 家族的小尺寸成员发布。

Cohere 的第一个视觉语言模型，2025 年 3 月以 8B 和 32B 两个开放权重版本发布，支持 23 种语言的图文输入，按非商业许可开放。

Mistral Small 3.1 是 Mistral AI 于 2025 年 3 月发布的开放权重模型，新增图像理解，上下文窗口扩至 128K token，可在单卡上运行。

Qwen2.5-Omni 是阿里巴巴的端到端全模态模型，输入可包括文字、图片、音频和视频，并以文字与自然语音作答。7B 版本于 2025 年 3 月 26 日发布。

Kimi-VL 是月之暗面（Moonshot AI）于 2025 年 4 月发布的开源视觉语言模型。它把 16B 参数、约 3B 激活的混合专家语言模型与原生分辨率视觉编码器组合在一起，可在宽松的 MIT 许可下使用。

Llama 4 Behemoth 是 Meta 于 2025 年 4 月 5 日预览的超大模型，用作 Llama 4 系列的教师模型。它从未公开发布。

Amazon Nova Sonic 是 Amazon Nova 系列中的语音到语音基础模型，2025 年 4 月 8 日发布，把语音识别、语言理解和语音生成放进同一个模型，而不是把多个模型串联起来。

文心大模型 4.5 Turbo 是百度于 2025 年 4 月 25 日发布的多模态大模型，主打更低的幻觉率、更快的响应和大幅下调的 API 价格。

Amazon Nova Premier 是亚马逊 Nova 系列第一代中最强的模型，2025 年 4 月 30 日起在 Amazon Bedrock 正式可用，支持文本、图像与视频输入。

可灵 2.1 是快手 2025 年 5 月底推出的视频生成模型，分 720p、1080p 和大师版三档，同年 9 月底被可灵 2.5 Turbo 取代。[^1][^2][^3]

苹果基础模型（2025）是苹果的第二代模型。它增加了图像理解能力，服务器模型改用混合专家结构，并通过 Foundation Models 框架向开发者开放端侧模型。

Gemma 3n 是 Gemma 家族中以移动端为先的开放模型，2025 年 6 月发布，有 E2B 与 E4B 两个规格，运行时占用约 2 至 3 GB 内存，原生支持图像、音频、视频和文本输入。

日日新 V6.5 是商汤于 2025 年 7 月发布的增强版多模态模型，以图文交错的思维链为核心能力，并驱动小浣熊助手的智能体升级。

Voxtral 是 Mistral AI 于 2025 年 7 月 15 日发布的语音理解模型系列，含 240 亿与 30 亿参数两个规模，以 Apache 2.0 许可发布，可转写长音频、就音频内容问答，并按口述意图触发函数调用。

Step-Audio 2 是阶跃星辰（StepFun）发布的语音模型，既能理解音频内容，也能进行语音对话。其中 mini 版本于 2025 年以 Apache 2.0 许可证开源。

Runway Aleph 是 Runway 于 2025 年 7 月推出的视频模型，能对输入视频增删或改造物体、生成场景的新角度、更换风格与光线，覆盖多种视觉任务。

Command A Vision 是 Cohere 2025 年 7 月发布的首个 Command 视觉语言模型，由 1120 亿参数语言模型与 SigLIP2 图像编码器组成。

智谱于 2025 年 8 月 11 日发布的视觉语言模型，基于 GLM-4.5-Air 微调，可处理图像推理、视频理解、长文档解析与 GUI 任务；智谱称其在 42 个公开基准上取得同规模模型中的最优成绩。

MAI-Voice-1 是微软 AI 的语音生成模型，2025 年 8 月公布，是 MAI 系列的第一个模型，主打快速生成富有表现力的高保真语音。

Qwen3-Omni 是通义千问团队 2025 年 9 月以 Apache 2.0 协议发布的全模态模型，可接收文本、音频与视频输入，并用文本或多语种语音作答。

可灵 2.5 Turbo 是快手于 2025 年 9 月底发布的视频生成模型，发布十天即被 Artificial Analysis 列为文生视频与图生视频全球第一，并把创作者单条视频的生成成本降低了近 30%。

Ray3 是 Luma AI 于 2025 年 9 月 18 日推出的视频生成模型，被其称为世界上第一个推理视频模型，支持 HDR 输出、原生 1080p 和 4K 神经放大。

Google DeepMind 的机器人模型组合：负责动手的 Gemini Robotics 1.5 与负责规划、会调用工具的 Gemini Robotics-ER 1.5。

Veo 3.1 是 Google 于 2025 年 10 月 15 日发布的 Veo 3 更新版本，为 Flow 带来音频能力和新的编辑功能；其 API 预览版已于 2026 年 10 月 22 日停止服务。

DeepSeek-OCR 是一个约 3B 参数的开源文字识别模型，它把长文本渲染成图像、用很少的视觉词元把文字读回来，用来检验「光学压缩」能否代替超长文本上下文。

百度 2025 年 11 月发布的开源多模态推理模型，总参数 280 亿、每个 token 激活 30 亿，支持「边看图边想」的放大与工具调用，权重按 Apache 2.0 开放。

Runway Gen-4.5 是 2025 年 12 月发布的视频生成模型，发布时位居 Artificial Analysis 文生视频排行榜第一，后加入原生音频与多镜头编辑。

亚马逊 Nova 2 是 Nova 模型的第二代，2025 年 12 月在 AWS re:Invent 大会上发布。首款成员 Nova 2 Lite 是快速的推理模型，提供 100 万词元上下文。

Mistral AI 于 2025 年 12 月发布的小型稠密模型系列，含 3B、8B、14B 三个规模，每个规模都有基础、指令和推理版本，均支持图像理解，以 Apache 2.0 许可发布。

可灵 2.6 是快手于 2025 年 12 月发布的视频生成模型，能在一次生成中同时产出画面、配音、音效与环境声，单条视频最长 10 秒。

Molmo 2 是 Ai2 开放视觉语言模型家族的第二代，2025 年 12 月 11 日发布，把 Molmo 从图像扩展到视频，支持指点、目标跟踪和带时间戳的问答。

GWM-1 是 Runway 发布的首个「通用世界模型」，以自回归方式实时逐帧生成 720p 视频，并可由相机位姿、机器人指令或音频驱动。

火山引擎于 2025 年 12 月 18 日发布的音视频生成模型，画面、人声、音乐与环境声一起生成，并保持毫秒级同步。

豆包大模型 1.8（Doubao-Seed-1.8）由火山引擎于 2025 年 12 月 18 日发布，定位为字节跳动最新旗舰，面向多模态智能体任务，工具调用和电脑操作能力更强。

Phi-4-reasoning-vision-15B 是微软于 2026 年 3 月 4 日以 MIT 许可发布的 150 亿参数开放权重视觉语言模型，能在数学、科学问题上展开推理，在图像感知任务上直接作答。

Mistral Small 4 是 2026 年 3 月发布的开源混合专家模型，把指令跟随、逐步推理和智能体编程合进一个模型，并用一个参数控制推理的深浅。

微软 AI 于 2026 年 4 月发布的语音转文字模型，支持 25 种语言，驱动 Copilot 语音模式，音频转写价格每小时 0.36 美元起。

日日新 U1（SenseNova U1）是商汤科技 2026 年 4 月发布的开放权重多模态模型，采用 Apache 2.0 协议，不用独立的视觉编码器和 VAE 就能理解和生成图像。

Step 3.7 Flash 是阶跃星辰于 2026 年 5 月 29 日发布的开源权重模型，在 Step 3.5 Flash 的基础上加入了原生图像输入，支持 256K 上下文，采用 Apache 2.0 许可证。

苹果基础模型第三代（AFM 3）于 2026 年 6 月 8 日发布，由五个模型组成，包括可达 200 亿参数的稀疏端侧多模态模型和三个云端模型。

GPT-Live-1 是 OpenAI 于 2026 年 7 月 8 日推出的全双工语音模型家族，能一边听一边说，取代了 ChatGPT 语音功能原先串联三个模型的做法。

Seedance 2.5 是字节跳动于 2026 年 7 月发布的音视频联合生成模型，单次可生成最长 30 秒的视频，支持多模态参考与局部编辑，是 Seedance 2.0 的后续版本。

日日新 U1.5 是商汤发布的开源权重模型，80 亿参数，用同一套网络完成图像理解、推理与原生 4K 生成，不依赖独立的视觉编码器或 VAE，以 Apache 2.0 许可开放。

MiniMax-M3.1-Flash 是 MiniMax 的稀疏混合专家模型，约 428B 总参数、23B 激活，支持文本、图像、视频输入，上下文最长 100 万 token。

PLaMo 3 Translate 是 Preferred Networks（PFN）推出的翻译专用模型系列，有 0.8B、2B、8B、31B 四种规模，覆盖 53 种语言，并提供多种量化格式与社区许可。

Nemotron 3.5 Transcribe 是英伟达于 2026 年 10 月 28 日发布的免费、开放权重语音转写模型。它能处理长达一小时的录音，支持最多 40 种语言的转写，并可区分最多 8 位说话人。

商汤于 2026 年 11 月在香港发布的多模态智能体模型，面向办公与设计生成：具备长期记忆与任务执行能力，可产出 PPTX 演示、网页、SVG 图形乃至 Blender 三维模型。

NVLM 是 NVIDIA 的多模态大语言模型系列，论文于 2024 年 9 月发表；旗舰模型 NVLM-D-72B 随后以开放权重形式发布，限非商业用途。