生成式模型
| 潜在狄利克雷分配(LDA) 一个生成式概率模型,把每篇文档表示为对一组主题的有限混合,用变分近似推断与 EM 算法拟合,并在文档建模、文本分类和协同过滤上做了评测。 | |
| 深度信念网络的快速学习算法 2006 年,Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络,再做整体微调;所得带三个隐藏层的模型既能生成手写数字,分类效果也很好。 | |
| 生成对抗网络 生成对抗网络让一个生成器和一个判别器在零和博弈中相互竞争,生成器因此学会模仿训练数据的分布;2014 年由 Ian Goodfellow 等人提出,此后衍生出一系列图像生成架构。 | |
| 生成对抗网络 Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。 | |
| 基于风格的生成对抗网络生成器架构(StyleGAN) 这篇 2018 年的论文提出基于风格的 GAN 生成器架构,将高层属性与随机变化分离,并支持尺度特定控制,在分布质量、插值和解耦上取得改进。 | |
| 《NeRF:将场景表示为用于视图合成的神经辐射场》 2020 年的论文提出 NeRF:把场景表示成由 5 维坐标映射到密度与颜色的神经网络,并用相机位姿已知的稀疏图像优化,在新视图合成上取得领先结果。 | |
| 《用潜空间扩散模型进行高分辨率图像合成》 2021 年的一篇论文,把扩散模型放到预训练自编码器的潜空间里运行,降低了高分辨率图像合成的算力,并用交叉注意力接受文本或边界框等条件。 | |
| Stable Diffusion(v1) Stability AI 于 2022 年 8 月 22 日公开发布的开放权重文生图模型,基于潜扩散,可在消费级显卡上运行,让本地生成图像变得容易获得。 | |
| AlphaFold 3 AlphaFold 3 是 DeepMind 于 2024 年 5 月发布的结构预测模型,可预测蛋白质、DNA、RNA、配体等分子的结构与相互作用。[^1] | |
| ESM3 ESM3 是 EvolutionaryScale 于 2024 年 6 月发布的蛋白质生成模型,能同时依据序列、结构和功能进行推理,并生成了与已知荧光蛋白相距约 5 亿年演化距离的新蛋白。 | |
| π0(pi-zero) π0 是 Physical Intelligence 发布的通用机器人策略,从 30 亿参数的视觉语言模型改造而来,用流匹配输出连续动作,能以每秒最多 50 次的频率驱动机器人完成灵巧操作。 | |
| Seedance 2.0 视频生成模型 字节跳动于 2026 年 2 月发布的视频生成模型,可在统一架构下同时生成画面与声音,接受文本、图像、音频和视频输入;因版权争议一度暂停全球发布。 | |
| 无监督学习 无监督学习让算法在没有标签的数据上自行找出结构,如聚类、降维与生成建模。从伊辛模型、玻尔兹曼机到变分自编码器,它是聚类工具与神经生成模型背后的框架。 | |
| 玻尔兹曼机 玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出,把能量模型带进了认知科学与机器学习。 | |
| 《玻尔兹曼机的一种学习算法》 1985年,Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文,提出一种修改连接强度的通用学习规则,并用简单例子展示网络能从样本中形成结构高效的内部表示。 | |
| Mila(魁北克人工智能研究所) Mila是位于蒙特利尔的深度学习研究所,1993年由约书亚·本吉奥(Yoshua Bengio)创立,前身为LISA,培养出伊恩·古德费洛(Ian Goodfellow)等人。 | |
| 主题模型 主题模型把文档表示为主题的混合,用潜在主题为文本集合提供紧凑的统计描述;2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。 | |
| 深度神经网络声学建模 深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征,在 TIMIT 上取得 20.5% 音素错误率。 | |
| 使用均值-协方差受限玻尔兹曼机进行音素识别 2010年 NIPS 论文,Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模,在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。 | |
| 快手 快手科技是总部位于北京海淀区的短视频与直播公司,2011 年以 GIF 快手起步,2021 年在香港联交所上市,旗下有可灵视频生成大模型。 | |
| 变分自编码器 变分自编码器是一种生成模型:编码器把输入映射为隐空间上的分布,解码器从采样结果重建输入,训练时最大化数据似然的下界。 | |
| 自编码变分贝叶斯 Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文,提出一种随机变分推断与学习算法,使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。 | |
| 英矽智能 英矽智能是一家 2014 年在美国成立的药物研发公司,把 AI 软件平台 Pharma.AI 与自研药物管线和自动化实验室结合起来。 | |
| WaveNet DeepMind 提出的原始音频生成模型,逐个采样点预测波形,把神经语音合成的自然度大幅拉近人类水平,后来成为 Google Assistant 与云端语音合成的基础。 | |
| WaveNet:原始音频生成模型 WaveNet 是一个直接生成原始音频波形的深度神经网络,逐个采样点地预测声音,每个采样点都以之前所有采样点为条件。用于语音合成时,听者认为它比对照的系统明显更自然。 | |
| 深度伪造 深度伪造(deepfake)指用人工智能生成或修改的图像、视频和音频,属于合成媒体。「深度伪造」由「深度学习」与「假」组合而成,2017 年末出现后成为这类内容的通称。 | |
| 用循环一致性对抗网络做无配对图像转换(CycleGAN) CycleGAN 在没有配对样本的情况下学习两个图像域之间的转换,用对抗损失匹配目标分布,并加入循环一致性约束来限制映射。 | |
| 渐进式增长 GAN:提升质量、稳定性与多样性 2017 年的一篇论文提出渐进式增长训练法:生成器与判别器从低分辨率开始逐层加深,使 GAN 训练更稳定、图像质量与多样性更高。 | |
| 神经离散表示学习(VQ-VAE) 这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE:一种潜在编码为离散而非连续、先验由学习而非固定的生成模型,让无监督地学到有用表示成为可能。 | |
| Runway Runway 是总部位于纽约的 AI 视频公司,2018 年成立,参与发布 Stable Diffusion,并推出 Gen 系列视频模型。2026 年 2 月融资 3.15 亿美元,估值 53 亿美元。 | |
| 大规模 GAN 训练与高保真自然图像合成(BigGAN) 2018 年的论文,作者为 Andrew Brock 等,把生成对抗网络训练到当时最大规模,提出 BigGAN,刷新了类别条件图像合成的最好成绩。 | |
| Stability AI Stability AI 是一家成立于 2019 年的英国生成式 AI 公司,2022 年因公开发布开放权重图像模型 Stable Diffusion 而广为人知,此后面临关于训练数据的版权诉讼。 | |
| 去噪扩散概率模型(DDPM) 2020 年,Ho 等人训练 U-Net 逐步还原被加噪的图像,使扩散模型在图像生成上足以与 GAN 抗衡,也为 DALL-E 2、Stable Diffusion 等采用。 | |
| 扩散模型 扩散模型(diffusion models)学习逆转逐步加噪的过程,从噪声出发逐步去噪以生成图像。潜在扩散(latent diffusion)是 Stable Diffusion 的基础。 | |
| DALL·E(初代) DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像模型,用 120 亿参数和 2.5 亿对图文数据训练,按文字描述逐个图像词元生成图片。 | |
| 《零样本文生图》(DALL·E 论文) 2021 年的一篇 OpenAI 论文:用单个 120 亿参数的自回归 Transformer,在 2.5 亿对图文数据上训练,即可根据文字生成图像,零样本评测下与领域专用模型相当。 | |
| 稀宇科技(MiniMax) 稀宇科技(MiniMax)是总部位于上海的人工智能公司,2021年12月由商汤科技的计算机视觉研究者创办,开发文本、语音和视频生成模型,2026年1月在港交所上市。 | |
| Midjourney Midjourney 是一家总部位于旧金山的独立研究实验室,运营同名图像生成服务。公司由 David Holz 创办并领导,从未接受外部融资,并卷入多起版权诉讼。 | |
| DALL·E 2 DALL·E 2 是 OpenAI 于2022年4月宣布的图像生成模型,支持图像变体和语言引导的编辑。其 API 于2026年5月关停。 | |
| Imagen Imagen 是 Google Research 于 2022 年 5 月发布的文本到图像扩散模型,它把冻结的大语言模型与扩散模型结合,并提出了 DrawBench 基准;Google 未公开发布其代码或演示。 | |
| 《具备深度语言理解的照片级文生图扩散模型》(Imagen) Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型,在 COCO 上取得 7.27 的零样本 FID,并提出 DrawBench 评测基准。 | |
| Midjourney Midjourney 是由 Midjourney, Inc. 运营的 AI 图像生成服务。它于 2022 年 7 月 12 日通过 Discord 机器人开放公测,之后陆续加入网页界面、视频生成和新模型版本。 | |
| 《基于 Transformer 的可扩展扩散模型》(DiT) 2022 年,Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干,证明效果随算力稳定提升,并在 ImageNet 上取得 2.27 FID。 | |
| 爱诗科技(PixVerse) 爱诗科技(PixVerse)2023 年成立,是一家自研模型的 AI 视频生成公司,产品覆盖网页端、API 与智能体工具;2026 年 3 月的 C 轮融资使其成为独角兽。 | |
| Runway Gen-2 Runway Gen-2 是 Runway 于 2023 年 3 月推出的多模态视频生成系统,能根据文字、图片或视频片段生成新视频,是最早面向公众商用的文生视频模型之一。 | |
| Midjourney V5 Midjourney V5 是 Midjourney 文生图模型的一个版本,2023 年 3 月 15 日以 alpha 形式发布,其后经过 5.x 多轮修订,并于 2023 年 12 月由 V6 接替。 | |
| SDXL(Stable Diffusion XL) SDXL 是 Stability AI 于 2023 年 7 月发布的开源文生图扩散模型:35 亿参数的基础模型加一个精修阶段,原生生成 1024×1024 图像;蒸馏版 SDXL Turbo 把生成压缩到一步。 | |
| DALL·E 3 DALL·E 3 是 OpenAI 的图像生成模型,2023 年 9 月 20 日公布,同年 10 月在 ChatGPT 中放出。它会先把用户的简短想法扩写成详细提示词再出图,后来被 GPT Image 取代。 | |
| Black Forest Labs(黑森林实验室) Black Forest Labs(黑森林实验室)是德国弗莱堡的 AI 实验室,2024年创立,开发 FLUX 系列图像模型,2025年12月完成3亿美元 B 轮融资。 | |
| Sora(视频生成模型) Sora 是 OpenAI 的文生视频模型,2024 年 2 月预览、同年 12 月向付费用户开放,可生成长达一分钟的视频,2025 年由 Sora 2 接替,2026 年停止服务。 | |
| Stable Diffusion 3 Stable Diffusion 3 由 Stability AI 于2024年2月22日预览发布,是一组参数从8亿到80亿不等的模型,结合了扩散 Transformer 与流匹配(flow matching)。 | |
| 海螺AI 海螺AI 是 MiniMax 的生成式 AI 产品,2024 年起步于文本与音乐生成,后扩展到视频。2025 年多家好莱坞制片公司起诉 MiniMax 侵犯著作权。 | |
| Veo Veo 是 Google DeepMind 的生成式视频模型,2024 年 5 月发布,可生成超过一分钟的 1080p 视频,同年 12 月由 Veo 2 接替。 | |
| 可灵大模型 1.0 可灵大模型 1.0 是快手的视频生成模型,2024 年 6 月 6 日开放文生视频测试,可生成最长两分钟、最高 1080p 的视频。 | |
| 可灵 AI 可灵 AI 是快手的 AI 视频与图像创作平台,建立在可灵系列模型之上。2024 年 6 月开始测试,同年 7 月全球开放公测;截至 2025 年 12 月,其年化收入(ARR)已超过 2.4 亿美元。 | |
| Runway Gen-3 Alpha Runway 于 2024 年 6 月发布的视频生成模型,视频与图像联合训练,支持转场、关键帧等时间控制,后又加入 API、视频转视频和 Act-One 表演驱动。 | |
| FLUX.1 FLUX.1 是 Black Forest Labs 于2024年8月1日发布的120亿参数文生图(text-to-image)模型系列,分 pro、dev、schnell 三个版本,dev 为开放权重。 | |
| Amazon Nova Amazon Nova 是亚马逊的基础模型家族,2024年12月3日推出,只在 Amazon Bedrock 中提供,2025年12月由 Nova 2 接续。 | |
| 混元视频生成模型 HunyuanVideo 混元视频(HunyuanVideo)是腾讯开源的文生视频模型,参数超过 130 亿,2024 年 12 月发布。本地运行至少需要 60GB 显存。 | |
| Step-Video-T2V 视频生成模型 Step-Video-T2V 是阶跃星辰开源的文生视频模型,参数规模 300 亿。2025 年 2 月 17 日发布权重、代码、Turbo 版本和技术报告,采用 MIT 许可证。 | |
| 通义万相 Wan2.1 视频生成模型 通义万相 Wan2.1 是阿里巴巴于 2025 年 2 月开源的视频生成模型,可以根据文字或图片生成视频,并能在画面中呈现中英文文字。 | |
| Runway Gen-4 Runway Gen-4 是 Runway 于 2025 年 3 月 31 日发布的视频生成模型,能让角色、地点和物体在不同镜头间保持一致,依靠参考图和文本指令工作,无需针对每个项目单独训练。 | |
| 可灵 2.0 可灵 2.0 是快手于 2025 年 4 月面向全球推出的 AI 视频生成模型,被公司称为「全球最强」,带来多模态编辑能力,并提出多模态视觉语言概念。 | |
| π0.5 π0.5 是 Physical Intelligence 于 2025 年 4 月发布的视觉-语言-动作模型,主打开放环境泛化,通过混合多种异构数据共同训练,能让移动机器人整理从未见过的房间。 | |
| Veo 3 Veo 3 是 Google 于 2025 年 5 月 20 日在 Google I/O 上发布的视频生成模型,能生成带原生音频的视频,包括口型同步的角色对白;其输出带有 SynthID 水印。 | |
| FLUX.1 Kontext FLUX.1 Kontext 是 Black Forest Labs 于 2025 年 5 月 29 日宣布的图像模型系列,可以同时以文字和图片为输入,进行生成与编辑。其开放权重的 dev 版本于 2025 年 6 月发布。 | |
| Seedance 1.0 视频生成模型 Seedance 1.0 是字节跳动 Seed 于 2025 年 6 月发布的视频生成模型。同一个模型可做文生视频与图生视频,能生成 1080p 多镜头视频,并在 Artificial Analysis 两个榜单上排名第一。 | |
| Genie 3 Genie 3 是 Google DeepMind 的通用世界模型,于 2025 年 8 月 5 日公布。它用文字提示生成可实时导航的 720p 交互环境,帧率为每秒 24 帧,以有限研究预览的形式发布。 | |
| Nano Banana(Gemini 2.5 Flash Image) Nano Banana 是谷歌 Gemini 2.5 Flash Image 的昵称,2025 年 8 月 26 日发布,能融合多张图片、在多次编辑中保持人物一致,并按自然语言指令做局部修改。 | |
| Seedream 4.0 图像生成模型 Seedream 4.0 是字节跳动 Seed 团队于 2025 年 9 月发布的图像模型,把文生图、图像编辑和多图组合放进同一套架构,可输出 1K 至 4K 的原生高分辨率图像。 | |
| 混元图像 3.0 腾讯 2025 年 9 月开源的图像生成模型:原生多模态,用自回归的混合专家结构把图像理解与生成放进同一个框架。 | |
| Sora 2 Sora 2 是 OpenAI 于 2025 年 9 月 30 日发布的第二代视频与音频生成模型,并推出 iOS 社交应用。2026 年 OpenAI 宣布终止 Sora 服务。 | |
| 文心大模型 5.0 文心大模型 5.0(ERNIE 5.0)是百度于 2025 年 11 月发布的原生全模态基础模型,百度称其参数规模为 2.4 万亿,2026 年 1 月起向企业和个人开放,模型为非开源。 | |
| FLUX.2 FLUX.2 是 Black Forest Labs 于 2025 年 11 月 25 日发布的图像生成与编辑模型系列,包含托管版本与开放权重版本,支持最高 4 百万像素输出和最多 10 张参考图。 | |
| 可灵 O1 可灵 O1(Kling O1)是快手于 2025 年 12 月 1 日发布的视频模型,被介绍为「全球首个统一多模态视频模型」:文本、图像、视频与主体输入进入同一引擎,生成与编辑共用一套模型。 | |
| 可灵 3.0 可灵 3.0 是快手的视频与图像模型系列,2026 年 2 月 5 日以四款模型在全球上线。它可以一次生成最长 15 秒并带同步声音的视频,支持多镜头生成,并提供原生 4K 输出。 | |
| Gemini Omni Flash Gemini Omni Flash 是 Google DeepMind 的视频生成模型,能用文本、图像、音频和视频参考生成并修改视频。 | |
| Vidu S1(生数实时交互视频模型) Vidu S1 是生数科技 2026 年 7 月发布的实时交互视频生成模型:它把语音指令当作控制输入,在普通消费级显卡上以 540p、最高 42 帧每秒持续生成,不因时长增加而模糊或漂移。 | |
| FLUX 3 FLUX 3 是 Black Forest Labs 于 2026 年 7 月 23 日宣布的多模态模型系列,涵盖图像、视频、音频和动作预测。其视频模型于 2026 年 8 月 4 日正式开放。 | |
| Vidu S2(生数实时交互与实时编辑模型) Vidu S2 是由两个模型组成的实时视频生成系统:S2-Avatar 实时生成 720p 的交互数字人,S2-Editing 对输入视频流做实时编辑,两者还探索了面向沉浸式显示的立体视图生成。 | |
| PixVerse R2(实时世界模型) PixVerse R2 是 2026 年 9 月 22 日发布的实时世界模型,在 R1 基础上升级:它在用户身处其中时持续生成可漫游的世界,并在一次会话内保留状态。 | |
| 可灵 4.0 可灵 4.0 是 2026 年 10 月向全部用户开放的视频生成模型,支持更长镜头、多张参考图和更可信的物理碰撞,并配有面向批量生产的更快版本可灵 4.0 Flash。 | |
| Suno(AI 音乐生成) Suno 是一个 AI 音乐生成产品:用一段提示词就能做出一首歌,同时配有浏览器工作室、人声录制和分轨分离等制作工具。 | |
| ElevenLabs(语音与创意 AI 平台) ElevenLabs 是一个以语音为核心的 AI 平台,业务覆盖语音生成、面向客户体验的语音智能体(voice agent)和创意工具,2025 年底年度经常性收入达到 3.5 亿美元。 | |
| 伊恩·古德费洛(Ian Goodfellow) 伊恩·古德费洛是 2014 年提出生成对抗网络的论文第一作者,该方法让生成器与判别器互相对抗训练。他先后任职于 OpenAI、Google Brain 和 Apple。 | |
| Runway(生成式影视与实时世界模型平台) Runway 做生成式视频、图像与音频工具,服务 6000 多万创作者,同时研究能实时模拟视频、音频和界面的通用世界模型。 | |
| 德克·金马(Durk Kingma) 德克·金马(Durk Kingma)是机器学习研究者,变分自编码器与 Adam 优化算法的共同作者,先后在 OpenAI、Google Brain / DeepMind 和 Anthropic 从事研究。 | |
| 埃马德·莫斯塔克 埃马德·莫斯塔克(Emad Mostaque)是英国籍孟加拉裔前对冲基金经理,2019 年创立 Stability AI 并担任 CEO,直至 2024 年 3 月辞职。 | |
| 程一笑 程一笑是中国科技创业者,快手联合创始人,曾任首席产品官,2021 年起任首席执行官,2023 年起兼任董事长。 | |
| 克里斯托瓦尔·巴伦苏埃拉 克里斯托瓦尔·巴伦苏埃拉是出生于智利的技术人员,也是 Runway 的联合创始人兼首席执行官(CEO)。Runway 在纽约创立,开发了 Gen 系列视频生成模型。 | |
| Glow:带可逆 1x1 卷积的生成流 2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文,提出以可逆 1x1 卷积为基础的生成流模型 Glow,在标准基准上提升了对数似然,并能高效地合成与操纵大尺寸图像。 | |
| Luma AI Luma AI 是一家 2021 年成立于美国加州红木城的生成式 AI 公司,以 Dream Machine 视频应用、Ray3 视频模型和 Luma Agents 平台知名,累计融资超过 11 亿美元。 | |
| Midjourney V1 Midjourney V1 是 Midjourney 在 2022 年 2 月发布的第一个图像生成模型,通过其 Discord 服务器上的机器人使用。它生成的图像抽象、带有绘画感,几个月内就被 V2 和 V3 取代。 | |
| Midjourney V3 Midjourney V3 是 Midjourney 的第三代模型,2022 年 7 月 25 日发布,靠基于用户行为的反馈回路大幅提升出图质量;赢得科罗拉多州博览会数字艺术奖的那幅作品就出自这一时期。 | |
| Midjourney V4 Midjourney V4 是 Midjourney 于 2022 年 11 月 5 日以 alpha 形式发布的第四代图像生成模型,也是该公司首批在 Google TPU 上训练的模型,图像质量较 V3 有明显提升。 | |
| Stable Diffusion 2 Stable Diffusion 2 是 Stability AI 于 2022 年 11 月 24 日发布的开源文生图模型系列,采用新的 OpenCLIP 文本编码器,并附带超分辨率、深度引导与修复模型。 | |
| 文本水印(Watermarking) 文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号,用来判断一段文本是否出自某个模型。 | |
| Runway Gen-1 Runway Gen-1 是 2023 年 2 月推出的视频到视频扩散模型,能用文字或图片提示改写已有视频,同时保留原片结构,是最早一批投入商用的视频生成模型之一。 | |
| Stable Audio Stable Audio 由 Stability AI 于2023年9月13日推出,是一款文生音乐与音效的工具;此后又有开放权重版本和面向企业的2.5版本。 | |
| v0(Vercel 的生成式 UI 工具) v0 是 Vercel 推出的生成式 UI 工具,能把一句描述变成基于 React、Tailwind CSS 和 shadcn/ui 的前端代码。2023 年 10 月,它在积累 10 万等候名单后从 Alpha 进入 Beta。 | |
| Lyria Lyria 是 Google DeepMind 的音乐生成模型系列,2023 年 11 月首次公布。它能生成含器乐与人声的音乐,音频带 SynthID 水印。 | |
| Stable Video Diffusion Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的研究预览版图像转视频模型,可把一张静态图片生成为数秒短片。 | |
| Imagen 2 谷歌第二代文生图模型,2023 年 12 月发布,最突出的特点是能在生成的图像里画出可读的文字和标志。 | |
| Midjourney V6 Midjourney V6 是 Midjourney 图像生成模型的一个版本,2023 年 12 月 21 日以 alpha 形式发布,从头训练历时九个月;其 6.1 更新于 2024 年 7 月推出。 | |
| Genie Google DeepMind 的生成式世界模型,110 亿参数,能根据文本、图像或草图生成可逐帧操控的虚拟世界;是首个在无标注互联网视频上训练、无需动作标签的生成式交互环境。 | |
| 混元 DiT 文生图模型 混元 DiT(Hunyuan-DiT)是腾讯推出的开源文生图模型,对中文和英文提示词都有细粒度理解。2024 年的技术报告与模型权重均对外公开,人工评测中它超过多个开源模型,但落后于领先的闭源模型。 | |
| Imagen 3 谷歌在 2024 年 5 月 I/O 大会上宣布的文生图模型,谷歌称其为当时质量最高的图像生成模型,画面瑕疵更少,文字渲染也有改善。 | |
| Dream Machine(Luma AI) Dream Machine 是 Luma AI 的文本与图像生成视频工具,2024 年 6 月 12 日向公众开放。它后来成为 Luma 的 Ray3 与 Ray3.14 视频模型的载体。 | |
| 可图(Kolors) 可图(Kolors)是快手于2024年7月6日发布的开源文生图模型,基于潜在扩散,主打中英文双语提示词理解。 | |
| CogVideoX 视频生成模型 CogVideoX 是智谱 AI 与清华大学推出的开源文生视频模型系列,2024 年 8 月起陆续发布,前身是 2022 年开源的 CogVideo。 | |
| 可灵 1.5 可灵 1.5 是快手于 2024 年 9 月推出的视频生成模型版本,支持 1080p 输出、运动笔刷和多种画幅,同年 12 月由可灵 1.6 接替。 | |
| FLUX1.1 [pro] Black Forest Labs 于 2024 年 10 月 2 日发布的闭源文生图模型,只通过 API 提供。官方称其出图速度是上一代的 6 倍,并曾在 Artificial Analysis 图像竞技场登上榜首。 | |
| Movie Gen(视频生成模型) Movie Gen 是 Meta 于 2024 年 10 月 4 日首次展示的一组媒体基础模型,涵盖视频生成、个性化视频、精确视频编辑和音频生成,发布时未公开提供。 | |
| Stable Diffusion 3.5 Stability AI 于 2024 年 10 月推出的文生图模型系列:81 亿参数的 Large、4 步出图的 Large Turbo 和 25 亿参数的 Medium,按社区许可发布。 | |
| 可灵 1.6 可灵 1.6 是快手于 2024 年 12 月推出的视频生成模型升级版本,改进了对运动与镜头描述的理解和画面质量,2025 年 4 月由可灵 2.0 接替。 | |
| Genie 2 Genie 2 是 Google DeepMind 开发的基础世界模型,于 2024 年 12 月 4 日公布,能把一张提示图像变成一个可玩的 3D 环境,人和 AI 智能体都能用键盘鼠标在其中行动。 | |
| Veo 2 Veo 2 是 Google 于 2024 年 12 月 16 日公布的视频生成模型,强调对真实物理和人体动作的理解,输出分辨率最高 4K、时长可延伸至数分钟。 | |
| NVIDIA Cosmos 世界基础模型 NVIDIA Cosmos 是一组世界基础模型,可生成符合物理规律的视频,用于训练机器人和自动驾驶汽车,2025 年 1 月以开放权重发布。 | |
| 混元 3D 2.0 混元 3D 2.0 是腾讯的大规模三维生成系统,输入条件图像即可生成带高分辨率纹理的三维资产;它由生成形状的扩散 Transformer 与生成纹理的模型组成,2025 年 1 月 21 日随技术报告一同开源。 | |
| Step-Audio 语音模型 Step-Audio 是阶跃星辰 2025 年 2 月 17 日开源的语音交互模型系列,包括 1300 亿参数的 Step-Audio-Chat 和 Step-Audio-TTS-3B。 | |
| Midjourney V7 Midjourney V7 是 Midjourney 的图像生成模型,2025 年 4 月 4 日以 alpha 版本向社区开放,是该公司第一个默认开启个性化的模型,也是第一个加入低成本、高速度草稿模式的模型。 | |
| Amazon Nova Sonic Amazon Nova Sonic 是 Amazon Nova 系列中的语音到语音基础模型,2025 年 4 月 8 日发布,把语音识别、语言理解和语音生成放进同一个模型,而不是把多个模型串联起来。 | |
| Seedream 3.0 图像生成模型 Seedream 3.0 是字节跳动 Seed 团队的中英双语图像生成基础模型,在提示对齐、复杂中文字渲染、美学与原生 2K 输出上较 2.0 版有所改进,2025 年 9 月被 Seedream 4.0 接替。 | |
| 可灵 2.1 可灵 2.1 是快手 2025 年 5 月底推出的视频生成模型,分 720p、1080p 和大师版三档,同年 9 月底被可灵 2.5 Turbo 取代。[^1][^2][^3] | |
| Imagen 4 Imagen 4 是 Google 于 2025 年 5 月 20 日发布的文生图模型,最高输出 2K 分辨率,细节与文字排版有所改进,接入 Gemini 应用等产品。 | |
| Midjourney V1 视频模型 Midjourney 于 2025 年 6 月 18 日发布首个视频模型 V1,能把一张已有的图片变成约 5 秒的短片,被公司定位为通向实时开放世界模拟的第一步。 | |
| Runway Aleph Runway Aleph 是 Runway 于 2025 年 7 月推出的视频模型,能对输入视频增删或改造物体、生成场景的新角度、更换风格与光线,覆盖多种视觉任务。 | |
| 混元 3D 世界模型 1.0 混元 3D 世界模型 1.0 是腾讯开源的 3D 世界生成模型,可从文字或图像生成可探索、可导出网格的三维场景。它于 2025 年 7 月发布,此后又推出了一系列更轻量、更快的版本。 | |
| 通义万相 Wan2.2 视频生成模型 2025 年 7 月以 Apache 2.0 许可开源的视频生成模型系列,把双专家的混合专家结构引入视频扩散,其中的 5B 版本可在单张消费级显卡上运行。 | |
| 通义千问图像生成模型 Qwen-Image Qwen 系列的图像生成模型,200 亿参数,2025 年 8 月以 Apache 2.0 协议开源,以在图像中渲染文字(尤其是中文)见长。 | |
| MAI-Voice-1 MAI-Voice-1 是微软 AI 的语音生成模型,2025 年 8 月公布,是 MAI 系列的第一个模型,主打快速生成富有表现力的高保真语音。 | |
| 可灵 2.5 Turbo 可灵 2.5 Turbo 是快手于 2025 年 9 月底发布的视频生成模型,发布十天即被 Artificial Analysis 列为文生视频与图生视频全球第一,并把创作者单条视频的生成成本降低了近 30%。 | |
| Luma Ray3 Ray3 是 Luma AI 于 2025 年 9 月 18 日推出的视频生成模型,被其称为世界上第一个推理视频模型,支持 HDR 输出、原生 1080p 和 4K 神经放大。 | |
| MAI-Image-1 MAI-Image-1 是微软首个完全自研的图像生成模型,2025 年 10 月 13 日发布,同年 11 月 4 日起进入 Bing Image Creator 与 Copilot。 | |
| Veo 3.1 Veo 3.1 是 Google 于 2025 年 10 月 15 日发布的 Veo 3 更新版本,为 Flow 带来音频能力和新的编辑功能;其 API 预览版已于 2026 年 10 月 22 日停止服务。 | |
| Nano Banana Pro(Gemini 3 Pro Image) Nano Banana Pro(Gemini 3 Pro Image)是 Google 2025 年 11 月 20 日发布的图像生成模型,能在图中排文字,输出最高 4K。 | |
| Runway Gen-4.5 Runway Gen-4.5 是 2025 年 12 月发布的视频生成模型,发布时位居 Artificial Analysis 文生视频排行榜第一,后加入原生音频与多镜头编辑。 | |
| 可灵 2.6 可灵 2.6 是快手于 2025 年 12 月发布的视频生成模型,能在一次生成中同时产出画面、配音、音效与环境声,单条视频最长 10 秒。 | |
| Runway GWM-1 GWM-1 是 Runway 发布的首个「通用世界模型」,以自回归方式实时逐帧生成 720p 视频,并可由相机位姿、机器人指令或音频驱动。 | |
| Seedance 1.5 pro 音视频生成模型 火山引擎于 2025 年 12 月 18 日发布的音视频生成模型,画面、人声、音乐与环境声一起生成,并保持毫秒级同步。 | |
| Nano Banana 2(Gemini 3.1 Flash Image) Nano Banana 2 是 Google 的图像生成与编辑模型 Gemini 3.1 Flash Image,2026 年 2 月 26 日预览发布。 | |
| Midjourney V8 Midjourney V8 于 2026 年 3 月 17 日以 alpha 形式上线,出图速度约为此前的 5 倍,新增原生 2K 渲染的 --hd 模式,并改进了图中文字渲染。 | |
| MAI-Image-2 MAI-Image-2 是微软 AI 的第二代文生图模型,2026 年 4 月 2 日在 Microsoft Foundry 与 MAI Playground 向开发者开放,生成速度更快,在光照、肤色与图内文字上表现更好。 | |
| Stable Audio 3.0 Stability AI 于 2026 年 5 月发布的一组音频生成模型:三个开放权重版本加一个通过 API 提供的大模型,可生成和编辑最长约 6 分 20 秒的音乐与音效。 | |
| Muse Image 与 Muse Video Muse Image 与 Muse Video 是 Meta Superintelligence Labs 于 2026 年 7 月推出的首批媒体生成模型,其中 Muse Image 已上线。 | |
| Seedance 2.5 视频生成模型 Seedance 2.5 是字节跳动于 2026 年 7 月发布的音视频联合生成模型,单次可生成最长 30 秒的视频,支持多模态参考与局部编辑,是 Seedance 2.0 的后续版本。 | |
| 阿纳斯塔西斯·耶尔马尼迪斯 阿纳斯塔西斯·耶尔马尼迪斯是生成式 AI 视频公司 Runway 的联合创始人之一,2018 年参与创办该公司,也是 Runway 视频生成模型 Gen-1 背后研究的共同作者。 | |
| 帕特里克·埃瑟 帕特里克·埃瑟研究图像与视频生成模型:他是潜在扩散论文的共同作者、Stable Diffusion 3 论文的第一作者,并于 2024 年共同创办 Black Forest Labs。 | |
| 安德烈亚斯·布拉特曼 布拉特曼是潜空间扩散论文的第二作者,也是 Stable Diffusion 3 论文共同作者,2024 年共同创办 Black Forest Labs。 | |
| 罗宾·罗姆巴赫 潜在扩散论文的第一作者,该方法成为 Stable Diffusion 的基础;2024 年与 Andreas Blattmann、Patrick Esser 共同创办 Black Forest Labs,并担任 CEO。 | |
| Pika(视频、图像与音频创作工具) Pika 是一套面向视频、图像与音频的 AI 创作工具,除网页版外还提供 iOS 应用、Model Context Protocol 服务器和 ChatGPT 应用,并把自家模型与第三方模型并列列出供选择。 | |
| Synthesia(企业级数字人视频平台) Synthesia 是面向企业的 AI 视频平台:用户写好脚本,由 AI 数字人出镜播讲,产品覆盖视频生成、配音、翻译、录屏与动态图形,另有一条 Sessions 产品线做交互式角色演练和对话式问卷。 | |
| HeyGen(数字人视频生成) HeyGen 是一个用个人数字人制作 AI 视频的平台,用途包括社交内容、在线课程以及法律、金融、房地产等场景。其 Avatar V 模型主打长时间片段下保持一致,并支持 177 种以上语言。 | |
| 大卫·霍尔茨 大卫·霍尔茨是 Midjourney 的创始人。这家位于旧金山的独立研究实验室做出的文生图工具,是最为人所知的 AI 绘画产品之一。他此前还共同创办了手部追踪硬件公司 Leap Motion。 | |
| Midjourney V2 Midjourney V2 是 Midjourney 图像生成模型的第二个版本,2022 年 4 月 12 日发布,并在当年 7 月 V3 到来之前担任默认模型。官方后来把它描述为色彩浓烈、绘画感强,但连贯性较低。 | |
| Voxtral TTS Voxtral TTS 是 Mistral AI 于 2026 年 3 月发布的第一个文本转语音模型,约 40 亿参数,支持 9 种语言、最短 3 秒参考音频的音色克隆,权重开放但限非商业使用。 |