模型

2024

• 2024 年 7 月 24 日 Mistral Large 2

  Mistral AI 的第二代旗舰模型，2024 年 7 月发布，1230 亿参数，128K token 上下文窗口，语言与编程语言覆盖广，权重以研究许可发布。

  大语言模型企业软件代码

• 2024 年 7 月 23 日 Llama 3.1（含 405B）

  Llama 3.1 于 2024 年 7 月 23 日发布，在 Llama 3 系列中加入了 4050 亿参数的模型，并把上下文扩展到 12.8 万个词元。Meta 称，这是目前最强、可公开获取的基础模型。

  大语言模型开源基础模型

• 2024 年 7 月 18 日 GPT-4o mini

  OpenAI 于 2024 年 7 月 18 日发布的小型低成本模型，API 价格远低于 GPT-4o，MMLU 得分 82%，发布当天即在 ChatGPT 中取代 GPT-3.5 Turbo。

  大语言模型消费级应用多模态

• 2024 年 7 月 18 日 Mistral NeMo

  Mistral NeMo 是 Mistral AI 与 NVIDIA 于 2024 年 7 月发布的 120 亿参数开放权重模型，支持 128K token 上下文与多语言。

  大语言模型开源硬件与算力

• 2024 年 7 月 16 日 SmolLM

  SmolLM 是 Hugging Face 于 2024 年 7 月公开发布的一系列小型语言模型，参数量分别为 135M、360M 和 1.7B，面向设备端运行，并用一套专门构建的语料训练。

  大语言模型开源消费级应用

• 2024 年 7 月 16 日 Mathstral

  Mathstral 是 Mistral AI 于 2024 年 7 月 16 日发布的 70 亿参数数学模型，基于 Mistral 7B 构建，专攻数学与 STEM 推理，以 apache-2.0 许可开放权重，现已被列为弃用模型。

  开源推理科学发现

• 2024 年 7 月 16 日 Codestral Mamba

  Codestral Mamba 是 Mistral AI 于 2024 年 7 月发布的 7B 开源代码模型，用 Mamba 状态空间架构取代 Transformer，以获得线性时间的推理开销。

  开源开发者工具代码

• 2024 年 7 月 6 日 可图（Kolors）

  可图（Kolors）是快手于2024年7月6日发布的开源文生图模型，基于潜在扩散，主打中英文双语提示词理解。

  开源中国 AI生成式模型

• 2024 年 7 月 5 日 日日新 5.5

  商汤于 2024 年 7 月在世界人工智能大会上发布的日日新 5.5 模型系列，包含实时多模态模型、轻量与端侧版本，并以迁移优惠争取 OpenAI 客户。

  大语言模型中国 AI企业软件

• 2024 年 7 月 5 日 Step-2 万亿参数语言大模型

  Step-2 是阶跃星辰推出的万亿参数语言大模型，采用混合专家架构。2024 年 3 月公布预览版，7 月在 WAIC 发布正式版。

  大语言模型中国 AI基础模型

• 2024 年 6 月 27 日 Gemma 2

  Google 于 2024 年 6 月 27 日发布的第二代 Gemma 开放模型，含 90 亿与 270 亿参数两个版本，采用分组查询注意力与 8192 词元上下文窗口，许可证允许商业使用。

  大语言模型开源开发者工具

• 2024 年 6 月 27 日 讯飞星火 V4.0

  科大讯飞于 2024 年 6 月 27 日发布的大语言模型，完全在与华为共建的国产算力平台上训练；讯飞称其达到 GPT-4 水平，同时承认代码与多模态能力落后。

  大语言模型中国 AI基础模型

• 2024 年 6 月 25 日 ESM3

  ESM3 是 EvolutionaryScale 于 2024 年 6 月发布的蛋白质生成模型，能同时依据序列、结构和功能进行推理，并生成了与已知荧光蛋白相距约 5 亿年演化距离的新蛋白。

  开源基础模型生成式模型

• 2024 年 6 月 20 日 Claude 3.5 Sonnet

  Claude 3.5 Sonnet 于 2024 年 6 月 20 日发布，是 3.5 系列首款模型。速度是 Claude 3 Opus 的两倍，价格与中档型号相当，并随 Artifacts 一同推出。

  大语言模型企业软件消费级应用

• 2024 年 6 月 17 日 DeepSeek-Coder-V2 代码模型

  DeepSeek 2024 年 6 月发布的开源混合专家代码模型，支持语言从 86 种增至 338 种、上下文从 16K 扩到 128K，并在代码与数学基准上高于多个闭源模型。

  大语言模型开源中国 AI

• 2024 年 6 月 17 日 Runway Gen-3 Alpha

  Runway 于 2024 年 6 月发布的视频生成模型，视频与图像联合训练，支持转场、关键帧等时间控制，后又加入 API、视频转视频和 Act-One 表演驱动。

  多模态生成式模型创意工具

• 2024 年 6 月 14 日 Nemotron-4 340B

  Nemotron-4 340B 是 NVIDIA 于 2024 年 6 月 14 日发布的开放模型系列，包括基础、指令和奖励三个版本，用于生成合成训练数据。

  大语言模型开源企业软件

• 2024 年 6 月 13 日 OpenVLA

  OpenVLA 是一个 70 亿参数的开源视觉-语言-动作模型，在 97 万条真实机器人演示上训练，权重、代码与微调工具一并公开，让其他团队能在自己的机器人上微调和部署。

  开源基础模型多模态

• 2024 年 6 月 10 日 苹果基础模型（AFM，2024）

  苹果基础模型（AFM，2024）是 Apple 智能背后的第一代模型，包括约 30 亿参数的端侧模型，以及运行在 Private Cloud Compute 上的较大服务器模型。

  大语言模型消费级应用基础模型

• 2024 年 6 月 7 日 通义千问 Qwen2

  通义千问 Qwen2 是 2024 年 6 月发布的新一代模型，包含 0.5B 至 72B 的五个尺寸，上下文最长可达 128K，多数尺寸采用 Apache 2.0 许可。

  大语言模型开源中国 AI

• 2024 年 6 月 6 日 可灵大模型 1.0

  可灵大模型 1.0 是快手的视频生成模型，2024 年 6 月 6 日开放文生视频测试，可生成最长两分钟、最高 1080p 的视频。

  中国 AI多模态生成式模型

• 2024 年 6 月 文心大模型 4.0 Turbo

  文心大模型 4.0 Turbo 是百度于 2024 年 6 月发布的语言模型，百度称其在常见场景上更强、比文心 4.0 更快更便宜，位于文心 4.0 与文心 4.5 之间。

  大语言模型中国 AI消费级应用

• 2024 年 5 月 29 日 Codestral

  Codestral 是 Mistral AI 的代码模型系列，2024 年 5 月首次发布时为 22B 参数、32K 上下文的开放权重模型，此后版本在上下文长度、生成速度和补全质量上继续推进。

  大语言模型开发者工具代码

• 2024 年 5 月 23 日 Aya 23

  Aya 23 是 Cohere For AI 发布的开放权重多语言指令微调模型，2024 年 5 月推出 80 亿和 350 亿参数两个版本，覆盖 23 种语言，作者称其表现优于 Aya 101 等模型。

  大语言模型开源基础模型

• 2024 年 5 月 22 日 Baichuan 4

  Baichuan 4 是百川智能于 2024 年 5 月 22 日在北京发布的闭源大语言模型，也是百川第一个多模态模型，同日上线的 AI 助手「百小应」由它驱动。

  大语言模型中国 AI消费级应用

• 2024 年 5 月 15 日 豆包大模型（2024）

  字节跳动通过火山引擎于 2024 年 5 月推出的豆包大模型系列，以远低于同行的定价提供通用、语音与文生图模型，被认为引发了中国大模型价格战。

  大语言模型中国 AI企业软件

• 2024 年 5 月 14 日 Gemini 1.5 Flash

  Gemini 1.5 Flash 是 Google Gemini 1.5 系列中的轻量模型，2024 年 5 月 14 日发布，由 1.5 Pro 蒸馏训练而来，上下文窗口为 100 万 token，主打快速与低成本。

  大语言模型多模态开发者工具

• 2024 年 5 月 14 日 Veo

  Veo 是 Google DeepMind 的生成式视频模型，2024 年 5 月发布，可生成超过一分钟的 1080p 视频，同年 12 月由 Veo 2 接替。

  多模态生成式模型创意工具

• 2024 年 5 月 14 日 Imagen 3

  谷歌在 2024 年 5 月 I/O 大会上宣布的文生图模型，谷歌称其为当时质量最高的图像生成模型，画面瑕疵更少，文字渲染也有改善。

  生成式模型创意工具图像生成

• 2024 年 5 月 14 日 混元 DiT 文生图模型

  混元 DiT（Hunyuan-DiT）是腾讯推出的开源文生图模型，对中文和英文提示词都有细粒度理解。2024 年的技术报告与模型权重均对外公开，人工评测中它超过多个开源模型，但落后于领先的闭源模型。

  开源中国 AI生成式模型

• 2024 年 5 月 13 日 Yi-Large

  Yi-Large 是零一万物于 2024 年 5 月 13 日发布的千亿参数闭源大模型，通过其 API 平台提供，官方公布了在 AlpacaEval 2.0、SuperCLUE 等基准上的排名。

  大语言模型中国 AI企业软件

• 2024 年 5 月 13 日 Yi-1.5

  Yi-1.5 是零一万物于 2024 年 5 月开源的模型系列，含 34B、9B、6B 三种规模，各有基础版与对话版，由原 Yi 模型继续预训练而来。

  大语言模型开源中国 AI

• 2024 年 5 月 13 日 GPT-4o

  GPT-4o 是 OpenAI 于 2024 年 5 月发布的多模态模型，能在同一个神经网络中接收文字、语音、图像和视频输入，并生成文字、语音和图像输出。2026 年 2 月，它从 ChatGPT 中下线。

  大语言模型消费级应用基础模型

• 2024 年 5 月 8 日 AlphaFold 3

  AlphaFold 3 是 DeepMind 于 2024 年 5 月发布的结构预测模型，可预测蛋白质、DNA、RNA、配体等分子的结构与相互作用。[^1]

  深度学习生成式模型科学发现

• 2024 年 5 月 7 日 DeepSeek-V2

  DeepSeek-V2 是 2024 年 5 月发布的混合专家模型，总参数 236B、每 token 激活 21B，引入多头潜在注意力（MLA），是后续架构的验证起点。

  大语言模型开源中国 AI

• 2024 年 5 月 Octo

  Octo 是一个开源的通用机器人策略，用 80 万条机器人轨迹训练的基于 Transformer 的扩散模型，可以直接控制多种机器人，并能高效微调到新的机器人配置。

  开源深度学习基础模型

• 2024 年 4 月 24 日 Snowflake Arctic（4800 亿参数稠密-MoE 混合模型）

  Snowflake 于 2024 年 4 月发布的开源权重模型，总参数 4800 亿、激活 170 亿，采用稠密与混合专家混合的架构，训练成本不到 200 万美元。

  大语言模型开源企业软件

• 2024 年 4 月 23 日 日日新 5.0

  日日新 5.0 是商汤科技于 2024 年 4 月发布的大语言模型，采用混合专家架构，支持约 20 万 token 上下文，商汤称其在多项基准上对标 GPT-4 Turbo。

  大语言模型中国 AI企业软件

• 2024 年 4 月 23 日 Phi-3

  Phi-3 是微软的小型语言模型系列，2024 年 4 月以 38 亿参数的 Phi-3-mini 起步，这一模型小到可以在手机上运行。

  大语言模型开源消费级应用

• 2024 年 4 月 22 日 OpenELM

  OpenELM 是 Apple 发布的一系列小型开放语言模型，共 270M 至 3B 四种规模，并公开了训练框架、日志、检查点以及转换为 MLX 的代码。

  大语言模型研究史开源

• 2024 年 4 月 18 日 Llama 3

  Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

  大语言模型开源基础模型

• 2024 年 4 月 17 日 abab 6.5 大模型

  abab 6.5 是 MiniMax 于 2024 年 4 月发布的混合专家大语言模型系列，据报道支持 20 万词元的上下文长度，并在长上下文检索测试中答对了全部 891 个问题。

  大语言模型中国 AI基础模型

• 2024 年 4 月 17 日 Mixtral 8x22B

  Mistral AI 于 2024 年 4 月发布的稀疏混合专家语言模型，总参数 1410 亿，每个词元激活其中 390 亿，以 Apache 2.0 许可开放权重。

  大语言模型开源基础模型

• 2024 年 4 月 4 日 Command R+

  Command R+ 是 Cohere 于 2024 年 4 月发布的 1040 亿参数语言模型，针对企业场景的检索增强生成和多步工具调用优化，先在微软 Azure 上线，随后开放权重。

  大语言模型企业软件智能体与工具调用

• 2024 年 3 月 29 日 孟子3（Mengzi3）

  孟子3（Mengzi3）是澜舟科技开源的一系列大语言模型，有 8B 与 13B 两种规模，采用 Llama 架构，在数万亿多语言 token 上继续训练，以 Apache-2.0 许可开放。

  大语言模型开源中国 AI

• 2024 年 3 月 28 日 Jamba

  Jamba 由 AI21 Labs 于2024年3月28日发布，是一个开放权重模型，把 Mamba 状态空间层与 Transformer 注意力层组合在一起，总参数 520 亿，上下文窗口为 25.6 万词元。

  大语言模型研究史开源

• 2024 年 3 月 28 日 Grok-1.5 与 Grok-1.5V

  Grok-1.5 是 xAI 对 Grok-1 的升级版，推理能力更强，上下文窗口扩至 12.8 万 token。同期预览的 Grok-1.5V 是该公司首个多模态模型。两者的权重都没有公开发布。

  大语言模型多模态推理

• 2024 年 3 月 27 日 DBRX（Databricks 的 1320 亿参数混合专家模型）

  DBRX 是 Databricks 于 2024 年 3 月 27 日发布的开放许可大语言模型，采用混合专家结构，总参数 1320 亿，每词元激活 360 亿。

  大语言模型开源企业软件

• 2024 年 3 月 23 日 Step-1V 多模态大模型

  Step-1V 是阶跃星辰 2024 年 3 月发布的约一千亿参数多模态大模型，能读取图像中的文字、数据和图表并支持视频理解，发布时位列 OpenCompass 多模态榜单第一，后被 Step-1.5V 接替。

  大语言模型中国 AI多模态

• 2024 年 3 月 23 日 Step-1 千亿参数语言大模型

  Step-1 是阶跃星辰推出的首个语言大模型，参数量约一千亿，2024 年 3 月 23 日在上海与多模态模型 Step-1V、Step-2 预览版一同发布。

  大语言模型中国 AI基础模型

• 2024 年 3 月 19 日 EvoLLM-JP（进化式模型融合日语模型）

  EvoLLM-JP 是 Sakana AI 用进化搜索融合多个开源模型得到的日语模型，不靠从头训练；7B 版本在数学能力上超过了它的三个来源模型各自单独的水平。

  大语言模型研究史开源

• 2024 年 3 月 18 日 Project GR00T

  NVIDIA 于 2024 年 3 月提出的面向人形机器人的通用基础模型计划，2025 年 3 月发展为开放的、可完全定制的 Isaac GR00T N1，并随模型放出训练数据与评测场景。

  基础模型机器人人形机器人

• 2024 年 3 月 13 日 Claude 3 Haiku

  Claude 3 Haiku 是 Anthropic Claude 3 系列中最小、最快的模型，2024 年 3 月发布，主打低价格、20 万 token 上下文与图像输入，2026 年 4 月退役。

  大语言模型企业软件多模态

• 2024 年 3 月 11 日 Command R

  Cohere 于 2024 年 3 月发布的 350 亿参数语言模型，面向生产环境的检索增强生成与工具调用，支持 128k 上下文，并以非商用许可开放权重。

  大语言模型企业软件智能体与工具调用

• 2024 年 3 月 4 日 Claude 3 Sonnet

  Claude 3 Sonnet 是 Anthropic Claude 3 系列中的中间型号，2024 年 3 月 4 日发布，支持 20 万 token 上下文，曾驱动 claude.ai 免费版，于 2025 年 7 月 21 日退役。

  大语言模型企业软件消费级应用

• 2024 年 3 月 4 日 Claude 3 Opus

  Claude 3 Opus 于 2024 年 3 月 4 日公布，是 Claude 3 系列中能力最强的模型。它支持图像输入，发布时上下文窗口为 20 万 token，长文本测试召回率超过 99%。

  大语言模型企业软件多模态

• 2024 年 2 月 28 日 StarCoder2

  StarCoder2 是 BigCode 联合 NVIDIA 于 2024 年 2 月发布的开放代码模型系列，含 3B、7B、15B 三种规模，训练数据与代码一并公开。

  大语言模型开源数据与数据集

• 2024 年 2 月 26 日 Mistral Large

  Mistral Large 是法国公司 Mistral AI 于 2024 年 2 月 26 日发布的首个旗舰级专有模型，拥有 32K token 上下文窗口、五种语言的原生能力和原生的函数调用与 JSON 输出模式。

  大语言模型企业软件云计算

• 2024 年 2 月 23 日 Genie

  Google DeepMind 的生成式世界模型，110 亿参数，能根据文本、图像或草图生成可逐帧操控的虚拟世界；是首个在无标注互联网视频上训练、无需动作标签的生成式交互环境。

  研究史生成式模型仿真

• 2024 年 2 月 22 日 Stable Diffusion 3

  Stable Diffusion 3 由 Stability AI 于2024年2月22日预览发布，是一组参数从8亿到80亿不等的模型，结合了扩散 Transformer 与流匹配（flow matching）。

  开源生成式模型创意工具