基础模型
| 达里奥·阿莫代伊(Dario Amodei) 达里奥·阿莫代伊(Dario Amodei)是Anthropic的联合创始人兼CEO。他此前在OpenAI担任研究副总裁,并参与了GPT-2和GPT-3等研究。 | |
| 萨姆·奥尔特曼(Sam Altman) 萨姆·奥尔特曼(Sam Altman)是OpenAI的联合创始人兼CEO,曾任Y Combinator总裁。2023年他一度被董事会罢免,数日后复职。 | |
| 反向传播与梯度下降 反向传播(backpropagation)是多层神经网络的学习方法:把输出误差逐层传回,再用梯度下降调整权重。1986年一篇《Nature》论文使其广为人知,至今仍是标准训练方法。 | |
| 亚马逊(Amazon) 亚马逊(Amazon)是贝索斯于1994年创立的美国科技公司。其云业务 AWS 是主要云服务商,公司也自研了 Nova 模型与 Trainium 芯片。 | |
| 谷歌 DeepMind(Google DeepMind) 总部位于伦敦的人工智能研究机构,2023 年由 DeepMind 与谷歌研究部门的 Brain 团队合并而成,以 AlphaGo、AlphaFold 和 Gemini 系列模型闻名。 | |
| 字节跳动 字节跳动是 2012 年成立的中国互联网公司,AI 业务包括豆包、TRAE、Seed 模型团队以及火山引擎云平台。[^1] | |
| Meta AI Meta AI 是 Meta Platforms 的人工智能研究与模型机构,2013 年以 FAIR 之名成立,推出了 PyTorch 以及 Llama、Muse 等模型系列。 | |
| 残差连接 残差连接把一个模块的输入直接加到它的输出上,让模块只学需要改变的那一部分。它使很深的网络可以训练,也是今天 Transformer 的标准组件。 | |
| OpenAI OpenAI 是总部位于旧金山的 AI 研究与部署公司,2015年以非营利组织成立,开发 GPT 系列模型和 ChatGPT,2026年6月秘密提交 IPO 申请。 | |
| NVIDIA Tesla V100 NVIDIA 首款基于 Volta 架构的数据中心 GPU,2017 年 5 月发布。它引入张量核心专门加速矩阵乘法;OpenAI 后来的 GPT-3 系列模型即在 V100 上训练。 | |
| Transformer 架构 Transformer 是2017年提出的神经网络架构,用自注意力取代了循环和卷积结构,今天大多数大语言模型都以它为基础。 | |
| 深层语境化词表示(ELMo) 这是 Matthew E. Peters 等六位作者 2018 年的论文,用预训练的深层双向语言模型内部状态表示词,使向量随语境变化;把它加到已有模型上,在六个自然语言处理任务上提升了成绩。 | |
| 预训练与微调 预训练(pre-training)用海量无标注文本训练大模型,微调(fine-tuning)用少量标注数据使其适应具体任务。 | |
| 通过生成式预训练提升语言理解(GPT) OpenAI 在 2018 年发表的 GPT 论文:先用海量无标注文本训练 Transformer 解码器预测下一个词,再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。 | |
| BERT BERT 是 Google 的双向语言模型,通过遮盖部分词再还原的方式预训练,微调后在问答和语言理解基准上刷新成绩,并被用于 Google 搜索。 | |
| BERT:用于语言理解的深度双向 Transformer 预训练 Google 在 2018 年提出的 BERT,只用 Transformer 编码器,能同时利用前后文,并通过遮词预训练。它在 11 项语言任务上刷新成绩,使「预训练后微调」成为常规做法。 | |
| 《Megatron-LM:用模型并行训练数十亿参数的语言模型》 NVIDIA 团队 2019 年的论文,提出一种层内模型并行方法,只需在原生 PyTorch 中插入少量通信操作,就训练出 83 亿参数的 Transformer 模型,并在多个基准上超过此前最好成绩。 | |
| 缩放定律 缩放定律是一种经验规律:语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练,也解释了行业对数据中心和 GPU 的竞相投入。 | |
| 神经语言模型的缩放定律 OpenAI 研究者在 2020 年发表的论文发现,语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降,为各实验室建造更大的模型提供了定量依据。 | |
| NVIDIA A100 NVIDIA A100 是首款基于 Ampere 架构的数据中心 GPU,2020 年 5 月 14 日发布。它引入第三代 Tensor Core、TF32 格式和多实例 GPU,后来成为训练大语言模型的常用硬件。 | |
| 语言模型是少样本学习者(GPT-3) GPT-3 论文表明,一个拥有 1750 亿个参数的语言模型,只要在提示词(prompt)里给出几个例子,就能完成许多任务,无需额外微调;而且这种能力随模型规模增大而增强。 | |
| GPT-3 GPT-3 是一个拥有 1750 亿参数的自回归语言模型,相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务,无需梯度更新,最初通过 OpenAI 的 API 提供。 | |
| Anthropic Anthropic 是 2021 年 1 月成立的 AI 安全与研究公司,由前 OpenAI 员工创办,开发 Claude 系列模型,并制定负责任扩展政策。 | |
| InstructGPT InstructGPT 是一组经过人类反馈强化学习训练、能遵循用户指令的 GPT-3 模型。OpenAI 于2022年1月宣布该成果,并将其设为 API 的默认语言模型。 | |
| NVIDIA H100 NVIDIA H100 是首款基于 Hopper 架构的数据中心 GPU,2022 年 3 月发布,为训练和运行大模型设计,使用 HBM3 显存与 FP8 精度。 | |
| RT-1 机器人变换器 RT-1 是一个控制真实机器人的变换器模型,用 13 台机器人历时 17 个月收集的超过 13 万个回合训练,在 700 多条指令上报告了 97% 的成功率。 | |
| LLaMA Meta AI 于 2023 年 2 月发布的一系列基础语言模型,有 7B 到 65B 四种规模,只用公开数据训练;其中 13B 版本在多数基准测试上被报告优于 GPT-3。 | |
| GPT-4 GPT-4 是 OpenAI 于 2023 年 3 月 14 日发布的大型多模态模型,能接受图像和文本输入,在模拟律师资格考试中成绩接近应试者前 10%,此后被 GPT-4 Turbo、GPT-4o 和 GPT-5 接续。 | |
| Gemini 1.0(Ultra、Pro、Nano) Gemini 1.0 是 Google DeepMind 多模态模型家族的第一代,2023 年 12 月 6 日发布,分 Ultra、Pro、Nano 三档;Google 称 Ultra 是首个在 MMLU 上超过人类专家的模型。 | |
| 《Gemini 1.5:在数百万 token 的上下文中释放多模态理解》 Google Gemini 团队的一份报告,介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列,其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1] | |
| GPT-4o GPT-4o 是 OpenAI 于 2024 年 5 月发布的多模态模型,能在同一个神经网络中接收文字、语音、图像和视频输入,并生成文字、语音和图像输出。2026 年 2 月,它从 ChatGPT 中下线。 | |
| ESM3 ESM3 是 EvolutionaryScale 于 2024 年 6 月发布的蛋白质生成模型,能同时依据序列、结构和功能进行推理,并生成了与已知荧光蛋白相距约 5 亿年演化距离的新蛋白。 | |
| Llama 3.1(含 405B) Llama 3.1 于 2024 年 7 月 23 日发布,在 Llama 3 系列中加入了 4050 亿参数的模型,并把上下文扩展到 12.8 万个词元。Meta 称,这是目前最强、可公开获取的基础模型。 | |
| 《Llama 3 模型群》 Meta 2024 年的论文,把 Llama 3 描述为一组基础模型(80 亿、700 亿和 4050 亿参数),预训练语料约 15 万亿 token,并报告其在广泛任务上与 GPT-4 等领先模型质量相当。 | |
| π0(pi-zero) π0 是 Physical Intelligence 发布的通用机器人策略,从 30 亿参数的视觉语言模型改造而来,用流匹配输出连续动作,能以每秒最多 50 次的频率驱动机器人完成灵巧操作。 | |
| DeepSeek-V3 DeepSeek-V3 是深度求索(DeepSeek)于 2024 年 12 月发布的开放权重模型,采用混合专家(mixture-of-experts)架构,总参数 6710 亿,每个词元激活 370 亿。 | |
| 《DeepSeek-V3 技术报告》 DeepSeek-AI 发布的 DeepSeek-V3 技术报告,介绍了一个总参数 6710 亿的混合专家语言模型,涵盖架构、训练流程与评测,并给出了 278.8 万 H800 GPU 小时完成全部训练的效率数据。 | |
| NVIDIA Isaac GR00T N1 Isaac GR00T N1 是 NVIDIA 于 2025 年 3 月 18 日发布的人形机器人开放基础模型。它可针对具体机器人或任务再做后训练,并把负责规划的模型与负责快速运动的模型组合在一起。 | |
| 通义千问 Qwen3 通义千问 Qwen3 是阿里巴巴于 2025 年 4 月 29 日以 Apache 2.0 许可证发布的模型系列,主要特点是混合思考模式,同一模型既可逐步推理,也可直接作答。 | |
| 《Gemini 2.5:以先进推理、多模态、长上下文与新一代智能体能力推进前沿》 《Gemini 2.5》技术报告于 2025 年 7 月 7 日提交到 arXiv,记录了 Google 的 Gemini 2.5 Pro 与 2.5 Flash,涉及推理能力、长上下文视频处理和成本与能力的取舍。 | |
| 《DeepSeek-V4:面向百万 token 上下文的高效智能》 DeepSeek-V4 系列的预览报告:Pro 版总参数 1.6 万亿、Flash 版 2840 亿,两者均支持百万 token 上下文,并给出了让这一长度变得可负担的注意力、连接与优化器改动。 | |
| GPT-6(Astra、Sol、Luna、Instant) GPT-6 是 OpenAI 的新一代模型系列。首款 GPT-6 Astra 于2026年9月3日发布,Astra 是 OpenAI 首个达到其内部「关键」网络安全阈值的模型。 | |
| K2 Horizon 模型集群 K2 Horizon 是基础模型研究院(IFM)于 2026 年 9 月发布的一系列六个开放语言模型,权重、代码、训练数据和训练配方一并以 Apache 2.0 许可公开。 | |
| Jais-3-375B-A23B(阿拉伯语旗舰混合专家模型) Jais-3-375B-A23B 是基础模型研究所(IFM)推出的阿拉伯语旗舰开源混合专家模型:总参数 3750 亿、每 token 激活 230 亿,上下文窗口 51.2 万 token,权重以 Apache 2.0 发布。 | |
| 视觉-语言-动作模型 VLA 视觉-语言-动作模型(VLA)是一种机器人策略:输入摄像头图像和一句语言指令,直接输出动作,通常由预训练的视觉-语言模型改造而来。 | |
| AI 智能体 AI 智能体指能感知环境、为达成目标自主行动的系统,范围从恒温器这样的简单装置一直到由大模型自行决定流程与工具调用的软件。 | |
| 量化(Quantization) 量化把语言模型的权重和激活值用更低的数值精度存储,从而降低推理所需的内存和带宽。LLM.int8() 与 GPTQ 等方法让超大规模模型能够跑在远小的硬件上。 | |
| 通用人工智能(AGI) 通用人工智能(AGI)指在广泛任务上达到或超过人类水平的人工智能。这个词没有公认定义;Morris 等人提出的框架按性能等级与通用性给系统分级。 | |
| 对齐(AI alignment) 对齐指让模型的行为符合用户和设计者的真实意图,而不只是训练目标字面上奖励的东西;用人类偏好比较来训练模型,是目前一条实用路线。 | |
| 幻觉(Hallucination) 幻觉(hallucination)指模型把虚假或误导性的信息当作事实陈述出来。它是生成式人工智能最典型的失效方式之一,也是人们难以直接信任模型输出的主要原因。 | |
| 多模态模型(Multimodal models) 多模态模型在同一个模型里处理不止一种输入或输出,例如图像和文本。CLIP 与 Flamingo 这两项工作展示了这类模型怎样训练出来,又怎样靠文字提示迁移到新任务。 | |
| 杰夫·迪恩(Jeff Dean) 美国计算机科学家,以 Google 的 MapReduce、Bigtable、Spanner 等基础系统,以及 TensorFlow 和 Google 首席科学家身份为人所知。 | |
| 苹果公司(Apple) 苹果公司于 1976 年创立,以 iPhone、iPad 和 Mac 闻名。它于 2024 年推出 Apple Intelligence,自研 Apple 基础模型(AFM),并在 2026 年与谷歌合作。 | |
| 穆斯塔法·苏莱曼(Mustafa Suleyman) 穆斯塔法·苏莱曼(Mustafa Suleyman)是英国 AI 创业者,联合创办了 DeepMind 和 Inflection AI,2024 年起领导微软 AI 部门,负责 Copilot 和自研模型。 | |
| 格雷格·布罗克曼(Greg Brockman) 格雷格·布罗克曼(Greg Brockman)是 OpenAI 联合创始人。他早期主持了 OpenAI Gym 和 OpenAI Five 等项目,后任总裁,2026年4月接管产品部门。 | |
| 雅各布·帕霍茨基(Jakub Pachocki) 雅各布·帕霍茨基是 OpenAI 首席科学家。他 2017 年加入该公司,主导 GPT-4 与 OpenAI Five 的研发,并推动公司把研究重心转向扩展深度学习系统。 | |
| 分词(Tokenization) 分词(tokenization)把文本切成语言模型真正处理的词元;今天多数系统用字节对编码(BPE)实现,这一 1994 年的压缩算法在 2015 年被引入机器翻译。 | |
| 腾讯 腾讯是成立于 1998 年的中国互联网公司,以 QQ、微信和游戏闻名。自 2023 年起,其混元大模型成为主要的人工智能业务,后改称 Hy。 | |
| 百度 百度公司是 2000 年成立的中国互联网公司,经营在中国占主导地位的搜索引擎,并开发文心大模型系列和文心一言聊天机器人。 | |
| NVIDIA 研究院(NVIDIA Research) NVIDIA 研究院是 NVIDIA 的研究机构,2006 年成立,拥有 200 多名科学家,研究 AI、自动驾驶、高性能计算和图形,并开发开放的 Nemotron 模型系列。 | |
| 阿里云(通义千问团队) 阿里云是阿里巴巴集团的云计算业务,也是通义千问(Qwen)大模型家族的研发方。通义千问既以开放权重发布,也有闭源的旗舰模型。 | |
| 批归一化 批归一化把每一层的输入在小批量上重新中心化到零、缩放到单位方差,使深度网络的训练更快、更稳定。 | |
| 知识蒸馏 知识蒸馏是把大模型或模型集成的能力迁移到小模型上的方法,在更低的算力和部署成本下保留大部分预测性能。 | |
| Hugging Face Hugging Face成立于2016年,运营模型社区Hub并开发Transformers等开源库。2026年9月,英伟达宣布收购该公司。 | |
| Scale AI Scale AI 是一家为人工智能模型生产训练数据的公司,2016 年创办,为 OpenAI、Meta 和微软等提供数据;2025 年 Meta 以逾 140 亿美元取得其 49% 无投票权股份。 | |
| 位置编码 序列模型(尤其是 Transformer)的组成部分,把每个词元的位置编码成向量,让本身不分先后的注意力感知顺序;形式从原版 Transformer 的正弦编码一直到 RoPE、ALiBi。 | |
| AI21 Labs AI21 Labs 是一家以色列人工智能公司,2017 年 11 月在特拉维夫创立,开发 Jurassic 与 Jamba 系列大语言模型,以及 Wordtune 写作助手。 | |
| 通用语言模型微调(ULMFiT) ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法,用于 NLP 任务;在六个文本分类任务上超过当时最先进水平,并在少标签下表现突出。 | |
| GPT-1(初代 GPT) GPT-1 是 OpenAI 的第一代生成式预训练 Transformer,发布于 2018年6月。它表明,先用无标注文本预训练、再针对具体任务微调的同一个语言模型,能够改进多项语言任务的结果。 | |
| Cohere Cohere 是2019年成立于多伦多的企业 AI 公司,开发 Command 系列语言模型,面向企业销售。2026年9月,它签署了与 Aleph Alpha 合并的正式协议。 | |
| 穆罕默德·本·扎耶德人工智能大学 穆罕默德·本·扎耶德人工智能大学(MBZUAI)位于阿布扎比,2019 年成立,2021 年迎来首批研究生。校内设基础模型研究所,开发 K2、Jais 与 PAN 等模型。 | |
| 语言模型是无监督的多任务学习者(GPT-2) OpenAI 在 2019 年发表的 GPT-2 论文,模型拥有 15 亿参数。研究表明,仅训练预测下一个词的模型在提示下就能完成多种任务,其分阶段发布也引发了关于是否公开强大模型的讨论。 | |
| GPT-2 GPT-2 是 OpenAI 于2019年2月宣布的大型语言模型,最大版本有 15 亿参数。OpenAI 起初没有公开完整模型,随后分阶段发布,直到2019年11月才发布完整版本。 | |
| 模型并行 模型并行把单个模型的参数与计算切分到多块加速器上,让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现,只需在原生 PyTorch 中插入少量通信操作。 | |
| T5(文本到文本迁移 Transformer) T5 是 Google 的 Transformer 语言模型系列,把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩,代码、预训练模型与 C4 数据集均公开。 | |
| Hugging Face Hub 模型社区 Hugging Face Hub是人们分享机器学习模型、数据集和演示应用的平台,到2026年9月已有300多万个模型和1800多万用户。 | |
| 谷歌 TPU v4 谷歌 TPU v4 是从 2020 年起投入使用的机器学习芯片与超级计算机,单个 pod 达 4,096 颗芯片,靠光路交换重构互连,PaLM 与 Gemini 都在其上训练。 | |
| 上下文学习 上下文学习指大语言模型只凭提示词里的指令和少量示例就能完成新任务,不更新任何权重。GPT-3 论文命名并系统研究了它,把适配任务的方式从微调转向写提示词。 | |
| 状态空间模型(Mamba) 状态空间模型把序列表示成一个随输入逐步演化的隐藏状态。S4 在 2021 年把它带入深度学习,Mamba 让参数随输入变化,从而在长序列上以线性时间建模。 | |
| CLIP(对比语言-图像预训练) OpenAI 于 2021 年发布的图像-文本模型,用约 4 亿对图文数据训练,靠把图像与文字提示逐一比对来完成分类,不需要针对具体任务的训练。 | |
| 从自然语言监督中学习可迁移的视觉模型(CLIP) CLIP 是 OpenAI 用 4 亿对图文数据训练的模型,把图像与文字映射到同一个空间,因此能凭一句文字提示直接完成图像分类。 | |
| 文心 ERNIE 3.0 文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型,参数量 100 亿,把纯文本与大规模知识图谱一起用于训练,并融合自回归与自编码两种网络,让同一个模型既能做语言理解也能做生成。 | |
| 指令微调 指令微调是一种监督微调,用来让大语言模型学会听从用户指令;FLAN 论文表明它能显著提升模型在未见任务上的零样本表现。 | |
| GPT-3.5(text-davinci-002/003) GPT-3.5 是 OpenAI 介于 GPT-3 与 GPT-4 之间的一代语言模型,以 text-davinci-002、text-davinci-003 等 API 模型的形式发布,也是第一版 ChatGPT 的基础。 | |
| 训练计算最优的大语言模型(Chinchilla) DeepMind 的一项研究指出,固定算力下语言模型应当用多得多的数据训练;其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。 | |
| BLOOM BLOOM是BigScience项目于2022年7月12日发布的1760亿参数开放多语言大语言模型,权重依据负责任使用的RAIL许可证提供。 | |
| 宪法式 AI(Constitutional AI) 宪法式 AI(Constitutional AI)是 Anthropic 在 2022 年提出的训练方法:用一套书面写明的原则(即「宪法」)塑造模型行为,而不是依赖人工标注有害输出。 | |
| 直接偏好优化 直接偏好优化(DPO)是一种用人类偏好数据微调语言模型的方法,训练目标接近监督学习,省去了单独训练奖励模型和强化学习循环的步骤。 | |
| Skild AI Skild AI 是一家 2023 年成立的机器人公司,做的是通用机器人基础模型,希望同一个「大脑」能装进形态各异的机器人身体,完成操作、行走、导航等任务。 | |
| 生数科技 2023 年 3 月成立的中国生成式人工智能公司,以文生视频模型 Vidu 知名,目前把工作分为世界生成模型与世界行动模型两条线。 | |
| 零一万物 零一万物是 2023 年在北京成立的人工智能公司,由李开复创办。公司研发开源与闭源大模型(包括 Yi 系列),并推出一站式企业平台「万知」。 | |
| xAI(SpaceXAI / SpaceXSI) xAI 是埃隆·马斯克创办的 AI 公司,开发 Grok 模型与聊天助手。2026 年被 SpaceX 收购,随后更名为 SpaceXAI,再改称 SpaceXSI。 | |
| Mistral AI Mistral AI 是 2023 年 4 月在巴黎成立的法国 AI 公司,发布开放权重和商业模型,推出 Le Chat 与 Vibe,并多次大额融资。 | |
| Segment Anything 分割一切模型(SAM) Segment Anything 模型(SAM)是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码,它就能圈出对应的物体。 | |
| 阶跃星辰 阶跃星辰是 2023 年 4 月在上海成立的 AI 公司,由多名前微软员工创办,专注多模态大模型,并陆续开源了多款 Step 系列模型。 | |
| 商汤日日新大模型 日日新(SenseNova)是商汤科技的一组基础模型,2023 年 4 月 10 日发布,包含聊天机器人 SenseChat、文生图生成器和数字人视频生成器,最初只面向政府与企业客户开放。 | |
| 百川智能 百川智能是一家总部位于北京的 AI 公司,2023 年 4 月由王小川创立。公司自 2023 年起发布开源语言模型,2025 年起把重心转向 AI 医疗应用。 | |
| Amazon Bedrock Amazon Bedrock 是 AWS 的托管服务,用于调用多家公司的基础模型,2023年4月宣布,同年9月正式可用,后加入 Nova 与 AgentCore。 | |
| 讯飞星火认知大模型 V1.0 星火认知大模型是科大讯飞于2023年5月6日发布的大语言模型,主打教育与企业的 ChatGPT 替代方案,基于华为昇腾芯片开发,此后一年内连续迭代多个版本。 | |
| Sakana AI Sakana AI 是一家位于东京的 AI 研发公司,2023 年 7 月创立,以演化式模型合并、The AI Scientist 等项目及日语模型 Namazu 为人所知。 | |
| Llama 2 Meta 于 2023 年 7 月发布的开源权重语言模型系列,有 7B、13B、70B 三种规模,各含对话微调版本 Llama 2-Chat,并以允许研究和商业使用的自定义许可证发行。 | |
| 通义千问 Qwen(2023 首代) 通义千问(英文名 Qwen)是阿里巴巴推出的大语言模型系列。2023 年 8 月 3 日,首个开放权重的模型 Qwen-7B 发布,此后该系列陆续推出多个版本和尺寸。 | |
| Baichuan 2 Baichuan 2 是百川智能的第二代开源模型系列,2023年9月6日发布 7B 和 13B 两种规格,提供基础版、对话版和 4 位量化版。商用需申请,并受用户规模限制。 | |
| 腾讯混元大模型 混元是腾讯第一个自研的大型基础模型,2023 年 9 月发布,主要面向企业,通过腾讯云 API 提供服务。该系列后来改称 Hy。 | |
| Mistral 7B Mistral AI 的第一个模型:2023 年 9 月以 Apache 2.0 许可发布的 73 亿参数语言模型,主打用小体量对标大得多的模型。 | |
| 文心大模型 4.0 文心大模型4.0是百度于2023年10月发布的基础模型,被称作当时最强的文心模型,李彦宏称其「综合水平不逊于GPT-4」。它同时支撑文心一言助手和千帆平台。 | |
| Yi-34B / Yi-6B Yi-34B 与 Yi-6B 是零一万物 2023 年 11 月发布的双语开源基础模型,训练数据为 3 万亿词元,发布时在开源预训练模型中排名第一。 | |
| Grok-1 Grok-1 是 xAI 的首个大语言模型,2023 年 11 月 3 日作为 Grok 聊天助手的引擎公布,其 3140 亿参数的权重于 2024 年 3 月开放。 | |
| Mixtral 8x7B Mistral AI 于 2023 年 12 月发布的开源权重稀疏混合专家模型:总参数 467 亿,每个词元只用 129 亿,支持 32k 上下文,在多数基准上超过 Llama 2 70B。 | |
| Gemini 1.5 Pro Google Gemini 1.5 代的中型多模态模型,2024 年 2 月公布,以上百万 token 的上下文窗口著称,可在单次提示中处理长视频、整段音频和大规模代码。 | |
| 欧盟人工智能办公室 欧盟人工智能办公室是设在欧盟委员会内部的一个机构,负责推动《人工智能法案》的实施,并直接执行通用人工智能模型的规则;它于 2024 年 2 月设立。 | |
| Project GR00T NVIDIA 于 2024 年 3 月提出的面向人形机器人的通用基础模型计划,2025 年 3 月发展为开放的、可完全定制的 Isaac GR00T N1,并随模型放出训练数据与评测场景。 | |
| NVIDIA B200(Blackwell) NVIDIA 于 2024 年 3 月发布的 Blackwell 架构数据中心 GPU,接替 Hopper,由两颗拼接的芯片构成,配合新一代 NVLink 与 FP4 支持大规模 AI 训练和推理。 | |
| EvoLLM-JP(进化式模型融合日语模型) EvoLLM-JP 是 Sakana AI 用进化搜索融合多个开源模型得到的日语模型,不靠从头训练;7B 版本在数学能力上超过了它的三个来源模型各自单独的水平。 | |
| 微软 AI(Microsoft AI) 微软 AI(Microsoft AI)成立于 2024 年 3 月,负责推进 Copilot 及其他 AI 产品和研究,由穆斯塔法·苏莱曼(Mustafa Suleyman)领导,并开发 MAI 系列自研模型。 | |
| Jamba Jamba 由 AI21 Labs 于2024年3月28日发布,是一个开放权重模型,把 Mamba 状态空间层与 Transformer 注意力层组合在一起,总参数 520 亿,上下文窗口为 25.6 万词元。 | |
| Llama 3 Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列,有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。 | |
| DeepSeek-V2 DeepSeek-V2 是 2024 年 5 月发布的混合专家模型,总参数 236B、每 token 激活 21B,引入多头潜在注意力(MLA),是后续架构的验证起点。 | |
| Yi-Large Yi-Large 是零一万物于 2024 年 5 月 13 日发布的千亿参数闭源大模型,通过其 API 平台提供,官方公布了在 AlpacaEval 2.0、SuperCLUE 等基准上的排名。 | |
| 豆包大模型(2024) 字节跳动通过火山引擎于 2024 年 5 月推出的豆包大模型系列,以远低于同行的定价提供通用、语音与文生图模型,被认为引发了中国大模型价格战。 | |
| 通义千问 Qwen2 通义千问 Qwen2 是 2024 年 6 月发布的新一代模型,包含 0.5B 至 72B 的五个尺寸,上下文最长可达 128K,多数尺寸采用 Apache 2.0 许可。 | |
| OpenVLA OpenVLA 是一个 70 亿参数的开源视觉-语言-动作模型,在 97 万条真实机器人演示上训练,权重、代码与微调工具一并公开,让其他团队能在自己的机器人上微调和部署。 | |
| 安全超级智能公司(SSI) 安全超级智能公司(SSI)是 Ilya Sutskever 等人于 2024 年 6 月创办的美国 AI 公司,目标是直接造出安全的超级智能,中途不发布任何产品。 | |
| EvolutionaryScale 一家以「理解生物学」为使命的公益型 AI 公司,2024 年 6 月随模型 ESM3 一同亮相,2025 年 11 月其团队加入 Biohub。 | |
| 讯飞星火 V4.0 科大讯飞于 2024 年 6 月 27 日发布的大语言模型,完全在与华为共建的国产算力平台上训练;讯飞称其达到 GPT-4 水平,同时承认代码与多模态能力落后。 | |
| Step-2 万亿参数语言大模型 Step-2 是阶跃星辰推出的万亿参数语言大模型,采用混合专家架构。2024 年 3 月公布预览版,7 月在 WAIC 发布正式版。 | |
| 测试时计算(Test-time compute) 测试时计算指模型答题时额外投入的算力,而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明,按题目难度分配这份算力,能让小模型在同等总计算量下胜过大得多的模型。 | |
| 通义千问 Qwen2.5 通义千问 Qwen2.5 是 2024 年 9 月发布的一代模型。首批开放了 13 个权重模型,预训练数据最多达 18 万亿 token,上下文最长 128K,多数开源模型采用 Apache 2.0 许可。 | |
| Yi-Lightning Yi-Lightning 是零一万物 2024 年 10 月推出的旗舰模型,采用增强版混合专家架构。发布时在 LMSYS Chatbot Arena 综合排名第六,中国模型中排名第一。 | |
| 混元 Large 混元 Large 是腾讯于 2024 年 11 月开源的混合专家模型,总参数 3890 亿,激活参数 520 亿,采用腾讯自有许可证发布。 | |
| 豆包大模型 1.5 Pro 豆包 1.5 Pro(Doubao-1.5-pro)由字节跳动于 2025 年 1 月 22 日发布,是采用稀疏混合专家架构的闭源多模态模型,并以较低价格通过火山引擎提供。 | |
| 通义千问 Qwen2.5-Max Qwen2.5-Max 是阿里巴巴在 2025 年 1 月宣布的大型混合专家模型,通过 Qwen Chat 和阿里云 API 提供服务,但没有公开模型权重。 | |
| Figure Helix Helix 是 Figure 2025 年 2 月发布的人形机器人视觉-语言-动作模型,分两个速度层,用约 500 小时遥操作数据训练,全部在本机 GPU 运行。 | |
| GPT-4.5 GPT-4.5 是 OpenAI 于 2025 年 2 月 27 日发布的大语言模型,代号「Orion」。它是当时最大的对话模型,API 价格远高于 GPT-4o,正式开放数月后便退出。 | |
| 混元 Turbo S 混元 Turbo S 是腾讯 2025 年 2 月发布的快思考模型,采用 Mamba 与 Transformer 混合架构,总参数 5600 亿,未公开权重。 | |
| Ling / 百灵(蚂蚁集团 MoE 模型) Ling(百灵)是蚂蚁集团 InclusionAI 发布的开放权重混合专家语言模型系列,其技术报告主张无需高端 GPU 也能训练 300B 规模的 MoE 模型。 | |
| 智元启元大模型 GO-1 智元机器人于 2025 年 3 月 10 日发布的通用具身模型基座,采用视觉—语言—潜在动作架构。在智元对五项任务的测试中,平均成功率从 46% 提升到 78%。 | |
| Command A Command A 是 Cohere 的 1110 亿参数模型,2025年3月发布,支持 256k 词元上下文。Cohere 称它只需两块 GPU 即可运行,吞吐量比 Command R+ 08-2024 高 150%。 | |
| 文心大模型 4.5 文心大模型 4.5 是百度于 2025 年 3 月发布的原生多模态基础模型,可处理文本、图像、音频和视频。2025 年 6 月,百度开源了该系列的十款模型。 | |
| Llama 4 Maverick Llama 4 Maverick 是 Meta 于 2025 年 4 月 5 日与 Scout 同时发布的混合专家模型,总参数 4000 亿,上下文窗口为 100 万个词元。它在 LMArena 上的排名之后受到质疑。 | |
| Llama 4 Scout Llama 4 Scout 是 Meta 于 2025 年 4 月 5 日发布的混合专家模型,总参数 1090 亿,每个词元激活其中 170 亿,上下文窗口达 1000 万个词元。 | |
| π0.5 π0.5 是 Physical Intelligence 于 2025 年 4 月发布的视觉-语言-动作模型,主打开放环境泛化,通过混合多种异构数据共同训练,能让移动机器人整理从未见过的房间。 | |
| 基础模型研究所(IFM) 基础模型研究所(IFM)是阿布扎比穆罕默德·本·扎耶德人工智能大学(MBZUAI)下属的研究机构,2025 年 5 月成立,在阿布扎比、硅谷、巴黎三地设点,研发 K2、Jais、PAN 等基础模型。 | |
| Falcon-H1(Transformer + Mamba 混合模型) Falcon-H1 是 Falcon 系列的一组开放权重语言模型,把 Transformer 注意力与状态空间模型并行组合,参数规模从 0.5B 到 34B,权重以 Falcon-LLM Licence 发布。 | |
| Aurora 地球系统基础模型 Aurora 是一个面向地球系统的基础模型,用超过 100 万小时的地球物理数据训练,在天气、空气质量、海浪和热带气旋路径预报上优于业务预报,计算成本低几个数量级。 | |
| EXAONE 4.0(统一推理与非推理模式) EXAONE 4.0 是 LG 的大语言模型系列,一次发布 32B 与 1.2B 端侧两个尺寸,把易用的对话能力与推理模式合并到同一模型,并加入工具调用和西班牙语支持。 | |
| HyperCLOVA X SEED 14B Think(NAVER 轻量推理模型) NAVER 于 2025 年 7 月发布的 147.4 亿参数推理模型,用剪枝与蒸馏把模型做小,再用四阶段推理训练流程训练,并称训练成本远低于同级模型。 | |
| 通义千问 Qwen3-Max Qwen3-Max 是阿里巴巴于 2025 年 9 月发布的闭源大模型,参数规模超过 1 万亿,通过阿里云 API 提供服务,是接替 Qwen2.5-Max 的 Max 系列旗舰。 | |
| LongCat-Flash(美团 560B MoE 模型) LongCat-Flash 是美团 LongCat 团队推出的 5600 亿参数混合专家语言模型,每个 token 平均激活约 270 亿参数,权重以 MIT 许可证开放。 | |
| 文心大模型 5.0 文心大模型 5.0(ERNIE 5.0)是百度于 2025 年 11 月发布的原生全模态基础模型,百度称其参数规模为 2.4 万亿,2026 年 1 月起向企业和个人开放,模型为非开源。 | |
| Mistral Large 3 Mistral AI 于 2025 年 12 月发布的旗舰模型,稀疏混合专家架构,总参数 6750 亿,开放权重,支持图像理解与 40 多种语言。 | |
| 腾讯混元 2.0(HY 2.0) 腾讯自研旗舰模型,2025 年 12 月发布,分 Think 与 Instruct 两个版本,采用总参数 4060 亿的混合专家架构,支持 256K 词元上下文。 | |
| Solar Open 100B(Upstage 开源 MoE 模型) Solar Open 100B 是韩国 Upstage 于 2025 年 12 月发布的英韩双语混合专家模型,总参数 1026 亿、每 token 激活 120 亿,权重以自定义许可发布。 | |
| NVIDIA Isaac GR00T N2(预告) NVIDIA 预告了 Isaac GR00T N2,这是一款基于世界动作模型架构的新一代机器人基础模型;公司称其在新任务、新环境中的成功率是领先 VLA 模型的两倍以上。 | |
| NVIDIA Isaac GR00T N1.7 NVIDIA 面向人形机器人发布的开放推理型视觉-语言-动作模型,2026 年 3 月发布,可在真实环境中商用,并用大规模机器人操作数据训练。 | |
| EXAONE 4.5(LG 首个开源视觉语言模型) EXAONE 4.5 是 LG AI Research 于 2026 年 4 月发布的首个开放权重视觉语言模型,总参数 330 亿,其中视觉编码器 12 亿,上下文长度 256K 个 token,侧重文档理解与韩语语境推理。 | |
| π0.7 π0.7 是 Physical Intelligence 发布的通用机器人操作模型,在多种灵巧任务上达到微调专用模型的水平,并能听从新的语言指令、把已有技能重新组合用于没见过的场景。 | |
| 《Muse Spark 安全与准备度报告》 Meta 为 Muse Spark(Meta AI 的底层模型)发布的安全与准备度报告,交代了支撑其发布决策的灾难性风险评估,并论证在施加缓解措施后残余风险可接受。 | |
| MiniCPM5(面壁智能 1B/2B 端侧模型系列) MiniCPM5 是 MiniCPM 团队的小参数、稠密架构开放权重模型系列,2026 年 5 月先发布 1B 版本,9 月跟进 2B 版本,面向端侧与资源受限场景。 | |
| MAI-Thinking-1 MAI-Thinking-1 是微软 AI 的旗舰推理模型,2026年6月2日发布。微软称其在盲测中优于 Claude Sonnet 4.6,并允许开发者微调权重。 | |
| 通义千问 Qwen3.8 通义千问 Qwen3.8 是阿里巴巴2026年的旗舰系列。开放的 Qwen3.8-2.4T-A95B 于2026年8月发布,总参数 2.4 万亿,激活 95B,采用自定义许可证。 | |
| Step 5 Preview Step 5 Preview 是阶跃星辰 2026 年 9 月发布的旗舰基础模型预览版,采用稀疏混合专家架构,总参数 6000 亿,支持 100 万 token 上下文,并公开了模型权重。 | |
| LFM3-Omni-2B(Liquid AI 端侧全模态模型) LFM3-Omni-2B 是 Liquid AI 在 LFM3 系列中推出的首个全模态模型:一个 21.7 亿参数的模型即可读入文本、图像、视频和音频,并以文字或语音作答。 | |
| 智元 GO-3 Preview 智元于 2026 年 10 月发布的具身智能模型预览版,以世界推演动作模型 WRAM 为核心;智元称其在三项具身智能基准上排名第一,并计划在 2026 年底前完全开源。 | |
| 蚂蚁集团 蚂蚁集团旗下团队在 2025 年发布开放权重的 Ling(百灵)混合专家语言模型,在没有高端 GPU 的条件下训练,以 MIT 许可证公开。 | |
| 提示工程(Prompt engineering) 提示工程是设计输入文本、引导生成式人工智能产出目标结果的实践。统一的术语和思维链提示等技术,让提示方法更容易描述、比较和复现。 | |
| 长上下文(Long context) 长上下文指模型一次能接收并加以利用的大量输入,如今可达数百万词元;但窗口大不等于用得好,能否在长输入中准确定位信息是另一回事。 | |
| 上下文窗口(Context window) 上下文窗口(context window)是模型生成回答时能够参照的全部文本,以 token 计量,回答本身也计入其中。窗口的大小,以及模型能否均匀地用上窗口内容,共同决定了它实际能做什么。 | |
| 激活函数 激活函数把节点的输入与权重映射为输出,为神经网络提供非线性。sigmoid、tanh、ReLU 塑造了早期深度学习,GELU 如今是 transformer 的主流选择。 | |
| 合成数据(Synthetic data) 合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示,混入模型生成的「教科书」后,一个小规模代码模型也能在代码基准上取得不错的成绩,说明数据质量本身影响能力。 | |
| 红队测试(Red teaming) 红队测试(red teaming)指在模型部署前主动试探它,看它会不会做出有害或不被期望的行为。2022 年 Perez 等人提出用一个语言模型为另一个语言模型自动生成测试用例的方法,把这件事部分自动化了。 | |
| 越狱(Jailbreak) 越狱(jailbreak)是用对抗性提示让经过安全训练的模型做出其训练本应阻止的行为。Wei 等人在 2023 年 7 月的一篇分析中,把这类失败归因于目标冲突与泛化不匹配两种失效模式。 | |
| LG 人工智能研究院 LG 人工智能研究院是 EXAONE 系列大语言模型背后的研究机构,以技术报告和自定义许可证的方式公开发布模型。 | |
| 技术创新研究院 技术创新研究院(TII)是阿布扎比政府先进技术研究委员会下属的研究机构,研究覆盖十个技术领域,并开发 Falcon 系列语言模型,公开发布模型权重、技术报告和自定义许可。 | |
| 贾里德·卡普兰(Jared Kaplan) 贾里德·卡普兰(Jared Kaplan)是Anthropic联合创始人兼首席科学官,也是2020年《Scaling Laws for Neural Language Models》的第一作者。 | |
| 亚历克·拉德福德(Alec Radford) 亚历克·拉德福德(Alec Radford)是GPT-2、CLIP和Whisper论文的第一作者,2016年至2024年在OpenAI工作。 | |
| Physical Intelligence Physical Intelligence 是一家为机器人开发基础模型与学习算法的公司,目标是让通用人工智能进入物理世界,并陆续公开发布 π0、π0.5 等通用机器人策略。 | |
| 科拉伊·卡武克丘奥卢(Koray Kavukcuoglu) DeepMind 计算机科学家,第一篇深度 Q 网络(DQN)论文的作者之一;后任 Google DeepMind 首席技术官与 Google 首席 AI 架构师,主持多代 Gemini 模型的发布。 | |
| 杰森·魏(Jason Wei) 杰森·魏(Jason Wei)是 AI 研究者,思维链提示与「涌现能力」两篇论文的第一作者,先后在 Google Brain、OpenAI 和 Meta Superintelligence Labs 工作。 | |
| Percy Liang 斯坦福大学计算机科学系教员,基础模型研究中心(CRFM)主任,研究重点是让语言模型更开放、更可测量。 | |
| 谷歌(Google) 谷歌是 Alphabet 旗下的科技公司,在 AI 上同时做几层事情:自研 TPU 芯片、训练 PaLM 与 Gemini 等大模型,并在 2023 年把研究实验室整合为 Google DeepMind。 | |
| 美团 美团 LongCat 团队发布 LongCat-Flash,这是一个总参数 5600 亿的混合专家语言模型,平均每个 token 激活约 270 亿参数,并以 MIT 许可开放权重。 | |
| Sarvam AI Sarvam AI 是一家致力于在印度构建自主 AI 技术栈的公司;其发布的 Sarvam-M 以 Mistral Small 为底座做后训练,以 Apache-2.0 许可开放权重,在印度语言基准上有明显提升。 | |
| Liquid AI Liquid AI 是一家「效率优先」的基础模型公司,从 MIT CSAIL 分拆创立,主张模型应跑在本地设备而非只在云端,代表成果是全模态模型 LFM3-Omni-2B。 | |
| 亚历山大·王(Alexandr Wang) 美国企业家,1997年生,2016年与Lucy Guo共同创办数据标注与模型评测公司Scale AI;2025年出任Meta首席人工智能官,领导Meta超级智能实验室。 | |
| Dropout(随机失活) 一种正则化方法:训练时随机把部分神经元的输入或输出置零,阻止神经元之间形成对训练数据的复杂共适应,从而减轻过拟合。 | |
| Covariant Covariant 是一家 2017 年成立的机器人人工智能公司,创始团队多来自加州大学伯克利分校;2024 年亚马逊聘用了它的几位创始人,并取得其机器人基础模型的非独占授权。 | |
| 向量研究所(Vector Institute) 向量研究所是2017年在多伦多成立的非营利人工智能研究机构,杰弗里·辛顿(Geoffrey Hinton)是其创始科学家之一。 | |
| 斯坦福以人为本人工智能研究院(HAI) 斯坦福大学以人为本人工智能研究院(HAI)成立于2019年,由李飞飞与约翰·埃奇门迪共同执掌,研究人工智能的机遇与风险,下设基础模型研究中心,并发布人工智能指数报告。 | |
| 澜舟科技 澜舟科技是一家中国人工智能公司,2021 年 6 月成立并孵化于创新工场,自研孟子系列模型,并以企业级智能体平台及在其上构建的应用作为主要产品。 | |
| Jurassic-1 Jurassic-1 是 AI21 Labs 的第一个大语言模型系列,2021年8月随开发者平台 AI21 Studio 发布,其中最大的 Jumbo 版本拥有 1780 亿参数。 | |
| Megatron-Turing NLG 530B NVIDIA 与微软 2021 年 10 月联合发布的 5300 亿参数语言模型,为当时最大的单体 Transformer 语言模型。 | |
| 文心 ERNIE 3.0 Titan 文心 ERNIE 3.0 Titan 是一个参数规模超过 2600 亿的中文预训练语言模型,作者称其为当时最大的中文稠密预训练模型,并报告它在 68 个自然语言处理数据集上超过了此前的先进模型。 | |
| 面壁智能 中国人工智能公司,2022年由清华大学副教授刘知远主导创立,以 MiniCPM 系列端侧小模型、多模态与语音模型以及 ForgeTrain 训练框架为人所知。 | |
| OPT-175B(开放预训练 Transformer) OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称,它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。 | |
| Cohere Command Cohere 的首个旗舰指令跟随生成模型,2023 年经 Cohere API 与云市场提供,后由 Command R 接替,2025 年弃用。 | |
| Jurassic-2 AI21 Labs 于 2023 年 3 月发布的语言模型系列,接替 Jurassic-1,有三种规模和指令微调版本,2024 年由 Jamba 接续。 | |
| Stable LM Stable LM 是 Stability AI 于 2023 年 4 月发布的开源语言模型系列,首批为 30 亿和 70 亿参数的 alpha 版;基础模型允许商用,指令微调版本仅限研究。 | |
| 文心大模型 3.5 文心大模型 3.5 是百度于 2023 年 6 月下旬发布的大语言模型,作为文心一言背后的升级版本,引入了插件机制;百度称其在若干基准测试上超过 ChatGPT。 | |
| Baichuan-7B Baichuan-7B 是 2023 年 6 月发布的开源中英双语大语言模型,参数量 70 亿,是百川的第一个模型,训练约 1.2 万亿词元,并在中英文基准上给出了评测成绩。 | |
| Baichuan-13B 百川智能2023年7月发布的开源130亿参数语言模型,分基座版与对话版,以1.4万亿token训练,并在中英文基准上同LLaMA-13B做对照。 | |
| 云雀大模型 云雀(Skylark)是字节跳动于 2023 年 8 月推出的第一个大语言模型,为豆包聊天机器人提供底层能力,2024 年 5 月以「豆包大模型」家族的名义重新对外发布。 | |
| 讯飞星火 V2.0 讯飞星火 V2.0 是科大讯飞大语言模型的第二个版本,于 2023 年 8 月 15 日发布,升级了代码与多模态能力,并与编程助手 iFlyCode 1.0 一同推出。 | |
| PLaMo-13B(PFN 日英双语模型) PLaMo-13B 是 Preferred Networks 训练并开源的 130 亿参数日英双语语言模型,以 LLaMA 为基础,2023 年 9 月以 Apache-2.0 许可在 Hugging Face 公开。 | |
| 讯飞星火 V3.0 讯飞星火 V3.0 是科大讯飞于 2023 年 10 月 24 日发布的大语言模型版本,公司称其在中文语境下优于 GPT-3.5;同日还发布了与华为共建的国产算力平台和 12 个行业模型。 | |
| DeepSeek LLM 通用语言模型(7B / 67B) DeepSeek LLM 是深度求索于 2023 年 11 月 29 日发布的首个通用语言模型系列,提供 7B 和 67B 两种规模,每种都有基础版和对话版。 | |
| Baichuan 3 Baichuan 3 是百川智能 2024 年 1 月 29 日发布的闭源大语言模型,参数规模超过一千亿。官方称其在中文基准与中文医疗任务上超过或接近 GPT-4,主打中文与医疗能力。 | |
| 讯飞星火 V3.5 讯飞星火 V3.5 是科大讯飞于2024年1月30日发布的大语言模型,是首个基于全国产算力平台飞星一号训练的星火模型,发布时与 GPT-4 Turbo 作了比较。 | |
| Aya 101 Aya 101 是 Cohere For AI 发布的指令微调模型,参数量 13 billion,能用 101 种语言遵循指令,2024 年 2 月以 Apache 2.0 许可证开放。 | |
| Command R Cohere 于 2024 年 3 月发布的 350 亿参数语言模型,面向生产环境的检索增强生成与工具调用,支持 128k 上下文,并以非商用许可开放权重。 | |
| Step-1 千亿参数语言大模型 Step-1 是阶跃星辰推出的首个语言大模型,参数量约一千亿,2024 年 3 月 23 日在上海与多模态模型 Step-1V、Step-2 预览版一同发布。 | |
| 孟子3(Mengzi3) 孟子3(Mengzi3)是澜舟科技开源的一系列大语言模型,有 8B 与 13B 两种规模,采用 Llama 架构,在数万亿多语言 token 上继续训练,以 Apache-2.0 许可开放。 | |
| abab 6.5 大模型 abab 6.5 是 MiniMax 于 2024 年 4 月发布的混合专家大语言模型系列,据报道支持 20 万词元的上下文长度,并在长上下文检索测试中答对了全部 891 个问题。 | |
| Mixtral 8x22B Mistral AI 于 2024 年 4 月发布的稀疏混合专家语言模型,总参数 1410 亿,每个词元激活其中 390 亿,以 Apache 2.0 许可开放权重。 | |
| Octo Octo 是一个开源的通用机器人策略,用 80 万条机器人轨迹训练的基于 Transformer 的扩散模型,可以直接控制多种机器人,并能高效微调到新的机器人配置。 | |
| Yi-1.5 Yi-1.5 是零一万物于 2024 年 5 月开源的模型系列,含 34B、9B、6B 三种规模,各有基础版与对话版,由原 Yi 模型继续预训练而来。 | |
| Baichuan 4 Baichuan 4 是百川智能于 2024 年 5 月 22 日在北京发布的闭源大语言模型,也是百川第一个多模态模型,同日上线的 AI 助手「百小应」由它驱动。 | |
| Aya 23 Aya 23 是 Cohere For AI 发布的开放权重多语言指令微调模型,2024 年 5 月推出 80 亿和 350 亿参数两个版本,覆盖 23 种语言,作者称其表现优于 Aya 101 等模型。 | |
| 文心大模型 4.0 Turbo 文心大模型 4.0 Turbo 是百度于 2024 年 6 月发布的语言模型,百度称其在常见场景上更强、比文心 4.0 更快更便宜,位于文心 4.0 与文心 4.5 之间。 | |
| 苹果基础模型(AFM,2024) 苹果基础模型(AFM,2024)是 Apple 智能背后的第一代模型,包括约 30 亿参数的端侧模型,以及运行在 Private Cloud Compute 上的较大服务器模型。 | |
| SAM 2(分割一切模型第二代) SAM 2 是 Meta 于 2024 年 7 月发布的分割一切模型第二代,可以实时分割图像和视频中的物体。随模型发布的还有 SA-V 视频数据集。 | |
| EXAONE 3.0(LG 首个开源模型) EXAONE 3.0 7.8B 是 LG AI Research 首个对外开放的模型,为指令微调版本,韩语能力突出,权重以申请制方式在 Hugging Face 发布。 | |
| Jamba 1.5(Mini 与 Large) Jamba 1.5 是 AI21 Labs 的指令微调语言模型系列,含 Mini 与 Large 两个规模,混合 Transformer 与 Mamba 层,有效上下文 25.6 万词元,权重开放。 | |
| OLMoE OLMoE 是 Ai2 发布的完全开放的稀疏专家混合语言模型:总参数 70 亿,每个词元激活 10 亿,在 5 万亿词元上预训练,权重、数据、代码和日志全部公开。 | |
| Aya Expanse Aya Expanse 是 Cohere For AI 于 2024 年 10 月发布的多语言开放权重模型系列,分为 8B 和 32B 两个规模,覆盖 23 种语言。 | |
| Movie Gen(视频生成模型) Movie Gen 是 Meta 于 2024 年 10 月 4 日首次展示的一组媒体基础模型,涵盖视频生成、个性化视频、精确视频编辑和音频生成,发布时未公开提供。 | |
| 讯飞星火 4.0 Turbo 讯飞星火 4.0 Turbo 是科大讯飞 2024 年 10 月发布、2025 年 1 月升级的大语言模型,训练与推理都在国产飞星一号算力平台上完成,讯飞称其多项中英文测试成绩超过 GPT-4 Turbo 与 GPT-4o。 | |
| EXAONE 3.5(LG 韩英双语模型) LG AI Research 于 2024 年 12 月发布的韩英双语指令微调模型系列,含 2.4B、7.8B、32B 三档规模,支持 32K 上下文,权重以允许研究使用的许可证开放。 | |
| Llama 3.3 70B Llama 3.3 70B 是 Meta 于 2024 年 12 月 6 日发布的纯文本指令模型。Meta 称,它的表现接近 4050 亿参数的 Llama 3.1,成本却低得多,并可在普通开发者工作站上运行。 | |
| Falcon3(TII 开源模型系列) Falcon3 是 TII 的开放权重语言模型系列,覆盖 1B 到 10B 参数,各有基础与 instruct 版本;10B instruct 权重于 2024 年 12 月 14 日上传到 Hugging Face。 | |
| Megrez-3B-Instruct(无问芯穹端侧模型) 无问芯穹 2024 年 12 月开源的 29 亿参数语言模型,采用 Llama-2 结构与 32K 上下文,Apache-2.0 许可,面向本地部署。 | |
| NVIDIA Cosmos 世界基础模型 NVIDIA Cosmos 是一组世界基础模型,可生成符合物理规律的视频,用于训练机器人和自动驾驶汽车,2025 年 1 月以开放权重发布。 | |
| Mistral Small 3 Mistral Small 3 是 Mistral AI 于 2025 年 1 月发布的 240 亿参数开源语言模型,以 Apache 2.0 许可发布,主打低延迟,可在单张显卡或笔记本上运行。 | |
| Llama 4 Behemoth Llama 4 Behemoth 是 Meta 于 2025 年 4 月 5 日预览的超大模型,用作 Llama 4 系列的教师模型。它从未公开发布。 | |
| 文心大模型 4.5 Turbo 文心大模型 4.5 Turbo 是百度于 2025 年 4 月 25 日发布的多模态大模型,主打更低的幻觉率、更快的响应和大幅下调的 API 价格。 | |
| Sarvam-M(印度多语言混合推理模型) Sarvam-M 是 Sarvam AI 发布的开源权重模型,在 Mistral Small 基础上后训练而成,覆盖 11 种印度语言,支持思考与不思考两种模式,在印度语言、数学和编程基准上有明显提升。 | |
| 苹果基础模型(2025) 苹果基础模型(2025)是苹果的第二代模型。它增加了图像理解能力,服务器模型改用混合专家结构,并通过 Foundation Models 框架向开发者开放端侧模型。 | |
| MiniCPM4(面壁智能端侧模型) MiniCPM4 是面壁智能面向端侧设备而非服务器设计的语言模型,采用可训练的稀疏注意力 InfLLM v2,并在数据、训练与推理环节做了配套优化,以 Apache-2.0 许可开放权重。 | |
| Skild Brain Skild Brain 是 Skild AI 开发的通用机器人基础模型,在包含 10 万台不同机器人的虚拟环境中训练,可装配到现有机器人硬件上,而不是为单一任务专门设计。 | |
| Megrez2(无问芯穹端侧 MoE 模型) Megrez2-3x7B-A3B 是面向端侧部署的混合专家语言模型,通过让相邻层共用一个专家池,把存储参数压到 75 亿,而每个 token 只激活约 30 亿参数。 | |
| MAI-1-preview 微软人工智能团队首个完全在内部训练的基础模型,2025 年 8 月 28 日发布。它采用混合专家架构,先在 LMArena 公开测试,并按计划陆续用于 Copilot 的部分文本场景。 | |
| π*0.6 Physical Intelligence 于 2025 年 11 月 17 日发布的机器人模型,同时用演示、人类纠正和机器人自主经验训练,据公司报告在制作咖啡、折叠衣物和装配纸箱三类任务上成功率超过 90%。 | |
| SAM 3(分割一切模型第三代) SAM 3 是 Meta 于 2025 年 11 月发布的分割一切模型第三代,可依据简短文字或示例图像,找出并分割某一概念的全部实例。Meta 报告称,它在这项任务上的准确率是现有系统的两倍。 | |
| 文心大模型 5.1 文心大模型 5.1 是百度于 2026 年 5 月 9 日发布的大语言模型,沿用文心 5.0 的预训练基础派生出更小的版本,预训练成本约为同类模型的 6%,并在 LMArena 文本、搜索榜上位列中国模型第一。[^1][^3] | |
| 苹果基础模型第三代(AFM 3) 苹果基础模型第三代(AFM 3)于 2026 年 6 月 8 日发布,由五个模型组成,包括可达 200 亿参数的稀疏端侧多模态模型和三个云端模型。 | |
| Granite 4.2(IBM 企业级开源模型) Granite 4.2 是 IBM Granite 团队于 2026 年 8 月 25 日发布的开源权重模型系列,有 3B、8B、30B 三个稠密尺寸,其中 8B 版本带可切换的推理模式,采用 Apache-2.0 许可。 | |
| PLaMo 3 Translate(PFN 翻译专用模型) PLaMo 3 Translate 是 Preferred Networks(PFN)推出的翻译专用模型系列,有 0.8B、2B、8B、31B 四种规模,覆盖 53 种语言,并提供多种量化格式与社区许可。 | |
| 文心 ERNIE 5.5 Flash Base 文心 ERNIE 5.5 Flash Base 是百度于 2026 年 11 月 5 日公开的基座模型检查点:纯文本的稀疏混合专家模型,总参数 2800 亿、每 token 激活 140 亿,定位是供微调而非开箱即用的助手。 | |
| 吴永辉 吴永辉是人工智能研究者,在谷歌工作近二十年,曾任谷歌 DeepMind 研究副总裁,2025 年加入字节跳动大模型团队负责基础研究。 | |
| 巴雷特·佐夫(Barret Zoph) AI 研究者,神经架构搜索论文第一作者、Switch Transformer 共同作者;现为 Thinking Machines Lab 联合创始人兼 CTO。 | |
| 奥里·戈申 奥里·戈申是以色列企业家,2017年11月与约阿夫·肖哈姆、阿姆农·沙舒亚共同创办 AI21 Labs,并担任公司首席执行官。 | |
| 姜大昕 姜大昕是阶跃星辰创始人兼首席执行官,曾任微软全球副总裁。他认为 scaling law 决定模型智能的上限,多模态理解与生成的统一是通往通用人工智能的必经之路。 | |
| 王海峰 王海峰是百度首席技术官,ACL 与 IEEE 会士,长期从事机器翻译与自然语言处理研究,也是文心(ERNIE)系列技术报告的第一作者。 | |
| 汤姆·布朗(Tom Brown) 汤姆·布朗(Tom Brown)是 AI 研究者,被列为 Anthropic 联合创始人之一,也是 2020 年提出 GPT-3 的论文的第一作者。 | |
| 凯文·斯科特 凯文·斯科特是微软首席技术官,2017年1月24日获任新设的CTO职位,此前在LinkedIn、Google和AdMob担任工程领导职务。2024年微软称他继续任CTO,负责整体AI战略。 | |
| 丹尼尔·格罗斯 丹尼尔·格罗斯与伊利亚·苏茨克维、丹尼尔·莱维共同创办 SSI 并担任首席执行官,2025 年 7 月加入 Meta 新成立的 Meta Superintelligence Labs。 | |
| 马克·陈(Mark Chen) 马克·陈是 OpenAI 的研究者,曾带领团队做出 DALL·E 2,并参与 Codex 的开发;2025 年 3 月起担任扩大职责后的首席研究官。 | |
| 无问芯穹 中国的人工智能基础设施公司,做的是让多种模型跑在多种芯片上的中间层软件,同时开源 Megrez 系列模型。 | |
| 刘知远 刘知远是清华大学长聘副教授、北京面壁智能联合创始人兼首席科学家,主张把有能力的模型做小,放到本地设备上运行。 |