数据与数据集 模型

IBM Watson 是 IBM 研发的问答计算机系统，由 David Ferrucci 领导团队开发；2011 年 2 月它在电视问答节目《Jeopardy!》中击败了该节目历史上最强的两位冠军。

Meta AI 于 2023 年 2 月发布的一系列基础语言模型，有 7B 到 65B 四种规模，只用公开数据训练；其中 13B 版本在多数基准测试上被报告优于 GPT-3。

T5 是 Google 的 Transformer 语言模型系列，把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩，代码、预训练模型与 C4 数据集均公开。

Segment Anything 模型（SAM）是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码，它就能圈出对应的物体。

OLMo 是艾伦人工智能研究所（Ai2）的开放语言模型，2024 年 2 月 1 日以 1B 和 7B 两种规模发布，连同 Dolma 训练数据、训练代码、日志和检查点，全部采用 Apache 2.0 许可。

Phi-4 是微软于 2024 年 12 月发布的 140 亿参数稠密解码器式语言模型，训练重心放在数据质量与合成数据上，2025 年 1 月以 MIT 许可证放出完整权重。

Olmo 3 是艾伦人工智能研究所（Ai2）完全开放语言模型的第三代，2025 年 11 月 20 日宣布，提供 7B 和 32B 稠密 Transformer 规模，上下文 65,536 词元，数据全部公开。

StarCoder是BigCode项目于2023年5月4日发布的开放代码语言模型，约155亿参数，由Hugging Face与ServiceNow共同领导的项目推出。

Phi-1 是微软研究院发布的一个 13 亿参数的 Transformer 语言模型，专攻 Python 代码；它用经过筛选的「教科书质量」数据和合成数据说明，数据质量可以在一定程度上替代模型与数据规模。

Phi-1.5 是微软研究院的 13 亿参数语言模型，用经过挑选和生成的「教科书式」文本训练，不用网页抓取数据；报告称其自然语言表现可与体积大 5 倍的模型相比。

GNoME 是 Google DeepMind 于 2023 年 11 月 29 日公布的深度学习工具，用于预测新型无机晶体；它给出 220 万个候选晶体，其中 38 万个被预测为最稳定。

Phi-2 是微软研究院 2023 年 12 月 12 日公布的 27 亿参数基座语言模型，微软称它在复杂基准上匹配或超过最多 25 倍大的模型，成为小模型路线的一个参照点。

Aya 101 是 Cohere For AI 发布的指令微调模型，参数量 13 billion，能用 101 种语言遵循指令，2024 年 2 月以 Apache 2.0 许可证开放。

StarCoder2 是 BigCode 联合 NVIDIA 于 2024 年 2 月发布的开放代码模型系列，含 3B、7B、15B 三种规模，训练数据与代码一并公开。

OpenELM 是 Apple 发布的一系列小型开放语言模型，共 270M 至 3B 四种规模，并公开了训练框架、日志、检查点以及转换为 MLX 的代码。

Nemotron-4 340B 是 NVIDIA 于 2024 年 6 月 14 日发布的开放模型系列，包括基础、指令和奖励三个版本，用于生成合成训练数据。

SmolLM 是 Hugging Face 于 2024 年 7 月公开发布的一系列小型语言模型，参数量分别为 135M、360M 和 1.7B，面向设备端运行，并用一套专门构建的语料训练。

SAM 2 是 Meta 于 2024 年 7 月发布的分割一切模型第二代，可以实时分割图像和视频中的物体。随模型发布的还有 SA-V 视频数据集。

Molmo 是 Ai2 于 2024 年 9 月 25 日发布的一系列开放视觉语言模型，能在图像中指出具体物体，权重、代码、数据与评测全部公开。

SmolLM2 是 Hugging Face 于 2024 年 11 月发布的第二代小型语言模型系列，包含 135M、360M 和 1.7B 三种规模，以 Apache 2.0 许可开放，强调数据而非参数规模。

OLMo 2 是艾伦人工智能研究所（Ai2）第二代完全开放的语言模型，2024 年 11 月发布 7B 与 13B 两个规模，权重、数据、代码与训练配方全部公开。

OLMo 2 系列中参数规模最大的模型，320 亿参数，数据、代码、权重与训练细节全部公开；Ai2 称它是首个在多项学术基准上超过 GPT-3.5-Turbo 和 GPT-4o mini 的完全开源模型。

SmolLM3 是 Hugging Face 于 2025 年 7 月 8 日发布的 30 亿参数开放模型，支持六种语言与最长 128K 令牌的上下文，可切换推理模式。

DeepSeek-OCR 是一个约 3B 参数的开源文字识别模型，它把长文本渲染成图像、用很少的视觉词元把文字读回来，用来检验「光学压缩」能否代替超长文本上下文。

SAM 3 是 Meta 于 2025 年 11 月发布的分割一切模型第三代，可依据简短文字或示例图像，找出并分割某一概念的全部实例。Meta 报告称，它在这项任务上的准确率是现有系统的两倍。

NVIDIA Nemotron 3 是 2025 年 12 月宣布的开放混合专家语言模型系列，分 Nano、Super、Ultra 三种规格，最长支持 100 万标记上下文。

Mistral OCR 是 Mistral AI 于 2025 年 3 月 6 日发布的文档理解 API，能识别文档中的文本、表格、公式与媒体，覆盖数千种文字和语言，后来被更新的 OCR 版本取代。

NVIDIA Nemotron Nano 2 是一款 9B 参数的小型推理模型，采用 Mamba 与 Transformer 混合架构，主打长上下文推理下的高吞吐，并开放了权重与大部分训练数据。