数据与数据集

数学家诺伯特·维纳被普遍视为控制论的创立者。1948年出版的《控制论》把反馈形式化，将动物与机器中的控制与通信视为同一个问题。

美国数学家、电气工程师，1948 年发表《通信的数学理论》，为通信工程奠定了数学基础。

把信息当作可以度量、编码和传输的量来研究的理论，奠基于香农 1948 年的论文；比特、熵与信道容量都是它给出的概念。

C. E. Shannon 1948年的论文为通信建立了数学框架，以比特度量信息，提出信道容量与熵，并把消息视为从可能集合中选出的对象，而非语义内容。

这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]

Sergey Brin 与 Lawrence Page 于 1998 年发表的会议论文，提出按指向网页的链接数量与质量排序的 PageRank 算法，并据此搭建了 Google 搜索引擎。

一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。

CIFAR-10 是一个用于图像分类研究的小图数据集：6 万张 32×32 彩色图像分属 10 个互斥类别，5 万张训练、1 万张测试，由 Krizhevsky、Nair 和 Hinton 整理。

2009年的这篇论文提出了ImageNet，一个规模大、标注清晰、按WordNet层级组织的图像数据库，后来成为ILSVRC竞赛的基础。

IBM Watson 是 IBM 研发的问答计算机系统，由 David Ferrucci 领导团队开发；2011 年 2 月它在电视问答节目《Jeopardy!》中击败了该节目历史上最强的两位冠军。

2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。

GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。

检索增强生成（RAG）让语言模型在回答前先从外部库中取回相关文档并放进提示词，从而用上训练数据之外的知识，也能标出答案的来源。

2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。

Meta AI 于 2023 年 2 月发布的一系列基础语言模型，有 7B 到 65B 四种规模，只用公开数据训练；其中 13B 版本在多数基准测试上被报告优于 GPT-3。

这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。

一个众包的模型评测平台：用户对两个匿名模型的回答投票，结果汇总成 Elo 排行榜；2023 年上线，2025 年以 LMArena 之名重新启动。

一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。

Cerebras 于 2024 年 3 月发布的第三代晶圆级 AI 芯片，在 46,225 平方毫米的一整块硅片上集成 4 万亿个晶体管，目标是让超大模型在单一内存空间中训练。

面向万亿参数模型的液冷机架，NVIDIA 把 72 颗 Blackwell GPU 与 36 颗 Grace CPU 连成单一 NVLink 域。

TPU7x（Ironwood）是 Google 第七代张量处理器：单芯片 192 GB 高带宽内存，支持 FP8，一个 Pod 可装 9,216 颗芯片，编程模型为每颗芯片暴露两个设备。

NVIDIA 于 2025 年 3 月发布的机架级系统，把 72 颗 Blackwell Ultra GPU 和 36 颗 Grace CPU 连成一台机器，官方称其 AI 性能是 GB200 NVL72 的 1.5 倍。

AMD 于 2025 年 6 月推出的数据中心 GPU，采用 CDNA 4 架构，配备 288 GB HBM3E 显存，主打生成式 AI 推理，与英伟达 Blackwell 一代正面竞争。

AWS Trainium3 是首款 3 纳米 AI 芯片，单芯片 FP8 算力 2.52 petaflops，2025 年 12 月起通过 Amazon EC2 提供。[^1]

NVIDIA Rubin 是 NVIDIA 在 CES 2026 发布的六芯片 AI 平台，Blackwell 的继任者，重点降低大模型推理成本，相关产品和云实例将在 2026 年推出。

监督学习用成对的标注样本训练模型，让它学会从输入到输出的映射，从而对未见过的数据给出预测。衡量它成败的关键，是模型在训练集之外的泛化能力。

ImageNet 是按 WordNet 概念体系组织的大型分层图像数据库，2009 年在普林斯顿大学发布，含 21841 个类别、超过 1400 万张图像及边界框标注，其 1000 类子集被 ILSVRC 挑战赛采用。

美国国家标准与技术研究院（NIST）是成立于1901年的联邦物理科学实验室，现隶属美国商务部，长期从事测量科学、标准与技术工作，近年也成为美国政府人工智能安全与评估工作的落点。

朱迪亚·珀尔是计算机科学家与统计学家，提出贝叶斯网络及与之配套的主要推理算法，后又以 do-演算建立从数据中分析因果关系的数学框架，2011 年获 ACM 图灵奖。

一种监督式的最大间隔模型，用于分类与回归；它用尽可能宽的间隔把不同类别分开，并通过核函数处理非线性数据。

周志华是南京大学的计算机科学家，研究集成学习、弱监督学习与多标签学习。他在南京大学创办了 LAMDA 研究所，现任该校副校长，并于2025年当选中国科学院院士。

斯坦福计算机科学家李飞飞创建了 ImageNet 大规模图像数据集及挑战赛，为数据驱动的计算机视觉提供了共同基准，并在学界与产业界长期从事 AI 研究。

甲骨文是一家成立于 1977 年的美国软件公司，销售数据库软件、企业应用以及云基础设施和硬件。2025 年披露的 OpenAI 云合同改变了它在全球最大公司中的地位。

Cyc 是由 Douglas Lenat 于 1984 年发起的手工构建的常识知识库，试图把关于世界如何运转的基本概念和规则完整地写成机器可读的形式。

这是一篇 1992 年由 Watkins 与 Dayan 发表的技术札记，提出了 Q 学习：一种计算量小、增量式的学习最优动作价值的方法，并证明它在特定条件下以概率 1 收敛到最优值。

Corinna Cortes 与 Vladimir Vapnik 1995年的论文提出支持向量网络：将输入非线性映射到高维特征空间并构造线性决策面，把方法从完全可分数据扩展到非可分数据。

AdaBoost（自适应提升）是 Freund 和 Schapire 在 1995 年提出的统计分类元算法：它反复调整训练样本的权重、依次训练多个弱分类器，再把它们的输出加权合成为一个更强的分类器。

杨立昆等人1998年的综述主张，学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法，并引入了MNIST数据集。

Brin 和 Page 的 PageRank 技术报告把超链接当作引用，用链接结构为网页排序，并用于构建 Google 搜索引擎；它是描述两人早期工作的两篇被高度引用论文之一。

Salesforce 是 1999 年在旧金山创立的企业软件公司，以订阅方式提供客户关系管理软件，如今已是全球规模最大的企业软件公司之一。

Breiman 2001 年的论文把随机森林定义为多棵依赖随机向量的树的组合，分析其泛化误差与树强度和相关性的关系，并报告其错误率与 Adaboost 相当且更抗噪声。

主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。

Google 的 Dean 与 Ghemawat 于 2004 年发表论文提出 MapReduce：用户只写 map 与 reduce 函数，系统自动在廉价机器集群上并行执行。

OWL（网络本体语言）是 W3C 于 2004 年 2 月 10 日发布的推荐标准：一种在 Web 上发布和共享本体的语义标记语言，用形式语义为词项给出定义，让软件能处理信息的内容，而不只是把它呈现给人。

Common Crawl 是一家非营利机构，自 2007 年起抓取公开网页，并把 PB 级的存档和数据集免费开放。它的语料库后来成为训练大语言模型的重要数据来源之一。

Alex Krizhevsky 于 2009 年撰写的技术报告，提出 CIFAR-10 与 CIFAR-100，并研究用多层生成模型从小图像中学习特征。

Wolfram|Alpha 是一个通过计算给出答案、而非返回网页链接的网络服务。它完全用 Mathematica 构建，2009 年 5 月 15 日以测试模式上线，三天后正式发布。

必应（Bing）是微软的消费级网络搜索品牌，2009年6月3日上线，以「决策引擎」为定位，希望在购物、旅行、健康、本地商户等场景中帮用户更快做出更明智的决定。

scikit-learn 是一个用 Python 编写的开源统计学习库，2007 年起步、2010 年 2 月 1 日首次公开发布，如今是 GitHub 上最流行的机器学习软件之一。

国家互联网信息办公室（英文名 Cyberspace Administration of China）是负责互联网信息内容管理的机构，职责涵盖新闻许可、网站查处、算法推荐规则与人工智能生成内容标识等。

谷歌于 2012 年公布的一项搜索功能，用实体及其相互关系来组织信息，让搜索面对的是“事物”而不是“字符串”。

Databricks 是 2013 年成立于旧金山的软件公司，源自伯克利创造 Apache Spark 的 AMPLab 项目 [^1][^2]。2026 年估值达 1880 亿美元 [^11]。

保罗·艾伦于2014年创办的非营利人工智能研究机构，总部在西雅图，以 Semantic Scholar 学术搜索和公开训练数据、代码与中间检查点的 OLMo 系列开放语言模型闻名。

2014 年发表的论文，提出 Microsoft COCO 数据集：以日常复杂场景为对象，用逐实例分割标注常见物体，把物体识别放进场景理解的大框架里。

Hugging Face成立于2016年，运营模型社区Hub并开发Transformers等开源库。2026年9月，英伟达宣布收购该公司。

Scale AI 是一家为人工智能模型生产训练数据的公司，2016 年创办，为 OpenAI、Meta 和微软等提供数据；2025 年 Meta 以逾 140 亿美元取得其 49% 无投票权股份。

NVIDIA 于 2016 年 4 月发布的 DGX-1 在单个机箱里装了 8 块 Tesla P100 GPU，被称为世界上第一台深度学习超级计算机，把加速卡的数量变成一个可直接采购的整机型号。

SQuAD 是一个阅读理解数据集，包含 10 万多个由众包工人针对维基百科文章提出的问题，每个问题的答案都是原文中的一段文字。它于 2016 年发布，免费开放，并给出了可对照的人类成绩上限。

一家总部位于新泽西州的云计算公司，从以太坊挖矿起步，转型为面向 AI 的 GPU 算力供应商，2025 年在纳斯达克上市。

GLUE 是一个基准与分析平台，用一组多样的既有自然语言理解任务来评测模型，配有在线对比平台和人工编写的诊断测试集，用于细致的语言学分析。

Papers with Code 是免费开放的机器学习论文与代码资源，并维护追踪任务最先进水平的基准排行榜；2019 年底起由 Facebook 控股，2026 年重新上线。

SuperGLUE 是 2019 年发布的通用语言理解基准，作为 GLUE 的更难继任者：八项任务、单一指标、分析工具包与公开排行榜。

2019 年的一篇论文，把各类语言任务统一为文本到文本，系统比较迁移学习选择，发布 C4 语料与模型，并在摘要、问答、文本分类等基准上取得当时最优结果。

T5 是 Google 的 Transformer 语言模型系列，把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩，代码、预训练模型与 C4 数据集均公开。

Hugging Face Hub是人们分享机器学习模型、数据集和演示应用的平台，到2026年9月已有300多万个模型和1800多万用户。

NVIDIA DGX A100 是 NVIDIA 第三代 DGX 系统，2020 年 5 月 14 日发布，内置八块 A100 GPU，AI 性能标称 5 petaflops，最多可切分为 56 个实例。

EleutherAI 是草根 AI 研究团体，2020年7月始于 Discord 服务器，发布了 The Pile 及多个开放模型，2023年成为非营利研究机构。

The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。

2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。

NVIDIA 于 2022 年 3 月发布的第四代 DGX 系统，单机集成 8 块通过 NVLink 相连的 H100 GPU，FP8 精度下提供 32 petaflops 算力，面向企业级 AI 基础设施。

DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。

LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。

阿里巴巴达摩院与 CCF 开源发展委员会等伙伴共同推出的开源模型社区，2022 年正式发布，汇聚数百个可直接取用的模型，推动「模型即服务」。

2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。

华为昇腾 910B 是 2023 年量产的 AI 芯片，FP16 算力 320 TFLOPS，配 32 GB HBM2e 显存、1.6 TB/s 带宽，310 W 功耗，采用 7 纳米国产工艺。

Hugging Face 于 2023 年推出的公开大模型排行榜，用完全统一的设置评测开源模型，让分数可复现、可比较；2025 年退役。

Segment Anything 模型（SAM）是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码，它就能圈出对应的物体。

NVIDIA 于 2023 年 11 月发布的 H200 是首款采用 HBM3e 显存的 GPU，141 GB 容量接近 A100 的两倍，在 Llama 2 70B 上的推理速度接近 H100 的两倍。

Azure Maia 100 是微软第一颗自研 AI 芯片，2023 年 11 月发布，用于在自家 Azure 数据中心里训练和运行大语言模型，不对外销售。

2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。

Google TPU v5p 是 2023 年推出的 TPU 世代，规格列出每颗芯片 459 TFLOPS 的 BF16/FP8 峰值算力、95 GiB HBM 和每 pod 8,960 颗芯片。

OLMo 是艾伦人工智能研究所（Ai2）的开放语言模型，2024 年 2 月 1 日以 1B 和 7B 两种规模发布，连同 Dolma 训练数据、训练代码、日志和检查点，全部采用 Apache 2.0 许可。

一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。

Meta 自研 AI 芯片 MTIA 的第二代，2024 年 4 月 10 日公布，采用台积电 5 纳米工艺，专门服务 Meta 自家的排序与推荐模型。

FineWeb 是从 96 个网络快照构建的 15 万亿 token 预训练数据集，公开了处理代码与实验模型；教育子集 FineWeb-Edu 在知识推理基准上表现更好。

LMSYS 是一家孵化开源 AI 项目的非营利组织，2023 年由多所大学合作发起，2024 年 9 月注册，做开放模型、系统与评测平台如 Chatbot Arena。

AMD 于 2024 年 10 月 10 日发布的数据中心 GPU，基于第三代 CDNA 架构，配备 256 GB HBM3E 显存、带宽 6 TB/s，面向一万亿参数级别的模型。

Google TPU v6e（又称 Trillium）是 Google Cloud 的 AI 加速芯片，公布了每芯片 BF16/FP8 算力、HBM 内存与 Pod 级互连规格。

AWS Trainium2 是亚马逊云科技的第二代自研机器学习芯片，以最多 16 颗芯片的 EC2 Trn2 实例和最多 64 颗芯片的 Trn2 UltraServer 形式提供，AWS 称其性价比优于同代 GPU 实例。

Phi-4 是微软于 2024 年 12 月发布的 140 亿参数稠密解码器式语言模型，训练重心放在数据质量与合成数据上，2025 年 1 月以 MIT 许可证放出完整权重。

Arena Intelligence 是 2025 年由 Chatbot Arena 团队成立的公司，运营 LMArena 模型对比平台，并称已获得 2.5 亿美元风险投资。

AMD Instinct MI350X 是 AMD MI350 系列中的数据 GPU，基于 CDNA 4 架构，单卡最高 288 GB HBM3E 显存、8 TB/s 带宽，板卡功耗上限 1,000 W。

Olmo 3 是艾伦人工智能研究所（Ai2）完全开放语言模型的第三代，2025 年 11 月 20 日宣布，提供 7B 和 32B 稠密 Transformer 规模，上下文 65,536 词元，数据全部公开。

AMD Instinct MI400 是 AMD 面向 AI 的下一代数据中心 GPU，预计 2026 年推出，配备 432 GB HBM4 显存，将被集成在 AMD 的 Helios 机柜级系统中交付。

微软 Maia 200 是 2026 年 1 月 26 日发布的推理加速器，采用台积电 3 纳米工艺，配备 216 GB HBM3e 内存，FP4 算力超过 10 petaflops，用来运行 OpenAI 的 GPT-5.2 等模型。

Epoch AI 的基准测试中心汇集领先 AI 模型的基准成绩，包括其自行开展的评测，并用 Epoch Capabilities Index 将多项分数合并为单一通用能力量表。

过拟合指模型对训练数据拟合得过于贴合，因而在新数据上表现变差。它与欠拟合共同构成偏差—方差权衡的两端，通常通过比较训练与验证表现来发现。

正则化是把问题的答案变得更简单的做法：在目标函数中加入惩罚项，使不适定问题可解，或防止模型过拟合。它是机器学习中最基础的技术之一。

语义网是 W3C 推动的一套标准与技术，用 RDF 和 OWL 描述数据，让不同应用、企业和社区能够共享和复用信息，并推动相关技术走向实用工具。

英特尔是一家芯片公司。它 2017 年买下 Mobileye、2022 年让其独立上市并保留多数股权，又把 Falcon Shores 降为内部测试芯片、改押 Jaguar Shores，显示它如何进出相邻市场。

Snowflake 是一家云数据平台公司，也自研开放语言模型；其 Arctic 模型把稠密 Transformer 与稀疏专家混合结合，以 Apache 2.0 许可发布。

合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示，混入模型生成的「教科书」后，一个小规模代码模型也能在代码基准上取得不错的成绩，说明数据质量本身影响能力。

基准污染（benchmark contamination）指模型被评测的题目或与之接近的变体本来就出现在它的预训练数据里，于是分数部分反映的是对已见文本的记忆，而不是基准想测的能力。

损失函数把预测的代价折算成一个数，训练模型就是让这个数尽量小。选哪种损失函数，也就决定了模型会为什么样的错误付出代价。

普林斯顿大学1746年以「新泽西学院」之名获得特许状，是图灵、麦卡锡、明斯基取得博士学位的地方，也是李飞飞启动 ImageNet 的地方；共有17位图灵奖得主曾在此学习或任职。

K 均值聚类把 n 个观测分成 k 组：反复将每个点归到最近的中心点，再用各组的均值更新中心点。方法简单、能扩展到大数据，但 k 需要事先指定。

美国政治人物，1967年生于旧金山，创办PlumpJack集团，曾任旧金山市长，现任加州第40任州长，曾签署和拒签前沿人工智能相关法案。

一种通过重采样和划分数据来估计模型泛化能力的验证方法：把样本切成若干折，轮流留一折作验证、其余作训练，再把多次运行的结果平均。

国际能源署是设在巴黎的政府间组织，1974 年为应对石油供应中断而成立。它每年发布《世界能源展望》，并从 2024 年起开展能源与人工智能方面的工作。

UCI 字母识别数据集收录了 2 万个经过随机变形的英文大写字母图像，每张图被压缩成 16 个整数属性，用来在 26 类识别任务上检验分类算法。

Informatica 是 1993 年成立的美国软件公司，做企业云数据管理与数据集成，1999 年上市，2025 年被 Salesforce 收购。

1993 年论文，作者 Marcus、Santorini 与 Marcinkiewicz，介绍宾夕法尼亚树库：一百多万词《华尔街日报》文本带句法括号标注。

美国企业家，1997年生，2016年与Lucy Guo共同创办数据标注与模型评测公司Scale AI；2025年出任Meta首席人工智能官，领导Meta超级智能实验室。

Apache Hadoop 是一组开源软件工具，用 Hadoop 分布式文件系统存储数据、用 MapReduce 模型并行处理大数据，2006 年首次发布，源自 Nutch 搜索项目。

Kaggle 是一个数据科学竞赛平台和在线社区，由 Anthony Goldbloom 于 2010 年 4 月创办，多数竞赛提交会即时对照隐藏答案打分并显示在实时排行榜上。2017 年 3 月被谷歌收购。

NVIDIA Tesla K80 是 2014 年 11 月发布的双 GPU 数据中心加速卡，在一块 300 W 的板卡上集成两颗 GK210、24 GB 显存，单精度峰值最高 8.74 万亿次浮点运算每秒。

英国芯片公司，2016 年成立于布里斯托，设计面向 AI 负载的智能处理器（IPU）；经历大额融资与高额亏损后，2024 年成为软银集团的全资子公司。

AI Now 研究所是一家美国研究机构，2017 年与纽约大学合作成立，研究人工智能的社会影响以及科技行业的权力集中问题，并定期发布年度报告和政策建议。

NVIDIA DGX-2 是 2018 年 3 月发布的一台服务器，把 16 块 Tesla V100 GPU 与新的 NVSwitch 互联装进一个机箱，NVIDIA 称它是首台达到两千万亿次浮点运算的单一服务器。

斯坦福大学以人为本人工智能研究院（HAI）成立于2019年，由李飞飞与约翰·埃奇门迪共同执掌，研究人工智能的机遇与风险，下设基础模型研究中心，并发布人工智能指数报告。

Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。

Epoch AI 是一家以数据为先的研究型非营利机构，研究人工智能的未来；它以系统追踪 AI 训练算力趋势、维护硬件与算力数据库、开展独立模型评测并推出 FrontierMath 基准而为人所知。

RedPajama 是一个开源项目，第一步是把 LLaMA 的训练数据集复现出来，以「洁净室」方式完整开源了 1.2 万亿 token 的语料。

MTIA 第一代是 Meta 自研的第一代 AI 推理加速器，采用台积电 7 纳米制程，配备 128 MB 片上内存，面向深度学习推荐模型。

StarCoder是BigCode项目于2023年5月4日发布的开放代码语言模型，约155亿参数，由Hugging Face与ServiceNow共同领导的项目推出。

Phi-1 是微软研究院发布的一个 13 亿参数的 Transformer 语言模型，专攻 Python 代码；它用经过筛选的「教科书质量」数据和合成数据说明，数据质量可以在一定程度上替代模型与数据规模。

Phi-1.5 是微软研究院的 13 亿参数语言模型，用经过挑选和生成的「教科书式」文本训练，不用网页抓取数据；报告称其自然语言表现可与体积大 5 倍的模型相比。

GNoME 是 Google DeepMind 于 2023 年 11 月 29 日公布的深度学习工具，用于预测新型无机晶体；它给出 220 万个候选晶体，其中 38 万个被预测为最稳定。

Phi-2 是微软研究院 2023 年 12 月 12 日公布的 27 亿参数基座语言模型，微软称它在复杂基准上匹配或超过最多 25 倍大的模型，成为小模型路线的一个参照点。

Dolma 是一个公开发布的英文语料库，规模约三万亿词元，由网页文本、论文、代码、书籍、社交媒体与维基百科混合而成；配套论文同时记录了数据集本身和整理流程。

Aya 101 是 Cohere For AI 发布的指令微调模型，参数量 13 billion，能用 101 种语言遵循指令，2024 年 2 月以 Apache 2.0 许可证开放。

StarCoder2 是 BigCode 联合 NVIDIA 于 2024 年 2 月发布的开放代码模型系列，含 3B、7B、15B 三种规模，训练数据与代码一并公开。

OpenELM 是 Apple 发布的一系列小型开放语言模型，共 270M 至 3B 四种规模，并公开了训练框架、日志、检查点以及转换为 MLX 的代码。

Nemotron-4 340B 是 NVIDIA 于 2024 年 6 月 14 日发布的开放模型系列，包括基础、指令和奖励三个版本，用于生成合成训练数据。

SmolLM 是 Hugging Face 于 2024 年 7 月公开发布的一系列小型语言模型，参数量分别为 135M、360M 和 1.7B，面向设备端运行，并用一套专门构建的语料训练。

SAM 2 是 Meta 于 2024 年 7 月发布的分割一切模型第二代，可以实时分割图像和视频中的物体。随模型发布的还有 SA-V 视频数据集。

Molmo 是 Ai2 于 2024 年 9 月 25 日发布的一系列开放视觉语言模型，能在图像中指出具体物体，权重、代码、数据与评测全部公开。

SmolLM2 是 Hugging Face 于 2024 年 11 月发布的第二代小型语言模型系列，包含 135M、360M 和 1.7B 三种规模，以 Apache 2.0 许可开放，强调数据而非参数规模。

OLMo 2 是艾伦人工智能研究所（Ai2）第二代完全开放的语言模型，2024 年 11 月发布 7B 与 13B 两个规模，权重、数据、代码与训练配方全部公开。

Falcon Shores 是英特尔的一颗芯片。2025 年 1 月，英特尔表示只把它当作内部测试芯片使用、不推向市场，并把机架级 AI 数据中心方案寄望于 Jaguar Shores。

OLMo 2 系列中参数规模最大的模型，320 亿参数，数据、代码、权重与训练细节全部公开；Ai2 称它是首个在多项学术基准上超过 GPT-3.5-Turbo 和 GPT-4o mini 的完全开源模型。

一个 8TB 的公共领域与开放许可文本数据集，用于大语言模型预训练；作者同时发布两个在该数据上训练的 70 亿参数模型，用以证明这批数据够用。

SmolLM3 是 Hugging Face 于 2025 年 7 月 8 日发布的 30 亿参数开放模型，支持六种语言与最长 128K 令牌的上下文，可切换推理模式。

DeepSeek-OCR 是一个约 3B 参数的开源文字识别模型，它把长文本渲染成图像、用很少的视觉词元把文字读回来，用来检验「光学压缩」能否代替超长文本上下文。

SAM 3 是 Meta 于 2025 年 11 月发布的分割一切模型第三代，可依据简短文字或示例图像，找出并分割某一概念的全部实例。Meta 报告称，它在这项任务上的准确率是现有系统的两倍。

NVIDIA Nemotron 3 是 2025 年 12 月宣布的开放混合专家语言模型系列，分 Nano、Super、Ultra 三种规格，最长支持 100 万标记上下文。

Magnetar 是一家投资机构，截至 2026 年 6 月底报告管理资产超过 170 亿美元，业务分为另类信贷与固定收益、量化投资、风险投资三块。

汤森路透自称 AI 与技术公司，为专业人士提供可信内容与工作流自动化，拥有 Westlaw 数据库。它起诉 Ross Intelligence，涉及 AI 训练中的合理使用抗辩。

NVIDIA Tesla T4 是采用 Turing 架构、功耗 70 瓦的单槽 GPU，面向 AI 推理，把张量核心与专用视频转码引擎装进一张可以直接插进普通服务器的卡里。

曦云 C600 是沐曦基于自研 GPGPU 架构的数据中心通用 GPU，具备大容量 ECC 显存、128 卡 MetaXLink-E 超节点互联，支持风冷与液冷。

NVIDIA A10 是一款基于 Ampere 架构的数据中心 GPU，把图形、视频与 AI 推理放进一张 24 GB 显存的单槽 PCIe 卡，面向主流企业服务器。

SambaNova SN40L 是 SambaNova 的一款 AI 芯片，公司称其为「可重构数据流单元」，把数据流式的并行执行与片内 SRAM、共封装 HBM、DDR DRAM 组成的三层存储体系结合在一起。

GroqChip 是 Groq 的 AI 处理器，主打完全确定性、多次运行无差异。它采用 14 纳米工艺，片上 230 MB SRAM，最高 750 INT8 TOPS。

Cerebras 的第二代晶圆级芯片，被称为当时最大的 AI 处理器：采用 7 纳米工艺，在单块晶圆上集成 2.6 万亿个晶体管、85 万个核心和 40 GB 片上内存。

OASF（开放智能体模式框架）是 AGNTCY 发布的一套标准化模式系统，用机器可读的记录描述 AI 智能体的属性、技能与能力，让不同协议下的智能体能够相互发现和理解。

NVIDIA DGX Spark 是基于 GB10 超级芯片的桌面 AI 计算机，配 20 核 Arm CPU 与 Blackwell GPU，可本地运行大模型。

美国联邦通信委员会是执行1934年《通信法》的联邦机构。2024年它裁定，禁止「人造或预先录制声音」来电的规定同样适用于AI合成声音，并就一起机器人电话案提议600万美元罚款。

决策树学习用分类树或回归树作为预测模型，通过反复划分数据把样本分到越来越纯的组里。它给出的是一组可以直接读出来的决策规则，是常用的监督学习方法，但容易受训练数据扰动影响，也容易过拟合。

特征工程是机器学习和统计建模中的预处理环节，把原始数据加工成模型更好用的输入，包括构造、筛选、变换特征以及处理缺失值和降维。

Cinematch 是 Netflix 自研的电影评分预测算法，预测结果以红色星星显示在网站上。它的准确度成为 Netflix Prize 的基准：谁能把它提升 10%，就能拿到 100 万美元奖金。

自编码器是一种无监督神经网络，它把输入压缩成低维编码再重建回来，学到的隐表示可用于降维、去噪和异常检测等任务。

NVIDIA Tesla P40 是 2016 年 9 月数据表所载的服务器 GPU 加速卡，基于 Pascal 架构，专用于深度学习推理，具备 24 GB 显存和 47 TOPS 的 INT8 性能。

Mistral OCR 是 Mistral AI 于 2025 年 3 月 6 日发布的文档理解 API，能识别文档中的文本、表格、公式与媒体，覆盖数千种文字和语言，后来被更新的 OCR 版本取代。

NVIDIA Nemotron Nano 2 是一款 9B 参数的小型推理模型，采用 Mamba 与 Transformer 混合架构，主打长上下文推理下的高吞吐，并开放了权重与大部分训练数据。

Blackhole 是 Tenstorrent 的 AI 加速芯片，Galaxy Blackhole 是装载 32 颗该芯片的服务器，block FP8 算力 23 PFLOPS，芯片之间与集群之间都以以太网互联。

NVIDIA 基于 Ampere 架构打造的数据中心 GPU，面向 AI 推理和主流企业级计算，配备 24 GB HBM2 显存，功耗上限 165 W，最多可切分为 4 个 MIG 实例。