2017 年
软银签约收购波士顿动力
2017年6月9日，软银集团宣布旗下子公司已签约从Alphabet手中收购波士顿动力，同时收购日本双足机器人公司Schaft。交易条款未披露。
《Attention Is All You Need》发布于 arXiv，Transformer 问世
2017 年 6 月，论文《Attention Is All You Need》提出完全基于注意力的 Transformer 架构，此后大多数大语言模型都沿用它。
Attention Is All You Need（注意力就是你所需要的）
2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。
从人类偏好中进行深度强化学习
2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。
Proximal Policy Optimization Algorithms
2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。
用于密集目标检测的焦点损失
2017年论文，作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡，并提出降低已分类良好样本损失权重的焦点损失。
AlphaGo Zero 从零自学围棋
2017年，DeepMind 宣布 AlphaGo Zero：它从随机下棋开始，仅靠自我对弈学习，用单个神经网络和更少硬件超过了此前的 AlphaGo 版本。
Mastering the game of Go without human knowledge
DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。
mixup：超越经验风险最小化
mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。
渐进式增长 GAN：提升质量、稳定性与多样性
2017 年的一篇论文提出渐进式增长训练法：生成器与判别器从低分辨率开始逐层加深，使 GAN 训练更稳定、图像质量与多样性更高。
神经离散表示学习（VQ-VAE）
这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。
DeepMind 的 AlphaZero 精通国际象棋、将棋和围棋
DeepMind 在 2017 年 12 月 5 日发布于 arXiv 的预印本介绍了一种通用强化学习算法：只给定规则，它便通过自我对弈学会国际象棋、将棋和围棋，并在 24 小时内于三项棋类上都达到超人类水平。
A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play
2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。
2018 年
机器阅读理解在 SQuAD 上首次超过人类基线
2018 年 1 月，微软亚洲研究院的 R-NET 与阿里巴巴的模型先后在机器阅读理解基准 SQuAD 的精确匹配成绩上超过人类基线，这是机器首次在该基准上越过这条线。
通用语言模型微调（ULMFiT）
ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。
深层语境化词表示（ELMo）
这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。
Uber 自动驾驶测试车在坦佩撞死行人
2018年3月18日，Uber 自动驾驶测试车在亚利桑那州坦佩撞死49岁行人 Elaine Herzberg，为有记录以来首例自动驾驶汽车致行人死亡事故。
组归一化
组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。
《GLUE：自然语言理解多任务基准与分析平台》
GLUE 是一个基准与分析平台，用一组多样的既有自然语言理解任务来评测模型，配有在线对比平台和人工编写的诊断测试集，用于细致的语言学分析。
欧盟委员会提出欧洲人工智能路径
2018年4月25日，欧盟委员会通过《欧洲人工智能》通函，提出提升产业与技术能力、为社会经济变化做准备、建立伦理与法律框架三条政策主线，并设定至少200亿欧元的投资目标。
Google 在 I/O 2018 发布 Duplex
2018年5月8日，Google 在 I/O 开发者大会上发布 Duplex，一项能通过电话进行自然对话、完成某几类预约等具体任务的技术。
谷歌发布人工智能原则
2018 年 6 月 7 日，谷歌发布 7 项原则，用以指导其人工智能研究与产品，并列出 4 类它表示不会涉足的应用。
通过生成式预训练提升语言理解（GPT）
OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
OpenAI 发表首篇 GPT 论文，提出生成式预训练
2018 年 6 月，OpenAI 发表论文，提出先用无标注文本做生成式预训练、再针对具体任务微调的方法。该方法在研究的 12 项任务中，有 9 项超过了当时的最好成绩。
神经常微分方程
2018 年的论文用神经网络参数化隐藏状态的导数，取代固定层序列，输出由微分方程求解器算出，得到常数内存开销的连续深度模型。[^1]
Glow：带可逆 1x1 卷积的生成流
2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文，提出以可逆 1x1 卷积为基础的生成流模型 Glow，在标准基准上提升了对数似然，并能高效地合成与操纵大尺寸图像。
首届世界人工智能大会在上海开幕
2018年9月17日，首届世界人工智能大会在上海开幕，来自近40个国家和地区的专家、企业家以及200多家领先人工智能企业参加；此后该大会每年在上海举办。
大规模 GAN 训练与高保真自然图像合成（BigGAN）
2018 年的论文，作者为 Andrew Brock 等，把生成对抗网络训练到当时最大规模，提出 BigGAN，刷新了类别条件图像合成的最好成绩。
谷歌研究者在 arXiv 发布 BERT 论文
2018 年 10 月，谷歌研究者在 arXiv 发布 BERT 论文。BERT 在每一层都同时利用左右两侧的语境，只需增加一个输出层，就能适配问答等任务。
BERT：用于语言理解的深度双向 Transformer 预训练
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
NIPS 大会更名为 NeurIPS
2018 年，神经信息处理系统大会把沿用多年的缩写 NIPS 改为 NeurIPS，起因是批评者认为旧缩写助长性别歧视，并对日本人带有侮辱意味。
AlphaFold 在 CASP13 蛋白质结构预测评测中夺冠
2018 年 12 月，DeepMind 的 AlphaFold 在蛋白质结构预测盲测 CASP13 上总排名第一，并在最难的 43 个目标中为其中 25 个给出了最佳预测。
基于风格的生成对抗网络生成器架构（StyleGAN）
这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
2019 年
美国签署行政令启动「美国人工智能倡议」
2019年2月11日，美国总统特朗普签署行政令，启动「美国人工智能倡议」，把人工智能列为联邦预算优先事项，并就数据开放、技术标准与监管为各机构设定期限。
语言模型是无监督的多任务学习者（GPT-2）
OpenAI 在 2019 年发表的 GPT-2 论文，模型拥有 15 亿参数。研究表明，仅训练预测下一个词的模型在提示下就能完成多种任务，其分阶段发布也引发了关于是否公开强大模型的讨论。
OpenAI 发布 GPT-2，并暂缓公开完整模型
2019 年 2 月，OpenAI 宣布 GPT-2，这是一个无需专门训练即可完成多项任务的 15 亿参数语言模型。OpenAI 未立即公开完整模型，而是分阶段发布。
百度发布知识增强语言模型 ERNIE
2019 年 3 月，百度发布并开源了知识增强的中文语言模型 ERNIE。它直接建模实体和短语等语义知识单元，百度报告其在多项中文自然语言处理任务上优于 BERT。
OpenAI 设立利润封顶公司 OpenAI LP
2019年3月11日，OpenAI 宣布成立利润封顶公司 OpenAI LP，以便吸引外部资本，同时限制投资者的回报。该结构一直沿用到 2025年10月。
Bengio、Hinton、LeCun 获 2018 年 ACM 图灵奖
2019 年 3 月，ACM 宣布将 2018 年图灵奖授予 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun，表彰他们让深度神经网络成为计算关键组成部分的概念与工程突破。
欧盟人工智能高级别专家组发布《可信人工智能伦理准则》
2019 年 4 月，欧盟人工智能高级别专家组发布《可信人工智能伦理准则》，把可信人工智能界定为合法、合乎伦理且稳健，并提出人工智能系统应满足的七项要求，其后又将其转化为可试用的评估清单。
OpenAI Five 击败 Dota 2 世界冠军 OG
2019 年 4 月 13 日，用强化学习训练出的 OpenAI Five 在旧金山以三局两胜击败 Dota 2 世界冠军 OG；随后四天的公开线上竞技场中，它的胜率为 99.4%。
《SuperGLUE：更黏的通用语言理解基准》
SuperGLUE 是 2019 年发布的通用语言理解基准，作为 GLUE 的更难继任者：八项任务、单一指标、分析工具包与公开排行榜。
《HellaSwag：机器真的能接完你的句子吗？》
HellaSwag 是 2019 年发布的一个挑战数据集：机器要从若干候选里挑出一句事件描述最可能的后续。它的错误选项由机器生成并筛选，目标是骗过模型而不是骗过人。
2018 年图灵奖颁奖典礼在旧金山举行
2018 年 ACM A.M. 图灵奖授予 Bengio、Hinton 和 LeCun，表彰他们在深度学习基础与工程上的贡献。三人于 2019 年 6 月 15 日在旧金山正式领奖。
《XLNet：面向语言理解的广义自回归预训练》
XLNet 是一种广义自回归预训练方法：它通过最大化所有分解顺序排列的期望似然来学习双向语境，并在可比实验设置下于 20 项任务上优于 BERT。
微软向 OpenAI 投资 10 亿美元并成为其云合作伙伴
2019 年 7 月，微软向 OpenAI 投资 10 亿美元，成为其独家计算合作伙伴，OpenAI 的服务将运行在微软 Azure 上。
《RoBERTa：稳健优化的 BERT 预训练方法》
RoBERTa 是对 BERT 预训练的复现研究：系统测量关键超参数与训练数据规模的影响，发现 BERT 训练明显不足，妥善训练后即可匹敌或超过此后发表的模型，并在 GLUE、RACE、SQuAD 上取得最好成绩。
百度发布 ERNIE 2.0，在 16 项任务上超越 BERT 和 XLNet
2019 年 7 月，百度发布 ERNIE 2.0。它是一个通过多任务学习逐步加入预训练任务的持续预训练框架，报告在 16 项任务上超过 BERT 和 XLNet。
Spot 开始商业化供应
2019 年 9 月，波士顿动力的四足机器人 Spot 开始商业化供应，首批通过「早期采用者计划」卖给能把机器投入实际用途、并自行开发载荷模块的公司；2020 年销售进一步铺开。
《Megatron-LM：用模型并行训练数十亿参数的语言模型》
NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。
美国将 28 家中国实体列入实体清单
2019 年 10 月 7 日，美国商务部将 28 家中国企业和机构列入实体清单，其中包括海康威视、大华、科大讯飞、旷视、商汤等人脸识别与人工智能公司，这些实体此后无法购买美国产品。
用统一的文本到文本 Transformer 探索迁移学习的极限（T5）
Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。
C4：超大干净爬取语料库（T5 论文）
2019 年的一篇论文，把各类语言任务统一为文本到文本，系统比较迁移学习选择，发布 C4 语料与模型，并在摘要、问答、文本分类等基准上取得当时最优结果。
AlphaStar 在《星际争霸 II》中达到宗师级
2019年10月30日，DeepMind 宣布 AlphaStar 在《星际争霸 II》三个种族均达到宗师级，排名高于 99.8% 的活跃玩家，并在接近人类的界面限制下比赛。[^1]
OpenAI 公开 15 亿参数的完整版 GPT-2
2019 年 11 月 5 日，OpenAI 公开了 15 亿参数的完整版 GPT-2，并附上代码和模型权重，结束了分阶段发布。模型说明中提醒，它无法分辨事实与虚构。
《论智能的测量》（ARC-AGI）
Francois Chollet 于 2019 年发表的论文，把智能定义为技能获取效率，并提出抽象与推理语料库（ARC）——一套只依赖核心知识、不需要专门领域知识和语言的网格任务基准。
DeepMind 发布无需规则即可规划的 MuZero
2019年11月19日，DeepMind在arXiv发布MuZero：用学习模型而非规则规划，在围棋、国际象棋和将棋比肩AlphaZero，并在57款Atari游戏取得最优成绩。
Mastering Atari, Go, chess and shogi by planning with a learned model
MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。
2020 年
中国颁出首张人工智能医疗器械三类证
2020 年 1 月 14 日，科亚医疗的深脉分数软件获得中国首张人工智能医疗器械三类证，为诊断类软件打通了注册路径，并在同年取得收费编码进入可计费临床使用。
神经语言模型的缩放定律
OpenAI 研究者在 2020 年发表的论文发现，语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降，为各实验室建造更大的模型提供了定量依据。
谷歌发布聊天机器人 Meena 研究
2020年1月27日，谷歌研究人员发布论文，介绍聊天机器人 Meena：一个26亿参数的开放域对话模型，在名为「合理性与具体性平均分」的新指标上得分79%。
欧盟委员会发布《人工智能白皮书》
欧盟委员会于2020年2月发布的一份政策文件，提出在促进人工智能应用的同时应对其特定用途的风险，以「卓越生态」与「信任生态」为两大支柱，并用基于风险的方法确定监管重点。
《NeRF：将场景表示为用于视图合成的神经辐射场》
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
《ELECTRA：以判别器而非生成器方式预训练文本编码器》
2020 年由 Clark、Luong、Le 与 Manning 提出的预训练方法：让模型判断哪些词被替换过，而不是填补被遮住的词，用更少的算力达到与大模型相当的效果。
英伟达发布 A100 GPU
2020年5月14日，英伟达在 GTC 2020 上发布基于 Ampere 架构的首款 GPU A100，宣称其 AI 训练与推理性能可达前代产品的20倍，并已全面量产、向全球客户发货。
《面向知识密集型 NLP 任务的检索增强生成》（RAG）
2020 年的一篇论文，把预训练的序列到序列模型与一个由神经检索器查询的维基百科稠密向量索引结合起来，在三个开放域问答任务上取得当时最好成绩。
OpenAI 发布 GPT-3 论文
2020 年 5 月，OpenAI 发表 GPT-3 论文。这个拥有 1750 亿参数的语言模型，只需在输入文本中给出少量示例，就能完成新任务，无需额外训练。
语言模型是少样本学习者（GPT-3）
GPT-3 论文表明，一个拥有 1750 亿个参数的语言模型，只要在提示词（prompt）里给出几个例子，就能完成许多任务，无需额外微调；而且这种能力随模型规模增大而增强。
OpenAI 推出 API，开放调用其模型
2020 年 6 月，OpenAI 宣布推出 API，让外部开发者可以访问它的 AI 模型。到 2021 年 3 月，已有 300 多个应用通过这一接口使用 GPT-3。
去噪扩散概率模型（DDPM）
2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
《GShard：用条件计算与自动分片扩展巨型模型》
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
《测量大规模多任务语言理解》（MMLU）
2020 年发布的一个评测基准，用 57 个学科（从初等数学到法律）的题目考察语言模型，结果显示当时最大的模型也远未达到专家水平。
英伟达宣布以 400 亿美元从软银手中收购 Arm
2020 年 9 月 13 日，英伟达宣布以 400 亿美元的股票加现金从软银和软银愿景基金手中收购 Arm，Arm 将保留开放授权模式和剑桥总部，交易尚待多国监管批准。
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
AlphaFold2 在 CASP14 达到接近实验的精度
2020年11月30日，DeepMind 宣布 CASP14 组织方认定其 AlphaFold 系统解决了悬置50年的蛋白质折叠问题，预测精度已接近实验方法。
Uber 把自动驾驶部门 ATG 出售给 Aurora
2020年12月7日，Aurora 宣布收购 Uber 的自动驾驶部门 ATG，Uber 同时向 Aurora 投资 4 亿美元，其首席执行官加入 Aurora 董事会。
The Pile：用于语言建模的 800GB 多样化文本数据集
The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。
EleutherAI 发布训练数据集 The Pile
2020年12月31日，EleutherAI 公开发布 The Pile：825 GiB 英文文本，由 22 个较小的数据集合并而成；论文显示在其上训练的模型在全部子集上均优于两个基线语料。
2021 年
Anthropic 成立
Anthropic 于 2021 年 1 月成立，由前 OpenAI 员工创办，为公益公司（public benefit corporation）。Dario Amodei 任首席执行官。
OpenAI 发布 DALL·E
2021 年 1 月 5 日，OpenAI 同时发布 DALL·E 和 CLIP。DALL·E 能根据文字描述生成图像，CLIP 能从自然语言中学习视觉概念并对图像分类。
从自然语言监督中学习可迁移的视觉模型（CLIP）
CLIP 是 OpenAI 用 4 亿对图文数据训练的模型，把图像与文字映射到同一个空间，因此能凭一句文字提示直接完成图像分类。
《Switch Transformers：用简单高效的稀疏性扩展到万亿参数模型》
2021 年，Fedus、Zoph 与 Shazeer 简化了混合专家模型的路由算法，使语言模型在参数量扩展到万亿级别时，每个样本的计算开销仍然保持恒定。
《零样本文生图》（DALL·E 论文）
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
《论随机鹦鹉的危险：语言模型会不会太大？》
一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。
《用 MATH 数据集测量数学问题求解》
MATH 是包含 12,500 道高难度竞赛数学题的数据集，每题附完整分步解答，于 2021 年发布，用于测量和训练模型的数学推理能力。
EleutherAI 发布 GPT-Neo
2021 年 3 月 21 日，EleutherAI 发布 GPT-Neo 系列语言模型，包含 1.25 亿、13 亿和 27 亿参数三个规模，权重可自由下载，与只能通过 API 调用的 GPT-3 形成对照。
波士顿动力发布 Stretch
2021 年 3 月 29 日，波士顿动力发布仓库机器人 Stretch，它依靠小巧的全向底座在既有仓库中作业，无需昂贵的固定自动化设施，目标包括卡车卸货等环节。
欧盟委员会提出《人工智能法案》
2021年4月，欧盟委员会提交《人工智能法案》提案，由负责内部市场的委员蒂埃里·布雷东提出；由此启动立法程序，理事会于2022年12月通过自身立场。
谷歌在 I/O 发布 LaMDA
2021 年 5 月 18 日，谷歌在 I/O 大会上发布面向对话应用的语言模型 LaMDA。它出自谷歌大脑团队的聊天机器人 Meena，之后有 LaMDA 2 与 AI Test Kitchen，并成为 Bard 的底层模型。
EleutherAI 发布 GPT-J-6B
2021 年 6 月，EleutherAI 发布 60 亿参数的开放模型 GPT-J-6B：权重以 Apache 2.0 协议公开，在 The Pile 上训练，公告称其零样本表现接近 67 亿参数的 GPT-3（Curie）。
宇树发布 Go1
2021 年 6 月，宇树发布消费级四足机器人 Go1，入门款售价 1.6 万元，重 12 公斤，最高奔跑速度 4.7 米/秒，第一年销量近 1000 台。
《LoRA：大语言模型的低秩适配》
LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。
现代汽车集团完成收购波士顿动力
2021年6月，现代汽车集团完成从软银手中收购波士顿动力控股权，交易对该移动机器人公司的估值为11亿美元。
GitHub Copilot 技术预览版发布
2021 年 6 月 29 日，GitHub 宣布推出 Copilot 技术预览版，这是一款由 OpenAI Codex 驱动的 AI 结对编程工具，可建议整行或整个函数。
百度推出百亿参数的 ERNIE 3.0
2021 年 7 月 5 日，百度研究人员在 arXiv 发布 ERNIE 3.0 论文：模型有 100 亿参数，在纯文本加知识图谱上训练，把自编码与自回归网络结合起来，在 54 项中文任务和 SuperGLUE 上取得领先成绩。
《评估在代码上训练的大语言模型》（Codex / HumanEval）
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
AlphaFold2 蛋白质结构预测论文发表于《自然》
2021 年 7 月，《自然》（Nature）发表了 DeepMind 的 AlphaFold2 论文。该系统可根据氨基酸序列预测蛋白质三维结构，DeepMind 随后公开代码并推出免费数据库。
用 AlphaFold 实现高精度蛋白质结构预测
Nature 论文介绍了 AlphaFold 用于蛋白质结构预测的方法、系统设计和评估。
贝克实验室发布 RoseTTAFold 并向所有研究者开放
2021 年 7 月 15 日，蛋白质设计研究所发布 RoseTTAFold，把代码放到 GitHub 并开放公共网页服务器，使准确的结构预测对所有人可用。
AI21 Labs 推出 AI21 Studio 与 1780 亿参数的 Jurassic-1
2021年8月，AI21 Labs 推出开发者平台 AI21 Studio 与 Jurassic-1 大语言模型。其中最大的 Jumbo 拥有 1780 亿参数，开发者可通过接口或网页试验场使用。
OpenAI 通过 API 开放代码模型 Codex
2021 年 8 月 10 日，OpenAI 通过 API 以非公开测试发布改进版 Codex，一个在公开代码上微调的 GPT 模型，它驱动了 GitHub Copilot。
小米发布 CyberDog 铁蛋
2021年8月10日，小米发布四足仿生机器人 CyberDog（昵称铁蛋），工程探索版售价9999元、全球限量1000台，首轮400名用户参与内测。
《用大语言模型做程序合成》（MBPP）
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
特斯拉在 AI Day 公布人形机器人
2021 年 8 月 19 日，特斯拉在首届 AI Day 上公布人形机器人概念，称其将接手危险、重复、枯燥的工作；同场还展示了纯视觉自动驾驶、D1 训练芯片与 Dojo 超级计算机。
《微调后的语言模型是零样本学习器》（FLAN）
2021 年的一篇论文提出「指令微调」：把大量任务用自然语言指令描述后再微调语言模型，模型在没见过的任务上零样本表现大幅提升，并在多数评测任务上超过更大的模型。
NVIDIA 与微软发布 5300 亿参数的 Megatron-Turing NLG
NVIDIA 与微软于 2021 年 10 月 11 日公布 5300 亿参数的 Megatron-Turing NLG，两家公司称其为同类中最大、最强的模型；完整报告于 2022 年 1 月发布。
《训练验证器求解数学应用题》（GSM8K）
GSM8K 是 OpenAI 发布的一套小学数学应用题数据集，包含 8.5K 道题；配套论文显示，即使最大的 Transformer 模型成绩也不高，而训练验证器、从多个候选解答中挑选正确答案能明显提升表现。
DeepMind 发布 2800 亿参数语言模型 Gopher
2021年12月8日，DeepMind 连发三篇语言模型论文：2800亿参数的 Transformer 模型 Gopher、梳理 21 项伦理与社会风险的调查，以及从大型文本数据库检索段落的 RETRO。
《用潜空间扩散模型进行高分辨率图像合成》
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
Hugging Face 收购 Gradio
2021 年 12 月 21 日，Hugging Face 收购 Gradio。它是一个用 Python 搭建机器学习模型网页演示的库，被收购时已有超过 30 万个演示。
百度与鹏城实验室发布 2600 亿参数的 ERNIE 3.0 Titan
2021 年 12 月 23 日，百度与鹏城实验室发布 2600 亿参数的 ERNIE 3.0 Titan，作者称其为当时最大的中文稠密预训练模型，并在 68 个自然语言处理数据集上超过已有最优结果。
2022 年
OpenAI 推出 InstructGPT 并设为 API 默认模型
2022 年 1 月 27 日，OpenAI 发布 InstructGPT，这是一组借助人类反馈训练、更能听懂用户指令的 GPT-3 改进模型。此后，这些模型成为 OpenAI API 的默认模型。
思维链提示激发大语言模型的推理能力
这篇论文由 Jason Wei 与 Google Research 的同事在 2022 年发表，它表明：在提示中给出带有中间推理步骤的示例、而不只是给出答案，能明显提升大模型在算术、常识和符号推理任务上的表现。
DeepMind 发布编程竞赛系统 AlphaCode
2022 年 2 月 2 日，DeepMind 发布 AlphaCode，它能以竞赛水平编写计算机程序，在 10 场 Codeforces 比赛中的平均排名位于参赛者的前 54%。
英伟达与软银宣布终止 400 亿美元的 Arm 收购交易
2022 年 2 月 7 日，英伟达与软银集团宣布终止 Arm 收购交易，理由是监管障碍。软银保留 12.5 亿美元预付款并筹备 Arm 上市，英伟达保留 20 年授权。
EleutherAI 发布 GPT-NeoX-20B
EleutherAI 于2022年2月2日宣布 GPT-NeoX-20B，2月9日发布权重。模型采用 Apache 2.0 许可证，团队称其为研究制品。
用深度强化学习控制托卡马克等离子体的磁场
2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
《互联网信息服务算法推荐管理规定》施行
《互联网信息服务算法推荐管理规定》由四部门联合发布，2022年3月1日起施行，要求服务提供者建立用户注册、发布审核、数据安全等制度，禁止诱导沉迷的模型和操纵榜单。
用人类反馈训练语言模型遵循指令（InstructGPT）
InstructGPT 结合人工撰写的示范回答、人类对输出的排序和强化学习，让 GPT-3 更好地遵循用户指令。即使模型小得多，标注员也更偏好它的输出。
英伟达发布 Hopper 架构与 H100
2022 年 3 月 22 日，英伟达在 GTC 发布 Hopper 架构及首款 GPU H100，主打为 Transformer 模型设计的 Transformer 引擎。
训练计算最优的大语言模型（Chinchilla）
DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。
ASIMO 最后一场演示与退役
本田的人形机器人 ASIMO 于 2022 年 3 月 31 日正式退役，最后一场定期演示在本田东京总部展厅举行；本田表示今后将专注远程操控的化身机器人。
谷歌发布 5400 亿参数的 PaLM
2022 年 4 月 4 日，Google Research 发布 5400 亿参数的 PaLM，它在 6144 块 TPU v4 芯片上借助 Pathways 系统训练，多步推理表现出色，在 BIG-bench 上超过人类平均水平。
OpenAI 发布 DALL·E 2
2022 年 4 月 6 日，OpenAI 发布第二代文生图系统 DALL·E 2。它用 CLIP 嵌入配合扩散解码器生成图像，并在同年分阶段向公众开放。
Meta 向研究者开放 OPT-175B
2022 年 5 月 3 日，Meta AI 宣布推出 1,750 亿参数的 OPT-175B，并以非商业许可向研究者开放权重和训练代码。
Hugging Face 以 20 亿美元估值融资 1 亿美元
2022 年 5 月 9 日，Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资，估值 20 亿美元，其目标被概括为做机器学习领域的 GitHub。
谷歌研究院发布 Imagen
2022 年 5 月 23 日，谷歌研究院发布文生图扩散模型 Imagen，它依靠大型冻结的 T5-XXL 文本编码器理解提示词，在新基准 DrawBench 上被人类评分者认为优于 DALL-E 2，但没有公开发布。
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
《FlashAttention：具备 IO 感知的快速精确注意力》
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
《超越模仿游戏》（BIG-bench）
BIG-bench 是一个由社区共同构建的大型基准，包含 204 个任务，专门用来测试语言模型在被认为超出其当前能力的问题上的表现，相关论文于 2022 年 6 月发布。
《大语言模型的涌现能力》
2022 年的一篇论文提出，大语言模型的部分能力只在模型规模足够大时才出现，无法由小模型的表现外推预测，因此继续扩大规模可能继续拓展模型的能力范围。
辛顿、勒丘恩、本吉奥、哈萨比斯获 2022 年阿斯图里亚斯亲王奖
2022年6月，阿斯图里亚斯亲王奖技术科学研究奖授予杰弗里·辛顿、扬·勒丘恩、约书亚·本吉奥和德米斯·哈萨比斯，以表彰他们推动人工智能发展并促进其融入社会。
GitHub Copilot 面向个人开发者正式开放
2022年6月21日，GitHub 将 Copilot 面向个人开发者正式开放，价格每月10美元；此前12个月的预览已吸引超过120万名开发者。它标志着 AI 编程助手进入主流编辑器。
Midjourney 开放公测
2022 年 7 月 12 日，Midjourney 以公开测试的形式向公众开放其图像生成器，用户通过 Discord 上的机器人输入提示词出图，订阅价格为每月 10 或 30 美元。
BigScience 发布 1760 亿参数开放多语言模型 BLOOM
2022年7月12日，由Hugging Face协调的BigScience工作坊发布BLOOM，这是一个1760亿参数的语言模型，覆盖46种自然语言和13种编程语言。
AlphaFold 数据库扩展到 2 亿多个蛋白质结构
2022 年 7 月 28 日，DeepMind 与 EMBL-EBI 把 AlphaFold 蛋白质结构数据库从近 100 万个预测结构扩展到 2 亿多个，覆盖了科学界已编目的几乎所有蛋白质。
Midjourney 生成作品获科罗拉多州博览会数字艺术一等奖
2022 年 8 月，Jason Allen 用 Midjourney 生成的《太空歌剧院》在科罗拉多州博览会数字艺术类别中获得一等奖，由此引发了一场被广泛报道的关于 AI 生成艺术的争论。
小米发布 CyberOne 铁大
2022年8月11日，小米在雷军的年度演讲中发布全尺寸人形机器人 CyberOne：身高1.77米、支持21个自由度。消息带动智能机器概念股上涨，但这台机器人尚未进入量产。
Stability AI 公开发布 Stable Diffusion
2022年8月22日，Stability AI 公开发布 Stable Diffusion。这是一个潜在扩散（latent diffusion）文生图模型，权重、代码和模型卡都发布在 Hugging Face 上。
Meta 将 PyTorch 移交新成立的 PyTorch 基金会
2022 年 9 月 12 日，Meta 宣布将 PyTorch 移交 Linux 基金会，成立 PyTorch 基金会，董事会包括 AMD、AWS 等公司。
OpenAI 开源语音识别模型 Whisper
2022 年 9 月 21 日，OpenAI 以开源形式发布语音识别系统 Whisper，它用 68 万小时音频训练，除转写外还能把语音翻译成英文。
清华与智谱发布开源双语千亿模型 GLM-130B
2022 年 10 月，清华大学 KEG 实验室与智谱 AI 发布开源双语模型 GLM-130B，拥有 1300 亿参数，之后被 ICLR 2023 接收。
《ReAct：语言模型中推理与行动的协同》
ReAct 是一种提示方法：让语言模型把写出来的推理与调用外部工具或环境的行动交替进行，在问答、事实核查和交互式决策任务上都取得改进。
美国对华实施先进计算芯片出口管制
2022年10月7日，美国工业与安全局发布两项规则，限制中国获取先进计算芯片、发展超级计算机和制造先进半导体的能力，其中设定的门槛后来直接影响了英伟达对华销售的芯片型号。
LAION-5B：面向下一代图文模型的开源大规模数据集
LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。
Stability AI 融资 1.01 亿美元
2022年10月17日，Stability AI 宣布获得1.01亿美元融资，由 Coatue 等三家机构领投，用于推动图像、语言、音频、视频和3D 方向的开放模型。
Mobileye 在纳斯达克重新上市
Mobileye 以每股 21 美元的价格为纳斯达克首次公开募股定价，发行 4100 万股 A 类普通股，募资净额的一大部分用于偿还欠母公司英特尔的票据。
英伟达推出中国特供 A800
2022 年底，美国限制 A100 和 H100 出口后，英伟达在中国开卖 A800。这款产品只把 GPU 之间的互联带宽调低，算力不变，从而落在出口规则之内。
Midjourney 发布 V4 测试版
2022 年 11 月 5 日，Midjourney 以测试版形式发布第四代图像模型 V4，改用 Google TPU 训练；外界认为它相比 V3 的跨代提升巨大，图像更讨喜、更贴合提示词。
Meta 发布 Galactica，三天后撤下演示
2022 年 11 月 15 日，Meta AI 与 Papers with Code 推出科研语言模型 Galactica。约三天后，因其生成虚假内容，演示被撤下。
《语言模型整体评估》（HELM）
2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。
Stability AI 发布 Stable Diffusion 2.0
2022年11月24日，Stability AI 以开源方式发布 Stable Diffusion 2.0，采用 OpenCLIP 文本编码器并修订了训练数据的过滤器；2.1版本于12月7日随后发布。
OpenAI 发布 GPT-3.5 系列的 text-davinci-003
2022年11月28日，OpenAI 发布 GPT-3.5 系列的 text-davinci-003；两天后 ChatGPT 推出，由同系列模型微调而来，在研究预览期间免费使用[^1][^2][^4]。
