2012 年
ImageNet Classification with Deep Convolutional Neural Networks（用深度卷积神经网络做 ImageNet 分类）
2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。
亚马逊宣布收购 Kiva Systems
2012 年 3 月，亚马逊宣布以约 7.75 亿美元现金收购仓库机器人公司 Kiva Systems，这是当时亚马逊的第二大收购。
DARPA 启动机器人挑战赛
2012年4月10日，DARPA 宣布举办机器人挑战赛，目标是造出能在危险、退化的人造环境中执行复杂任务的地面机器人，并设200万美元奖金、列出一整套具体任务。
内华达州发出美国首张自动驾驶车辆牌照
2012年5月7日，美国内华达州车辆管理局为一辆加装谷歌自动驾驶技术的丰田普锐斯发出全美首张自动驾驶车辆牌照，此前该车已在高速公路、卡森城街道和拉斯维加斯大道测试。
谷歌发布知识图谱
2012年5月16日，谷歌发布知识图谱，试图让搜索从匹配字符串转向识别实体；发布时它包含超过5亿个对象和超过35亿条事实与关系。
用大规模无监督学习构建高层特征
2012年，Quoc Le、Andrew Ng 等人在谷歌用1000台机器训练大规模无监督神经网络，在没有标注人脸的图像上学会了检测人脸。
谷歌在 I/O 大会发布 Google Now
2012 年 6 月，谷歌在 I/O 大会上发布 Google Now：无需用户搜索，天气、路况、比分等卡片就会自己出现，它与 Jelly Bean、Nexus 7 一同亮相。
Kaggle 默克分子活性预测挑战赛
2012 年 8 月至 10 月在 Kaggle 举行的竞赛：参赛者依据分子化学结构生成的数值描述符预测其生物活性，Geoffrey Hinton 参与指导的队伍获得第一名。
好奇号着陆火星
2012年8月6日世界时，NASA 的好奇号火星车降落在盖尔撞击坑坑底，由下降级用缆绳吊放到地面，随后下降级切断缆绳、飞离并受控坠毁。
Rethink Robotics 发布 Baxter
2012年9月，Rethink Robotics 发布机器人 Baxter，它配备传感器和软件以帮助感知并理解环境，定价2.2万美元，计划10月开售。[^1]
深度神经网络用于语音识别声学建模：四个研究组的共同观点
2012年发表于 IEEE Signal Processing Magazine 的文章，汇集四个研究组的共同观点，说明用深度神经网络替代高斯混合模型做语音识别声学建模，在多项基准上效果更好。
AlexNet 赢得 ImageNet ILSVRC 2012 挑战赛
2012 年 10 月，多伦多大学团队的 AlexNet 在 ImageNet 图像识别挑战赛中以大幅优势夺冠，表明在大规模数据和 GPU 上训练的神经网络能远超手工设计特征的方法。
微软演示深度学习语音识别与翻译
2012年10月25日，微软的里克·拉希德在天津演示了一套系统，把他说的英语转换成计算机生成的中文语音；它基于深度神经网络，大幅降低了识别错误率。
大规模分布式深度网络
2012 年 NIPS 论文，提出可在数千台机器集群上训练深度网络的 DistBelief 框架，以及 Downpour SGD 和 Sandblaster 两种优化过程。
2013 年
Clarifai 赢得 ILSVRC 2013 分类赛
2013 年 ILSVRC 分类赛由 Clarifai 的卷积网络集成模型夺冠，top-5 错误率 11.7%；目标定位赛由 OverFeat 夺冠。
Efficient Estimation of Word Representations in Vector Space（向量空间中词表示的高效估计）
谷歌的 Tomas Mikolov 等人 2013 年提交的这篇论文提出 CBOW 和 Skip-gram 两种简单结构，能快速从海量文本学习词向量，是 word2vec 的基础。
Maxout 网络
2013 年的论文提出 maxout 单元：输出取一组输入中的最大值，专为配合 dropout 设计，并在四个图像分类基准上取得当时最好的结果。
谷歌收购 DNNresearch
2013年3月，多伦多大学宣布谷歌已收购 DNNresearch。这家初创公司由杰弗里·希顿和两名研究生在2012年成立，做的是深度神经网络研究。
用深度循环神经网络做语音识别
Graves、Mohamed 与 Hinton 于 2013 年发表的论文，考察用深度循环神经网络做语音识别，主张借助连接时序分类等方法实现端到端的序列训练。
首届 ICLR 在斯科茨代尔举行，采用开放评审
ICLR 由 Yann LeCun 与 Yoshua Bengio 于 2012 年创办，2013 年 5 月在亚利桑那州斯科茨代尔首次举行，论文决定公开发布在 OpenReview 上。
词与短语的分布式表示及其组合性
2013年论文提出连续 Skip-gram 等高效学习词与短语分布式向量表示的方法，并给出提升向量质量与训练速度的扩展。
用于精确目标检测与语义分割的丰富特征层级
R-CNN 把卷积神经网络用于区域提议做目标检测，在 PASCAL VOC 2012 上平均精度均值达 53.3%，比此前最好结果高出 30% 以上[^1]。
Visualizing and Understanding Convolutional Networks（可视化并理解卷积网络）
Zeiler 与 Fergus 提出可视化卷积网络中间层的技术，并用消融实验找到在 ImageNet 上超越 Krizhevsky 等人的架构。
谷歌收购波士顿动力
2013 年 12 月，谷歌确认已完成对波士顿动力的收购；这是它半年内买下的第八家机器人公司，相关业务由曾负责 Android 的安迪·鲁宾主导。
亚马逊公布 Prime Air 无人机送货计划
2013年12月1日，亚马逊首席执行官贝索斯在 CBS《60分钟》节目中公布 Prime Air：用无人机在下单后30分钟内送包裹，载重2.3公斤、半径约16公里，但需等待联邦航空管理局的规则和数年测试。
Facebook 成立 FAIR 人工智能实验室，杨立昆任主任
2013 年底，Facebook 成立研究实验室 FAIR，杨立昆（Yann LeCun）任首任主任。它以开放研究为宗旨，影响了 Meta 此后的 AI 工作。
DeepMind 发布深度 Q 网络雅达利游戏论文
2013年12月19日，DeepMind 研究人员发布论文，展示一个卷积网络用 Q 学习变体直接从原始像素学习雅达利 2600 游戏控制策略，在七个游戏中的六个优于此前方法。
用深度强化学习玩 Atari 游戏
2013 年，Mnih 等人用 Q 学习变体训练卷积网络，直接以像素为输入学会玩七款 Atari 2600 游戏，六款胜过旧方法，三款胜过人类专家。
自编码变分贝叶斯
Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。
DARPA 机器人挑战赛预赛
2013 年 12 月由 DARPA 举办、为期两天的机器人比赛，16 支队伍让原型灾难响应机器人完成八个模拟任务；东京的 SCHAFT 以满分 32 分中的 27 分居首。
2014 年
GoogLeNet 与 VGG 主导 ILSVRC 2014
2014 年 ILSVRC 上，GoogLeNet 以 6.67% 的 top-5 错误率拿下分类赛道第一，VGG 的网络则获得定位赛道第一、分类第二；当年参赛机构超过 50 家。
DeepFace：把人脸验证拉近人类水平
DeepFace 是 2014 年的人脸验证系统，重新设计了对齐与表示两个环节，用一个 1.2 亿多参数的九层网络在 Labeled Faces in the Wild 上达到 97.35% 的准确率。
Dropout：一种防止神经网络过拟合的简单方法
2014 年的一篇论文提出 Dropout：训练时随机丢弃神经元，让大型神经网络不易过拟合，并在视觉、语音等领域的多项基准上取得当时最好的结果。
IBM 成立 Watson 事业部
2014年1月9日，IBM 宣布成立 Watson 事业部，投入逾10亿美元、约2000名专业人员，把 Watson 的认知计算能力做成通过云端交付的商业服务，而不只是研究项目。
谷歌收购 DeepMind
2014年1月26日，谷歌确认收购2010年在伦敦成立的人工智能公司DeepMind。这家以深度强化学习研究起家的小团队由此进入谷歌，其名称与人员后来并入与Google Brain合并后的新机构。
微软随 Windows Phone 8.1 发布 Cortana
2014 年 4 月 2 日，微软在 Build 大会上随 Windows Phone 8.1 推出数字助理 Cortana：由 Bing 驱动，有人格设定和开发者接口，先在美国以 beta 上线。
《Microsoft COCO：上下文中的常见物体》
2014 年发表的论文，提出 Microsoft COCO 数据集：以日常复杂场景为对象，用逐实例分割标注常见物体，把物体识别放进场景理解的大框架里。
吴恩达出任百度首席科学家
2014年5月16日，百度在硅谷研发中心开幕时宣布任命斯坦福教授、Coursera联合创始人吴恩达为首席科学家，全面负责百度研究院，并宣布硅谷人工智能实验室正式组建。
谷歌发布没有方向盘的自驾原型车
2014 年 5 月 27 日，谷歌公布了一款没有方向盘和踏板的自动驾驶原型车设计，并称计划制造约一百辆，由安全驾驶员参与测试。
生成对抗网络原始论文提交
Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。
生成对抗网络
Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。
IBM 在《科学》发表 TrueNorth 神经形态芯片
2014年8月8日，《科学》刊出描述 TrueNorth 的论文：IBM 用 54 亿个晶体管做出含 100 万个脉冲神经元、2.56 亿个突触的芯片，以毫瓦级功耗运行类脑网络。
Neural Machine Translation by Jointly Learning to Align and Translate（联合学习对齐与翻译的神经机器翻译）
Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。
Very Deep Convolutional Networks for Large-Scale Image Recognition
这篇 2014 年的论文证明：把大量 3×3 的小卷积核堆到 16–19 个权重层，能提升大规模图像识别；其模型在 ImageNet Challenge 2014 上拿下定位赛道第一、分类赛道第二，并对外公开。
Sequence to Sequence Learning with Neural Networks（用神经网络做序列到序列学习）
Sutskever、Vinyals 与 Le 2014 年的这篇论文表明，两个 LSTM 可以完成翻译并超过基于短语的基线，确立了后来翻译模型常用的编码器-解码器模式。
Going Deeper with Convolutions
2014 年的论文，提出 Inception 架构以及用它搭成的 22 层网络 GoogLeNet，在 2014 年 ImageNet 挑战赛的分类与检测任务上取得最好成绩，top-5 错误率 6.67%。
《卷积走得更深》（GoogLeNet / Inception）
一篇2014年的谷歌论文，提出Inception架构；其GoogLeNet在固定计算预算下加深加宽网络，在ILSVRC 2014分类与检测任务上刷新当时最好成绩。
GloVe：全局词向量表示
GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。
神经图灵机
这篇 2014 年的论文把神经网络与外部记忆耦合起来，网络通过注意力读写记忆；整个系统端到端可微，因此可以用梯度下降训练。
条件生成对抗网络
2014年的一篇论文，由Mirza与Osindero提出条件生成对抗网络：把条件数据同时输入生成器和判别器，从而按类别标签生成MNIST数字等样本。
看图说话：神经图像描述生成器
这是 Vinyals 等人在 2014 年发表的论文，用一个端到端训练的深层网络把照片变成句子，在 Pascal 数据集上取得 59 的 BLEU-1 分数，而当时最好成绩为 25。
Deep Speech：端到端语音识别的规模化
2014年的一篇论文提出端到端深度学习语音识别系统，省去手工设计的噪声模块和音素词典，依靠多GPU训练的循环网络与合成数据。
Adam：一种随机优化方法
Adam 是 Diederik P. Kingma 与 Jimmy Ba 在 2014 年论文中提出的随机优化算法：用梯度一阶矩与二阶矩的滑动估计为每个参数自适应地确定步长，内存开销小、超参数通常无需太多调整。
2015 年
深度学习（Nature 综述）
2015年，LeCun、Bengio 与 Hinton 在《自然》发表综述，说明多个处理层组成的模型如何学习分层数据表示，并梳理语音、图像等领域的成果。
看图、注意与描述：带视觉注意力的神经图像描述生成
2015 年的一篇 arXiv 论文，由 Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho 等人提出带视觉注意力的图像描述模型，能在生成每个词时显示自己在看图像的哪个位置。
批归一化：通过减少内部协变量偏移加速深度网络训练
2015 年 Sergey Ioffe 与 Christian Szegedy 提出的方法：对每一层的输入按训练小批量做归一化，从而可以用更大的学习率、更随意的初始化，并大幅加快深度网络的训练。
通过深度强化学习实现人类水平的控制
2015 年《自然》论文中，Mnih、Silver 等人用同一个深度 Q 网络智能体，仅凭像素和分数就在 49 款 Atari 游戏上达到职业人类测试员水平。
《U-Net：用于生物医学图像分割的卷积网络》
2015 年 5 月提交到 arXiv 的生物医学图像分割卷积网络，能用极少的标注图像端到端训练，并在 ISBI 细胞追踪挑战赛 2015 的各个类别中夺冠。
Faster R-CNN：用区域建议网络实现实时目标检测
2015 年论文提出与检测网络共享卷积特征的区域建议网络，使候选区域生成几乎无额外成本，实现端到端训练；在 GPU 上达到每秒 5 帧，并在多个基准上取得当时最好精度。
DARPA 机器人挑战赛决赛
DARPA 机器人挑战赛决赛 2015 年 6 月在加州波莫纳举行，23 支队伍参赛，韩国 Team KAIST 的 DRC-Hubo 夺冠并赢得 200 万美元奖金。
YOLO：统一的实时目标检测
2015 年的论文提出 YOLO，把目标检测视为从图像像素直接回归边界框和类别概率的单一问题。一个神经网络一次评估即可完成预测，达到实时速度。
《You Only Look Once：统一、实时的目标检测》
2015 年的 YOLO 论文把目标检测改写为单个神经网络对边界框和类别概率的回归，实现实时检测，并减少空白背景上的误检。
特斯拉随 7.0 版软件启用 Autopilot
2015 年 10 月 14 日，特斯拉发布 7.0 版软件，为已装上相应硬件的 Model S 启用 Autopilot：车道内转向、拨转向灯变道、随车流调整速度的巡航。
丰田宣布成立丰田研究院
2015年11月，丰田宣布设立丰田研究院：一家独立的人工智能研发公司，5年内投入10亿美元，由曾任DARPA项目经理的Gill Pratt出任首席执行官。
Google 开源 TensorFlow
2015 年 11 月 9 日，Google 以 Apache 2.0 许可证开源了第二代机器学习系统 TensorFlow，让外部的人也能用上 Google 自家产品里正在使用的同一套工具。
OpenAI 以非营利 AI 研究实验室身份成立
2015 年 12 月，马斯克、奥特曼等人在旧金山创办非营利机构 OpenAI，宣称目标是让数字智能惠及全人类，而不受财务回报的约束。
Deep Residual Learning for Image Recognition（用于图像识别的深度残差学习）
2015年的这篇论文提出了残差网络，通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练，并在2015年的多项ILSVRC和COCO任务中夺得第一名。
ResNet 以 3.57% 错误率赢得 ILSVRC 2015
2015 年 ILSVRC 分类任务由残差网络（ResNet）夺冠，ImageNet 测试集错误率 3.57%。这种网络最深 152 层，让层去学相对于输入的残差函数，据记载已超过人类表现。
2016 年
Partnership on AI 成立
一个由六家全球最大科技公司的研究者于 2016 年底正式成立的多方参与组织，旨在研究和分享人工智能最佳实践、增进公众理解，并为讨论人工智能对人和社会的影响提供开放平台。
Mastering the game of Go with deep neural networks and tree search（用深度神经网络和树搜索掌握围棋）
2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。
AlphaGo 论文登上《自然》，披露击败樊麾
2016 年 1 月 27 日，DeepMind 公布 AlphaGo，并同步发表《自然》论文，披露它在 2015 年 10 月以 5∶0 击败欧洲围棋冠军樊麾，这是计算机程序首次战胜职业围棋棋手。
AlphaGo 在首尔以 4:1 击败李世石
2016 年 3 月，DeepMind 的 AlphaGo 在首尔与拥有 18 个世界冠军头衔的职业九段棋手李世石进行五番棋对决，以 4:1 取胜；据 DeepMind 统计，全球有超过 2 亿人观看了这场比赛。
深度残差网络中的恒等映射
论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。
微软 Tay 聊天机器人上线不到一天即被下线
Tay 是微软 2016 年 3 月 23 日放在 Twitter 上的聊天机器人，原本要从与 18 至 24 岁用户的对话中学习。上线几小时内它就开始发布种族主义等不当言论，微软随即将其下线。
谷歌公开自研 AI 芯片 TPU
2016 年 5 月，谷歌公开自研机器学习芯片 TPU：它已在自家数据中心运行一年多，并支撑搜索排序、街景和 AlphaGo 等业务。
谷歌 I/O 2016 发布 Google 助理与 Google Home
2016 年 5 月的 I/O 大会上，谷歌发布了 Google 助理，预告了把它带进家中的 Google Home 音箱，并展示了在手机上承载它的 Allo 与 Duo。
四部门印发《“互联网+”人工智能三年行动实施方案》
2016年5月18日，中国四个部门印发《“互联网+”人工智能三年行动实施方案》，提出到2018年的目标，列明重点技术和产品方向，并为应用市场规模定下数字。
ResNet 获 CVPR 2016 最佳论文奖
2016 年 6 月，CVPR 最佳论文奖授予 Kaiming He 等人的深度残差学习论文，该文后来成为 5 年内被引用最多的研究论文。
《SQuAD：10 万+文本机器理解问题》
SQuAD 是一个阅读理解数据集，包含 10 万多个由众包工人针对维基百科文章提出的问题，每个问题的答案都是原文中的一段文字。它于 2016 年发布，免费开放，并给出了可对照的人类成绩上限。
英伟达把第一台 DGX-1 送到 OpenAI
2016 年 8 月，英伟达 CEO 黄仁勋亲手把第一台 DGX-1 深度学习整机送到 OpenAI 总部。这是两家公司长期合作的起点，也是专用 AI 硬件进入前沿研究机构的早期标志。
DeepMind 发布原始音频生成模型 WaveNet
2016 年 9 月 8 日，DeepMind 公布 WaveNet——一个逐个采样点生成原始音频波形的深度神经网络。盲听测试中它胜过 Google 原有的语音合成系统，并把与人声的差距缩小一半以上。
WaveNet：原始音频生成模型
WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。
谷歌神经机器翻译系统：弥合人与机器翻译的差距
2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。
Google 在翻译生产中上线 GNMT 中译英
2016 年 9 月 27 日，Google Research 公布神经机器翻译系统 GNMT，并宣布它已在中译英上进入生产环境，同时报告了翻译错误率的大幅下降。
杭州城市数据大脑发布
2016年10月13日，由杭州市政府主导的城市数据大脑项目在杭州发布，它用阿里云人工智能程序「ET」和大数据分析实时预测交通，并自动调节信号灯。
用强化学习做神经架构搜索
2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。
亚马逊公布无需结账的 Amazon Go
2016 年 12 月 5 日，亚马逊公布实体食品店原型 Amazon Go：顾客进店拿货即可离开，账户自动扣款，不必排队结账。
Alphabet 把自动驾驶项目剥离为 Waymo
2016 年 12 月，Alphabet 把旗下的自动驾驶汽车项目剥离为独立公司 Waymo，让一项长期研究变成一门提供自动驾驶技术、而非整车的生意。
2017 年
「deepfake」一词在 Reddit 出现
2017 年底，一个名叫「deepfakes」的 Reddit 用户开始发布换脸视频，这个词随后成了用深度学习合成的影像的通称。
PyTorch 公开发布
PyTorch 于 2017 年 1 月以测试版公开发布，以 Python 集成和命令式风格见长，由 Lua Torch 社区人员与 Facebook 共同推动。
Mask R-CNN
Mask R-CNN 是 2017 年提出的物体实例分割框架，在检测物体的同时为每个实例生成高质量掩码，通过给 Faster R-CNN 增加并行掩码分支实现。
用循环一致性对抗网络做无配对图像转换（CycleGAN）
CycleGAN 在没有配对样本的情况下学习两个图像域之间的转换，用对抗损失匹配目标分布，并加入循环一致性约束来限制映射。
百度发布 Apollo 自动驾驶开放平台
2017年4月，百度在上海车展发布 Apollo 自动驾驶开放平台，向合作伙伴提供车辆、硬件、软件平台与云端数据服务，希望它成为「汽车界的安卓」。
AlphaGo 以 3:0 战胜柯洁后退役
2017 年 5 月，AlphaGo 在中国乌镇举行的围棋峰会上与当时世界排名第一的柯洁下三番棋并全部取胜，随后 DeepMind 让 AlphaGo 退出竞技。
英伟达 GTC 2017 发布 Volta 与 Tesla V100
2017年5月10日，英伟达在 GTC 主题演讲中发布第七代 GPU 架构 Volta，以及首款基于该架构的数据中心 GPU Tesla V100，主打 AI 与高性能计算。
