EleutherAI 发布训练数据集 The Pile
2020年12月31日，EleutherAI 公开发布 The Pile：825 GiB 英文文本，由 22 个较小的数据集合并而成；论文显示在其上训练的模型在全部子集上均优于两个基线语料。
共 39 · 清除筛选
OpenAI 发布 GPT-3 论文
2020 年 5 月，OpenAI 发表 GPT-3 论文。这个拥有 1750 亿参数的语言模型，只需在输入文本中给出少量示例，就能完成新任务，无需额外训练。
谷歌发布聊天机器人 Meena 研究
2020年1月27日，谷歌研究人员发布论文，介绍聊天机器人 Meena：一个26亿参数的开放域对话模型，在名为「合理性与具体性平均分」的新指标上得分79%。
DeepMind 发布无需规则即可规划的 MuZero
2019年11月19日，DeepMind在arXiv发布MuZero：用学习模型而非规则规划，在围棋、国际象棋和将棋比肩AlphaZero，并在57款Atari游戏取得最优成绩。
AlphaStar 在《星际争霸 II》中达到宗师级
2019年10月30日，DeepMind 宣布 AlphaStar 在《星际争霸 II》三个种族均达到宗师级，排名高于 99.8% 的活跃玩家，并在接近人类的界面限制下比赛。
谷歌研究者在 arXiv 发布 BERT 论文
2018 年 10 月，谷歌研究者在 arXiv 发布 BERT 论文。BERT 在每一层都同时利用左右两侧的语境，只需增加一个输出层，就能适配问答等任务。
OpenAI 发表首篇 GPT 论文，提出生成式预训练
2018 年 6 月，OpenAI 发表论文，提出先用无标注文本做生成式预训练、再针对具体任务微调的方法。该方法在研究的 12 项任务中，有 9 项超过了当时的最好成绩。
DeepMind 的 AlphaZero 精通国际象棋、将棋和围棋
DeepMind 在 2017 年 12 月 5 日发布于 arXiv 的预印本介绍了一种通用强化学习算法：只给定规则，它便通过自我对弈学会国际象棋、将棋和围棋，并在 24 小时内于三项棋类上都达到超人类水平。
AlphaGo Zero 从零自学围棋
2017年，DeepMind 宣布 AlphaGo Zero：它从随机下棋开始，仅靠自我对弈学习，用单个神经网络和更少硬件超过了此前的 AlphaGo 版本。
《Attention Is All You Need》发布于 arXiv，Transformer 问世
2017 年 6 月，论文《Attention Is All You Need》提出完全基于注意力的 Transformer 架构，此后大多数大语言模型都沿用它。
DeepMind 发布原始音频生成模型 WaveNet
2016 年 9 月 8 日，DeepMind 公布 WaveNet——一个逐个采样点生成原始音频波形的深度神经网络。盲听测试中它胜过 Google 原有的语音合成系统，并把与人声的差距缩小一半以上。
AlphaGo 论文登上《自然》，披露击败樊麾
2016 年 1 月 27 日，DeepMind 公布 AlphaGo，并同步发表《自然》论文，披露它在 2015 年 10 月以 5∶0 击败欧洲围棋冠军樊麾，这是计算机程序首次战胜职业围棋棋手。
IBM 在《科学》发表 TrueNorth 神经形态芯片
2014年8月8日，《科学》刊出描述 TrueNorth 的论文：IBM 用 54 亿个晶体管做出含 100 万个脉冲神经元、2.56 亿个突触的芯片，以毫瓦级功耗运行类脑网络。
DeepMind 发布深度 Q 网络雅达利游戏论文
2013年12月19日，DeepMind 研究人员发布论文，展示一个卷积网络用 Q 学习变体直接从原始像素学习雅达利 2600 游戏控制策略，在七个游戏中的六个优于此前方法。
NIPS 2010 深度学习与无监督特征学习研讨会
2010 年 NIPS 的深度学习与无监督特征学习研讨会；相关论文研究语音识别中的预训练与微调，并连接起更早的研讨会与后续期刊工作。
明斯基与派珀特出版《感知机》
1969年，明斯基与派珀特出版了《感知机》，用数学方法分析了感知机无法计算的内容。这本书常被认为促成了神经网络研究的一次衰落。
图灵发表《计算机器与智能》
图灵在论文中提出“模仿游戏”，把机器智能问题转化为可讨论、可观察的行为测试问题。