硬件与算力 论文
| 《神经网络与具有涌现集体计算能力的物理系统》 John J. Hopfield 于 1982 年发表的论文，主张有用的计算能力可以作为大量简单等价单元的集体性质涌现出来，并给出一个模型：其集体行为带来内容寻址记忆、泛化与纠错等能力。 | |
| 用图形处理器进行大规模深度无监督学习 2009 年 ICML 论文，作者为 Rajat Raina、Anand Madhavan 与 Andrew Y. Ng，用图形处理器训练深度信念网络与稀疏编码模型，速度比多核 CPU 快数十倍。 | |
| ImageNet Classification with Deep Convolutional Neural Networks（用深度卷积神经网络做 ImageNet 分类） 2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。 | |
| 《Megatron-LM：用模型并行训练数十亿参数的语言模型》 NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。 | |
| 神经语言模型的缩放定律 OpenAI 研究者在 2020 年发表的论文发现，语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降，为各实验室建造更大的模型提供了定量依据。 | |
| 大规模分布式深度网络 2012 年 NIPS 论文，提出可在数千台机器集群上训练深度网络的 DistBelief 框架，以及 Downpour SGD 和 Sandblaster 两种优化过程。 | |
| 用深度强化学习控制托卡马克等离子体的磁场 2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。 |