首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 24 · 清除筛选
- 2025
《ARC-AGI-2：面向前沿 AI 推理系统的新挑战》
arXiv
2025 年的一篇论文提出 ARC-AGI-2 基准：用输入—输出配对任务测量前沿 AI 的抽象推理能力，并给出人类测试基线，让分数能更细致地反映进展。
- 2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
- 2022
Learning skillful medium-range global weather forecasting
Science
GraphCast 是一个基于图神经网络的全球天气模型，用四十年的再分析资料训练，能在不到一分钟内给出 0.25 度分辨率、未来 10 天的全球预报，并在多数检验指标上超过当时最准确的业务确定性预报系统。
- 2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
- 2022
用深度强化学习控制托卡马克等离子体的磁场
Nature
2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
- 2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
- 2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
- 2020
《NeRF：将场景表示为用于视图合成的神经辐射场》
arXiv
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
- 2020
- 2019
Mastering Atari, Go, chess and shogi by planning with a learned model
Nature
MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。
- 2019
《论智能的测量》（ARC-AGI）
arXiv
Francois Chollet 于 2019 年发表的论文，把智能定义为技能获取效率，并提出抽象与推理语料库（ARC）——一套只依赖核心知识、不需要专门领域知识和语言的网格任务基准。
- 2019
用统一的文本到文本 Transformer 探索迁移学习的极限（T5）
JMLR
Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。
- 2019
《Megatron-LM：用模型并行训练数十亿参数的语言模型》
arXiv 1909.08053
NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。
- 2018
BERT：用于语言理解的深度双向 Transformer 预训练
NAACL
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
- 2018
通过生成式预训练提升语言理解（GPT）
OpenAI
OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
- 2017
A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play
Science
2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。
- 2017
Attention Is All You Need（注意力就是你所需要的）
NeurIPS
2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。
- 2016
谷歌神经机器翻译系统：弥合人与机器翻译的差距
arXiv
2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。
- 2014
Neural Machine Translation by Jointly Learning to Align and Translate（联合学习对齐与翻译的神经机器翻译）
ICLR
Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。
- 2012
大规模分布式深度网络
NeurIPS
2012 年 NIPS 论文，提出可在数千台机器集群上训练深度网络的 DistBelief 框架，以及 Downpour SGD 和 Sandblaster 两种优化过程。