首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 32 · 清除筛选
- 2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
- 2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
- 2022
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
arXiv
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
- 2021
《用潜空间扩散模型进行高分辨率图像合成》
arXiv 2112.10752 (CVPR 2022)
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
- 2021
《零样本文生图》（DALL·E 论文）
arXiv
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
- 2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
- 2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
- 2020
去噪扩散概率模型（DDPM）
NeurIPS
2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
- 2020
《NeRF：将场景表示为用于视图合成的神经辐射场》
arXiv
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
- 2019
用统一的文本到文本 Transformer 探索迁移学习的极限（T5）
JMLR
Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。
- 2018
基于风格的生成对抗网络生成器架构（StyleGAN）
arXiv
这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
- 2018
BERT：用于语言理解的深度双向 Transformer 预训练
NAACL
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
- 2018
大规模 GAN 训练与高保真自然图像合成（BigGAN）
arXiv
2018 年的论文，作者为 Andrew Brock 等，把生成对抗网络训练到当时最大规模，提出 BigGAN，刷新了类别条件图像合成的最好成绩。
- 2018
Glow：带可逆 1x1 卷积的生成流
arXiv
2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文，提出以可逆 1x1 卷积为基础的生成流模型 Glow，在标准基准上提升了对数似然，并能高效地合成与操纵大尺寸图像。
- 2018
通过生成式预训练提升语言理解（GPT）
OpenAI
OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
- 2017
神经离散表示学习（VQ-VAE）
arXiv
这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。
- 2017
- 2017
Proximal Policy Optimization Algorithms
arXiv
2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。
- 2017
Attention Is All You Need（注意力就是你所需要的）
NeurIPS
2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。
- 2017