论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 19 · 清除筛选

2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
研究史生成式模型图像生成
2022
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
arXiv
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
研究史多模态生成式模型
2021
《用潜空间扩散模型进行高分辨率图像合成》
arXiv 2112.10752 (CVPR 2022)
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
研究史生成式模型图像生成
2021
《零样本文生图》（DALL·E 论文）
arXiv
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
研究史多模态生成式模型
2020
去噪扩散概率模型（DDPM）
NeurIPS
2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
深度学习生成式模型图像生成
2020
《NeRF：将场景表示为用于视图合成的神经辐射场》
arXiv
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
研究史生成式模型计算机视觉
2018
基于风格的生成对抗网络生成器架构（StyleGAN）
arXiv
这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
生成式模型计算机视觉图像生成
2018
大规模 GAN 训练与高保真自然图像合成（BigGAN）
arXiv
2018 年的论文，作者为 Andrew Brock 等，把生成对抗网络训练到当时最大规模，提出 BigGAN，刷新了类别条件图像合成的最好成绩。
生成式模型计算机视觉图像生成
2018
Glow：带可逆 1x1 卷积的生成流
arXiv
2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文，提出以可逆 1x1 卷积为基础的生成流模型 Glow，在标准基准上提升了对数似然，并能高效地合成与操纵大尺寸图像。
研究史生成式模型图像生成
2017
神经离散表示学习（VQ-VAE）
arXiv
这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。
研究史生成式模型图像生成
2017
渐进式增长 GAN：提升质量、稳定性与多样性
arXiv
2017 年的一篇论文提出渐进式增长训练法：生成器与判别器从低分辨率开始逐层加深，使 GAN 训练更稳定、图像质量与多样性更高。
生成式模型计算机视觉图像生成
2017
用循环一致性对抗网络做无配对图像转换（CycleGAN）
arXiv
CycleGAN 在没有配对样本的情况下学习两个图像域之间的转换，用对抗损失匹配目标分布，并加入循环一致性约束来限制映射。
生成式模型计算机视觉图像生成
2016
WaveNet：原始音频生成模型
arXiv
WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。
深度学习多模态生成式模型
2014
生成对抗网络
arXiv
Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。
研究史深度学习生成式模型
2013
自编码变分贝叶斯
arXiv
Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。
研究史深度学习生成式模型
2010
使用均值-协方差受限玻尔兹曼机进行音素识别
NIPS
2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。
研究史深度学习生成式模型
2006
深度信念网络的快速学习算法
Neural Computation
2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。
研究史深度学习生成式模型
2003
潜在狄利克雷分配（LDA）
JMLR
一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。
研究史生成式模型数据与数据集
1985
《玻尔兹曼机的一种学习算法》
Cognitive Science 9
1985年，Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文，提出一种修改连接强度的通用学习规则，并用简单例子展示网络能从样本中形成结构高效的内部表示。
研究史生成式模型科学发现