生成式模型论文

潜在狄利克雷分配（LDA）一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。
深度信念网络的快速学习算法 2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。
生成对抗网络 Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。
基于风格的生成对抗网络生成器架构（StyleGAN）这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
《NeRF：将场景表示为用于视图合成的神经辐射场》 2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
《用潜空间扩散模型进行高分辨率图像合成》 2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
《玻尔兹曼机的一种学习算法》 1985年，Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文，提出一种修改连接强度的通用学习规则，并用简单例子展示网络能从样本中形成结构高效的内部表示。
使用均值-协方差受限玻尔兹曼机进行音素识别 2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。
自编码变分贝叶斯 Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。
WaveNet：原始音频生成模型 WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。
用循环一致性对抗网络做无配对图像转换（CycleGAN） CycleGAN 在没有配对样本的情况下学习两个图像域之间的转换，用对抗损失匹配目标分布，并加入循环一致性约束来限制映射。
渐进式增长 GAN：提升质量、稳定性与多样性 2017 年的一篇论文提出渐进式增长训练法：生成器与判别器从低分辨率开始逐层加深，使 GAN 训练更稳定、图像质量与多样性更高。
神经离散表示学习（VQ-VAE）这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。
大规模 GAN 训练与高保真自然图像合成（BigGAN） 2018 年的论文，作者为 Andrew Brock 等，把生成对抗网络训练到当时最大规模，提出 BigGAN，刷新了类别条件图像合成的最好成绩。
去噪扩散概率模型（DDPM） 2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
《零样本文生图》（DALL·E 论文） 2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
《具备深度语言理解的照片级文生图扩散模型》（Imagen） Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
《基于 Transformer 的可扩展扩散模型》（DiT） 2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
Glow：带可逆 1x1 卷积的生成流 2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文，提出以可逆 1x1 卷积为基础的生成流模型 Glow，在标准基准上提升了对数似然，并能高效地合成与操纵大尺寸图像。