渐进式增长 GAN：提升质量、稳定性与多样性

要解决的问题

《渐进式增长 GAN：提升质量、稳定性与多样性》由 Tero Karras、Timo Aila、Samuli Laine 和 Jaakko Lehtinen 合著，2017 年 10 月 27 日首次提交到 arXiv，编号 1710.10196，提出一种新的生成对抗网络（generative adversarial network，GAN）训练方法 ^[1]。

GAN 由两个网络互相对抗训练而成。生成器（generator）接收随机输入并把它变成一张图像；判别器（discriminator）看着一张图像，判断它来自训练数据还是来自生成器。双方靠互相施压进步：生成器努力造出判别器无法否定的图像，判别器则努力识破伪造的图像。这种两人博弈在小尺寸图像上还能维持，但相当脆弱。一旦一方明显强于另一方，另一方得到的信号就失去意义，训练可能停滞甚至发散。图像越大问题越突出：判别器的任务更难，生成器要同时控制的像素也多得多。

渐进式增长的做法

论文的核心想法是让生成器和判别器一起「长大」。训练从低分辨率开始，此时两个网络都很浅，只需要把图像的大致布局做对。随着训练推进，两个网络不断加入新层，用来刻画越来越精细的细节 ^[1]。由于两者同步增长，判别器不会一下子把生成器甩开；博弈的难度逐级上升，每个新层都建立在已经稳定下来的特征之上。换句话说，这篇论文不把网络规模当成一次性确定的设计选择，而是把它当成一条与训练同步推进的日程表。

作者称，这样做加快了训练速度，也极大提升了稳定性，从而能生成质量前所未有的图像，例如 1024x1024 的 CelebA 图像 ^[1]。CelebA 是常用的人脸照片数据集；在这一分辨率下，每张图超过一百万像素，生成器必须做出头发、皮肤、背景等可信的细部，而不只是一个像脸的色块。

作者还提出一种简单的方法来增加生成图像的多样性 ^[1]。多样性之所以重要，是因为生成器可能退而求其次，只产出讨好判别器的少数几类结果，这种失败有时被称为模式崩塌（mode collapse）：单张样本看着不错，却覆盖不了数据本身的范围。

结果

该方法在无监督 CIFAR-10 上取得 8.80 的初始分数（inception score），创下当时的纪录 ^[1]。初始分数是一种基准指标，奖励那些既像清晰可辨物体、又足够多样的生成图像；CIFAR-10 是常用的图像基准，无监督设定意味着方法拿不到类别标签。这项纪录与高分辨率下的视觉效果互为补充：一个给出量化比较，一个展示实际观感。

为什么重要

GAN 长期面临两个实际障碍：训练不稳定，以及很难扩展到高分辨率。这篇论文用同一套机制同时应对两者，又另外给出了一个成本很低的多样性办法。最终得到的是一套训练配方：分辨率逐级提高，质量、稳定性与多样性一起改善，而不是彼此拆东墙补西墙。

局限与位置

这篇论文的贡献是一种训练方法，而不是新的数据集或基准：它改变的是网络以什么方式、按什么顺序接受训练 ^[1]。论文报告的主要数字是基准分数，而基准分数只能不完美地概括质量与多样性；高分辨率演示用的又是人脸照片这一类相对受限的图像。高分辨率训练在算力上也依然昂贵。尽管如此，这篇论文留下了一个超出任何单项分数的观点：生成模型学到什么，很大程度上取决于你让它按什么顺序去学。