基于风格的生成对抗网络生成器架构（StyleGAN）

要解决的问题

生成对抗网络（generative adversarial network, GAN）通过生成器与判别器的对抗来学习生成数据：生成器给出合成样本，判别器判断样本来自真实数据还是生成器。生成器怎样把潜在输入映射成输出，是这类模型的核心设计问题之一，因为它同时影响样本质量和不同变化因素是否容易控制。这篇论文提出一种用于 GAN 的替代生成器架构，思路借自风格迁移（style transfer）研究^[1]。

论文第一作者是 Tero Karras，合著者为 Samuli Laine 和 Timo Aila，2018 年 12 月 12 日首次提交到 arXiv，编号 1812.04948^[1]。它的贡献落在生成器架构层面^[1]。这一点很重要，因为生成器正是 GAN 中把潜在编码变成样本的部分，改变它的架构会改变合成过程中信息的组织方式。

怎么做的

该架构从风格迁移文献中借用思路^[1]。风格迁移通常把内容与风格分开处理，再组合成结果；把类似思想放进 GAN 生成器，会改变合成过程中信息的注入方式。论文报告，这种设计带来了自动学习、无监督的高层属性与随机变化分离^[1]。在人脸训练中，高层属性包括姿态和身份，随机变化包括雀斑和头发^[1]。这种分离不依赖属性标签，而是在训练中自动形成^[1]。

架构还支持直观的、尺度特定（scale-specific）的合成控制^[1]。所谓尺度特定控制，是指可以在不同细节层次上调整生成结果，而不是只能通过一个纠缠的整体开关来控制。宽泛的结构和细小的随机细节因此不必用同一种方式控制。论文把这种可控性作为所提出生成器架构的性质来报告^[1]。

结果

生成器在传统分布质量指标上提升了当时的最好水平^[1]。除了样本质量，论文还考察潜在输入插值（interpolation）时的表现，显示更好的插值性质^[1]；它也更好地解耦（disentanglement）了潜在变化因素^[1]。一般来说，插值关心潜在空间中移动时输出是否平滑变化，解耦关心不同因素能否较独立地变化。为了量化插值质量和解耦程度，作者提出两种新的自动化方法^[1]。

论文还给出自动衡量插值质量和解耦的方法^[1]。这让这些性质成为方法的一部分，而不只是看过样本之后的描述。

为什么重要

这项工作的重要性在于，它把生成器架构本身当作实现分离与控制的入口。一个能自动把姿态、身份等高层属性与雀斑、头发等随机变化分开的生成器，内部职责更清楚^[1]。尺度特定控制又提供了另一类调节方式：合成可以在不同尺度上受到影响^[1]。再加上分布质量指标的提升、更好的插值和更好的解耦，这些性质共同构成了论文对 GAN 生成器设计的贡献^[1]。

作者还提出两种用于量化插值质量和解耦程度的自动化方法^[1]。这些性质用文字描述容易，测量起来却更难；自动化度量让论文的主张更具体，也更便于比较。因此，这篇论文的价值在于它报告的组合：一种基于风格的替代生成器架构，在提升标准指标的同时，把属性分离、插值质量和尺度控制变成明确的研究对象^[1]。