条件生成对抗网络

要解决的问题

生成对抗网络（generative adversarial nets, GANs）通过生成器（generator）与判别器（discriminator）的对抗来学习产生接近训练分布的数据。最初的GAN中，生成器从随机噪声出发生成样本，判别器判断样本是真实还是伪造。这种设置能生成看起来逼真的数据，但没有直接办法指定要生成哪一类内容：使用者无法要求某个类别、某个标签，或附加其他条件信息。《条件生成对抗网络》要解决的正是这个问题，它把条件信息纳入模型本身。论文于2014年11月6日首次提交到arXiv，编号为1411.1784，作者是Mehdi Mirza和Simon Osindero ^[1]。

怎么做的

核心改动可以一句话概括：把条件数据y同时输入生成器和判别器 ^[1]。在条件GAN中，生成器不再只接收随机噪声，而是接收噪声与y，并要生成既逼真又符合该条件的样本。判别器也不只看到一个样本，而是同时看到样本与y，并要判断样本是否真实、是否与条件相符。两个网络在同一个对抗游戏中训练：生成器努力让判别器无法区分自己生成的、符合条件的数据与真实数据；判别器则努力识别出伪造样本或不遵守条件的样本。这样，原来的对抗目标就变成了条件对抗目标，y可以表示类别标签，也可以表示其他形式的辅助信息。论文的主要贡献就是提出这种条件版本的生成对抗网络 ^[1]。

结果

作者在MNIST数字上展示了该模型，能够按类别标签生成数字 ^[1]。这直接检验了生成器能否利用y控制输出：模型不是生成任意数字，而是被要求生成指定类别的数字。论文还说明了如何用该模型学习多模态模型（multi-modal model）^[1]。在一个初步的图像标注（image-tagging）例子中，该方法生成了训练标签之外的描述性标签 ^[1]。这些例子用来说明条件训练可以实现什么，而不是一项大规模基准评测。

为什么重要

这篇论文的重要性在于它的形式化。它把条件信息明确加入生成器和判别器，使辅助信息能够引导生成过程。问题由此从「模型能否生成逼真的数据」变成「模型能否生成所要求类别的逼真数据」。MNIST的类别条件实验展示了基本机制可以工作，多模态与图像标注的例子则指向类别标签之外的用途 ^[1]。条件GAN是对原始GAN思路的自然扩展，论文给出了构建它的清晰而简洁的描述。