用循环一致性对抗网络做无配对图像转换（CycleGAN）

要解决的问题

图像到图像转换（image-to-image translation）的目标，是用对齐的训练图像对学习一个从输入图像到输出图像的映射^[1]。论文指出，许多任务并没有这样的配对训练数据^[1]。因此它研究的是无配对（unpaired）情形：给定源域 X 和目标域 Y，在没有成对样本的情况下学习把 X 中的图像转换到 Y^[1]。这里的监督不来自“这张输入对应那张输出”，而来自两个图像域本身的分布，以及转换是否可逆^[1]。

方法

方法的核心是学习一个映射 G，把源域图像变成目标域图像，并用对抗损失（adversarial loss）训练它，使 G(X) 的图像分布与 Y 的分布无法区分^[1]。在对抗训练中，生成器负责产生转换结果，判别器负责判断图像来自目标域还是来自生成器；生成器要让这种判断变得困难^[1]。

但仅有分布匹配还不够：同一个源域可以对应许多种目标域映射，满足分布匹配的 G 有很多，映射是高度欠约束的（under-constrained）^[1]。作者因此把对抗损失与循环一致性（cycle consistency）约束结合起来^[1]。循环一致性的直观要求是：把一张图像转换到另一个域，再转换回来，应该能回到原来的图像^[1]。这个往返要求提供了一种不依赖配对样本的约束^[1]。

论文信息

论文题为“Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks”，作者是 Jun-Yan Zhu、Taesung Park、Phillip Isola 和 Alexei A. Efros^[1]。它于 2017 年 3 月 30 日首次提交到 arXiv，编号为 1703.10593^[1]。标题点明了两个组成部分：无配对图像转换，以及循环一致的对抗网络^[1]。

结果与意义

在没有配对样本的前提下，论文把学习目标定义为两件事：G(X) 的分布与 Y 的分布不可区分，以及转换满足循环一致性^[1]。这使训练信号来自分布匹配和往返约束，而不是来自对齐的图像对^[1]。它的重要性正在于处理配对数据缺失的场景：许多图像转换任务没有现成的对齐训练对，而该方法只需要源域和目标域的图像集合^[1]。

论文也点明了困难所在：单靠对抗损失，映射高度欠约束，可能有很多映射都能匹配目标分布^[1]。循环一致性约束因此不是附加装饰，而是把问题收窄的关键部分^[1]。这篇论文的贡献可以概括为一个明确的组合：用对抗损失做域分布匹配，用循环一致性限制无配对映射的多解性^[1]。