朱俊彦团队最新论文GANGealing：GAN监督学习密集视觉对齐 | 代码开源

论文标题：

GAN-Supervised Dense Visual Alignment

论文和代码链接：

https://arxiv.org/abs/2112.05143

https://www.github.com/wpeebles/gangealing

效果：

图1给定未对齐图像的输入数据集，我们的GANgealing算法发现所有图像之间的密集对应关系。第一行：来自LSUN CAT的图像和数据集的平均图像。第二行：学习输入图像的变换。第三排：通过GANgealing学习的密集通信。底层：通过对平均变换图像进行注释，我们可以将用户编辑传播到图像和视频中。

摘要

本文提出了GAN监督学习，这是一个用于端到端联合学习判别模型及其GAN生成的训练数据的框架。我们将我们的框架应用于稠密视觉对齐问题。受经典Congealing 方法的启发，我们的 GANgealing 算法训练一个空间transformer，将随机样本从一个基于未对齐数据训练的GAN映射到一个共同的、联合学习的目标模式。我们展示了八个数据集的结果，所有这些结果都表明我们的方法成功地对齐了复杂数据并发现了密集的对应关系。GANgealing显著优于过去的自监督通信算法，在多个数据集上的性能与最先进的监督通信算法相当（有时甚至超过），而无需使用任何通信监督或数据扩充，尽管专门针对GAN生成的数据进行训练。为了实现精确的通信，我们对最先进的监督方法进行了高达3倍的改进。我们展示了我们的方法在增强现实、图像编辑和图像数据集的自动预处理方面的应用。

GANgealing 算法架构

图2 GANgealing概述。我们首先在未对齐的数据上训练生成器G。我们通过在生成器的潜在空间中学习模式c来创建用于对齐的合成生成数据集。我们使用该数据集来训练空间 transformer 网络T，以便使用感知损失将未对齐的图像映射到相应的对齐图像[37]。空间transformer可概括为自动对齐真实图像

更多的算法细节，请阅读论文