【每周CV论文推荐】基于GAN的图像数据增强有哪些经典论文值得阅读

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

当前基于GAN的二维图像生成领域的发展已经非常成熟，GAN不仅可以用于从零生成图像数据，还可以用于对数据进行增强，不仅是数量上的扩充，还包括数据质量的提升，本次我们给大家推荐一些值得阅读的文章。

作者&编辑 | 言有三

1 数据扩增BAGAN与DAGAN

在深度学习模型训练中，高质量的数据是不可或缺的，而数据的不平衡问题经常存在并且困扰模型的泛化能力。既然GAN可以用于数据生成，那么将其用于少类数据扩充进行数据增强就是典型应用，BAGAN和DAGAN就是代表性的工作。

文章引用量：1000+

推荐指数：✦✦✦✦✦

[1] Mariani G, Scheidegger F, Istrate R, et al. Bagan: Data augmentation with balancing gan[J]. arXiv preprint arXiv:1803.09655, 2018.

[2] Antoniou A, Storkey A, Edwards H. Data augmentation generative adversarial networks[J]. arXiv preprint arXiv:1711.04340, 2017.

2 数据仿真SimGAN

这是Apple公司发表的首篇机器学习研究论文，光是这一点就值得我们关注，本工作内容是使用GAN来进行眼球数据增强，使仿真的数据更像真实数据，从而降低真实数据获取的成本。Google也提出了类似用途的工作GazeGAN。

文章引用量：1700+

推荐指数：✦✦✦✦✦

[3] Shrivastava A, Pfister T, Tuzel O, et al. Learning from simulated and unsupervised images through adversarial training[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 2107-2116.

[4] Sela M, Xu P, He J, et al. Gazegan-unpaired adversarial image generation for gaze estimation[J]. arXiv preprint arXiv:1711.09767, 2017.

3 单样本数据生成SinGAN

SinGAN是一个非常经典的one-shot多尺度图像生成框架，它可以基于单张图像进行训练，训练后的模型可以生成新的图像，新的图像与训练图像有类似的几何结构与纹理信息，非常适合用于自然图像生成。

文章引用量：500+

推荐指数：✦✦✦✦✦

[5] Shaham T R, Dekel T, Michaeli T. Singan: Learning a generative model from a single natural image[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 4570-4580.

4 医学领域应用

医学领域是一个典型的缺少数据并且标注成本较高的行业，因此GAN在其中有较多的应用。比如通过基本的数据增强方法和GAN框架联合训练，研究者将其用于肝损伤（liver lesion）医学图像生成，然后用于分类任务。通过输入图像和掩膜监督生成视网膜光学相干断层扫描（retinal optical coherence tomography，OCT）图像，然后用于分割任务。更多的工作请大家自行了解。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[6] Frid-Adar M, Diamant I, Klang E, et al. GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification[J]. Neurocomputing, 2018, 321: 321-331.

[7] Mahapatra D, Bozorgtabar B, Shao L. Pathological retinal region segmentation from oct images using geometric relation based augmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 9611-9620.

5 如何进行实战

为了帮助大家掌握基于GAN的图像与视频生成理论与实战！我们推出了相关的专栏课程《深度学习之图像生成GAN：理论与实践》，感兴趣可以进一步阅读：

【视频课】CV必学，超6小时，2大模块，循序渐进地搞懂GAN图像生成！

总结

本次我们介绍了基于GAN的图像数据增强的一些方法，这是GAN在图像生成领域非常好的业务落地场景，尤其是对于缺少数据的一些特定方向，感兴趣的朋友可以通过阅读这些文章进行初步了解。