【每周CV论文推荐】GAN在自动驾驶视觉任务中的典型应用

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

生成对抗网络是一项非常基础的技术，自动驾驶是当前非常重要的应用领域，当前GAN在自动驾驶相关的视觉任务中陆续也有了一些比较重要的应用，本次我们来简单给大家推荐一些工作。

作者&编辑 | 言有三

1 数据生成

自动驾驶应用场景对错误容忍度极低，需要模型具有极强的泛化能力，因此训练自动驾驶领域中感知模型需要大量的数据。GAN最典型的应用就是数据生成，这正好可以用于自动驾驶领域中相机数据的仿真，比如Google的SurfelGAN基于无人车收集到的有限的激光雷达和摄像头数据，生成逼真的相机图像供模型进行学习。

文章引用量：30+

推荐指数：✦✦✦✦✧

[1] Yang Z, Chai Y, Anguelov D, et al. Surfelgan: Synthesizing realistic sensor data for autonomous driving[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11118-11127.

2 数据增强

GAN的另一个典型应用方向就是图像翻译，它可以将数据从一个域变换到另一个域，比如将容易采集的白天场景数据变换到不容易采集的晚上场景数据，或者较好天气变换到不好的天气，这可以用于数据增强，增强模型的泛化能力。

文章引用量：150+

推荐指数：✦✦✦✦✧

[2] Huang S W, Lin C T, Chen S P, et al. Auggan: Cross domain adaptation with gan-based data augmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 718-731.

[3] Xu W, Souly N, Brahma P P. Reliability of gan generated data to train and validate perception systems for autonomous vehicles[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2021: 171-180.

3 视频预测

自动驾驶环境中存在多个目标，为了实现安全的行驶，我们会预测场景中其他目标（主要包括车辆和行人）的未来轨迹，这是一个非常关键的问题，也是自动驾驶领域中重要方向，相关的研究工作是非常多的。

文章引用量：500+

推荐指数：✦✦✦✦✦

[4] Jin X, Xiao H, Shen X, et al. Predicting scene parsing and motion dynamics in the future[J]. Advances in neural information processing systems, 2017, 30.

[5] Mozaffari S, Al-Jarrah O Y, Dianati M, et al. Deep learning-based vehicle behavior prediction for autonomous driving applications: A review[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 23(1): 33-47.

[6] Gómez-Huélamo C, Conde M V, Ortiz M, et al. Exploring Attention GAN for Vehicle Motion Prediction[J]. arXiv preprint arXiv:2209.12674, 2022.

4 目标检测与分割

再回过头看经典问题，自动驾驶环境感知中有大量的目标检测与分割需求，GAN在其中当然有不少应用，比如将其用于提升车道线的检测性能，当然这本身就是一个通用的任务。

文章引用量：100+

推荐指数：✦✦✦✦✧

[7] Ghafoorian M, Nugteren C, Baka N, et al. El-gan: Embedding loss driven generative adversarial networks for lane detection[C]//proceedings of the european conference on computer vision (ECCV) Workshops. 2018: 0-0.

5 对抗攻击

作为一个对安全性要求极高的领域，在自动驾驶相关模型中研究神经网络的对抗攻击问题，提高模型的抗干扰能力是非常重要的，因为许多研究都表明神经网络模型容易遭受攻击从而产生错误输出，这在自动驾驶领域中可能会带来严重的交通事故。

文章引用量：60+

推荐指数：✦✦✦✦✧

[8] Dong S, Luo G, Wang K, et al. VoxelAtlasGAN: 3D left ventricle segmentation on echocardiography with atlas guided generation and voxel-to-voxel discrimination[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2018: 622-629.

6 如何实战

由于本次推荐的论文与图像生成、图像翻译都有关联，为了帮助大家掌握相关前置知识！我们推出了相关的专栏课程《深度学习之图像生成GAN：理论与实践》，《深度学习之图像翻译GAN：理论与实践》，感兴趣可以进一步阅读：

【视频课】CV必学，超6小时，2大模块，循序渐进地搞懂GAN图像生成！

【视频课】CV必学，超7小时，3大模块，3大案例，掌握图像翻译与风格化GAN核心技术！

总结

本次我们介绍了GAN在自动驾驶中的一些典型应用，从事相关方向的朋友可以通过阅读这些文章进行初步了解，本文介绍的绝大多数内容属于感知方向，GAN也可以用于决策与控制相关任务，留做拓展内容读者自行学习。