基于卷积神经网络的单图像去雨

图像去雨是图像处理和计算机视觉领域共同关心的重要问题，传统的关于图像去雨的图像恢复方法在某些特定的情况下会失效，鉴于深度卷积神经网络（CNN）在计算机视觉领域的迅猛发展及其良好的学习性能，越来越多的研究者将CNN应用到图像恢复领域。本文主要从图像处理和物理模型的研究角度，并结合卷积神经网络技术，对图像去雨技术进行综述。

,其中B代表背景层，即要获取的目标图像；基于以上的缺陷，对上述模型进行改进。使得层既包含雨痕的位置信息也要包含特定像素点位置的雨痕对像素值的贡献构成。由此得出一个广义的雨水模型，如下所示：

，这里包含了一个基于区域的变量在现实场景中，基于雨痕带具有不同的形状和不同的方向且雨痕之间会相互重叠，以及暴雨情况下的雨水积聚产生的雾气效果导致远处场景的能见度降低这两个主要的问题，该方法提出了一个更细致的雨水模型，该模型包含多个雨痕层（每个雨痕层中的雨痕方向是一致的），也包含了全局大气光的作用效果（用来模拟雨水产生的雾气效果），模型公式表示如下：

，这里1.2基于以上模型，提出了一个循环雨水检测和去除的深度网络架构，具体结构如图1所示。图1循环雨水检测和去除网络架构。每次循环使用一个多任务网络进行雨水检测和去除（蓝色的点框）扩张卷积技术循环子网络：图1中的蓝色的点框是该子网络的结构，每次循环的结果会相应的生成一个残差图像T（*），该结果会作为下一次循环子网络的输入，每次的预测残差值随着网络的循环而累积。

图2基于真实图像，不同方法的测试结果。从左到右依次对应：输入测试图像，DSC,LP和本文方法定量评估：主要使用峰值信噪比(PSNR)和结构相似性(SSIM)两个度量来对不同的去雨方法进行数据比较，并且对应度量的数值越大表明效果越好。表1是基于数据集Rain12和Rain100L得出的对比结果。

表1基于数据集Rain12和Rain100L，不同去雨方法在PSNR和SSIM度量得出的结果本方法解决了一个更具挑战性的问题，去除落在玻璃或者镜头上的雨滴。首先，被雨水遮挡的原图像信息是不可知的；其次，被遮挡的背景信息不可避免会丢失很多；如果输入图像的雨滴较大并且分布密集时，情况会变得更加棘手。这给问题的解决带来了极大的难度。

,这里的基于这个模型，目标是从输入降质图像图3显示了本方法的整个网络的架构，可知网络主要包括两个部分：生成网络和判别网络。给定一张被雨水降质的图像，生成网络尝试生成尽可能真实的无雨图像，判别网络则用来验证生成的图像是否足够真实。

图3AttentiveGAN架构图示生成网络：如图3所示的结构，该生成网络包含两个子网络：注意力循环子网络(Attentive-RecurrentNetwork)和上下文自编码器子网络(ContextualAutoencoder)。注意力循环子网络的目的是找到输入图像需要被注意的区域，主要是需要上下文自编码器子网络需要聚焦的雨水及其周围的区域。

图4上下文自编码器的结构。多尺度损失和感知损失被用于训练该子网络由图4可以看出，该子网络使用了多尺度损失(Multi-scaleloss)和感知损失(Perceptualloss)。基于像素操作的多尺度损失，从不同的解码层(Decoderlayers)提取特征来形成不同尺寸的输出，这可以获取更多的上下文信息。

图5不同方法的结果比较。从左到右：原始输入图像，Eigen，Pix2Pix，本文方法

图6网络体系及其可能的配置结构之间的结果对比定量评估：表2给出了本文方法和已有方法在峰值信噪比(PSNR)和结构相似性(SSIM)两个度量上比较的结果，对应度量的数值越大表明效果越好。