Removing Rain from SI via Deep Detail Network

Fu X, Huang J, Huang D Z Y, et al. Removing rain from single images via a deep detail network[J].

当object的structure, orientation与rain streak相似时，基于low-level图像特征的de-rain方法效果很差

ResNet通过改变映射形式简化训练过程

因此，论文提出用于de-rain的Deep Detail Network框架

利用lossless negative residual mapping, 缩小映射范围，简化训练过程.

(输入)rain image - (预测)rain residual = (输出)clean image

引入prior信息（rain high-frequency）.

去除图片背景，得到包含object and rain streaks structures的图片，将其作为神经网络的输入，神经网络对rain structure建模.

此外，去除背景后的图片像素值范围缩小，且大部分像素点为0，其稀疏性能够提高效果。

Y: gt; X: rain image; X_detail: obj and rain streak structure; |Y - X|: rain structure.

创建数据集.

框架特点

可泛化到真实图像

通用性. 能用于去噪，降低JPEG artifacts

基于先验信息缩小映射范围（而ResNet改变映射形式）

数据集

从UCID、BSD和Google image search中收集1000张clean image

每张图片生成14种不同streak orientation and magnitude的rain image

相关工作

分为两类

基于视频

基于单张图片

基于视频的de-rain任务可以使用inter-frame information，相对于基于单张图片而言，较简单。

基于单张图片的工作有：

Non-local mean fltering

GMM + patch-rank prior(low-rank)

（patch-based）

GMM + patch-based prior

DSC(discriminative sparse coding). Dictionary Learning

Findings

heavy rain image存在类似于haze的现象，因此，对图片进行de-haze预处理能够提高效果。

1. Deep Detail Network

Direct Network

神经网络输入(X): rain image

神经网络输出>: clean image

出现color shift现象.

frobenius范数

平方-求和-开方

Negative Residual Mapping

神经网络输入(X): rain image

神经网络输出: rain structure

模型输出: clean image = rain image - rain structure

gt: clean image

通过缩小输出映射范围，减小solution space. 无法完全de-rain.

Deep Detail Network

神经网络输入(X_detail): obj + rain structure image

神经网络输出: rain structure

模型输出: clean image = rain image - rain structure

gt: clean image

输入具有稀疏性 + 输出缩小映射范围.

神经网络为Parameter Layers

实验中网络深度L设为26

Decompose

使用guided filtering（实验中，半径设为15）作为low-pass filter，将图片分为

Base layer

Detail layer

Detail layer包含图片中object and rain streak structure信息.

网络结构

2.Experiments

实验与两个算法进行对比

[25] DSC

[24] GMM + Patch-rank prior

评价指标SSIM

合成数据

真实数据

测试时间

[24] [25]算法为CPU运行时间。

收敛比较

网络depth vs width

与深度学习算法(ICCV 2013)比较

扩展任务（通用性）