降噪的新时代

本文系微信公众号《大话成像》，知乎专栏《all in camera》原创文章，转载请注明出处。

本站教学视频大话成像之《数字成像系统》新版36讲已上线淘宝，搜索关键字‘大话成像’即可找到，请购买了视频的读者加入QQ群：679050565，群名称：数字成像系统课程，验证消息请输入购买课程时候的个人ID。

深度学习在降噪中的应用

----盘点CVPR2018中的降噪论文

今年CVPR2018中大约有5篇论文直接与图像降噪有关

Mildenhall B, Barron J T, Chen J, et al. Burst Denoising with Kernel Prediction Networks[J]. 2017.

Lefkimmiatis S. Universal Denoising Networks : A Novel CNN-based Network Architecture for Image Denoising[J]. 2017.

Chen C, Chen Q, Xu J, et al. Learning to See in the Dark[J]. 2018.

Image Blind Denoising With Generative Adversarial Network Based Noise Modeling

A High-Quality Denoising Dataset for Smartphone Cameras

（其他同时用于超分辨率和图像复原的论文不计入）：

其中，最近很火的是Intel的[3] Learning to See in the Dark，主要是其在特定数据集情况下降噪效果非常明显，而且做法非常简单粗暴，直接构建了一个“端到端”的全卷积网络，从Raw直接映射到SRGB域图像。个人感觉除了证明神经网络具有强大的拟合性，和商业上可以引起大家关注ISP AI化以外，学术上的意义并不大。（图1，图2）

图1

图2

个人比较看好的相对比较实用化的一篇论文是谷歌的[1]Burst Denoising with KernelPrediction Networks，其部分训练源码也已经公开：https://github.com/google/burst-denoising。

其思想很简单，就是使用神经网络预测图像的运动向量（使用卷积表达），然后进行多帧降噪。（图3）

图3

这个可以完全看做是一个google HDR+技术的代替品，而且个人感觉非常容易在目前SOC的算力下将复杂度优化下来，先上实际的效果图。

单纯从降噪和清晰度来讲相对于google目前的HDR+效果好的还是很明显的，以下是效果对比图

剩下的几篇个人感觉可以稍微看下，学术上一般，但是基本不具备工程应用中要吸取的东西。

一篇是毛子的Universal Denoising Networks : A Novel CNN Architecture for ImageDenoising，基本上基于去年的论文炒冷饭，其论文最原始出发点基本就是使用CNN直接代替传统算法中的部分滤波器， 变着法的把BM3D中的部分模块使用CNN代替掉。（如下图）

微软的“A High-Quality Denoising Dataset for Smartphone Cameras”，最大的价值不是论文，是贡献了3W张训练数据集，但是并没有找到下载的地址，有找到的朋友麻烦留言地址。

CVPR上传统手动拼滤波器的日子已经一去不复返了。结合目前手机camera上的趋势，后处理端图像处理方面慢慢也会上越来越多的神经网络算法来弥补传统ISP在夜景、自动美化方面的不足，虽然完全代替传统ISP目前来看技术并不可行，但是ISP AI化已经变成了一个不争的实时，新时代要来了。