毫秒级图像去噪！英伟达、MIT新AI系统完美去水印

新智元报道

来源：arxiv

编译：肖琴

【新智元导读】没有什么能阻挡我们对高清无码大图的向往。在ICML2018上，英伟达和MIT等机构的研究人员展示了一项图像降燥技术Noise2Noise，能够自动去除图片中的水印、模糊等噪音，几乎能完美复原，而且渲染时间是毫秒级。

论文地址：https://arxiv.org/pdf/1803.04189.pdf

去水印技术又上了个新台阶。

由Nvidia、麻省理工学院和阿尔托大学开发的深度学习去噪方法，无需使用没有“噪声”的清晰图像，就能够实现完美去水印。

效果如下：

什么是图片“噪声”？

如果你在日落之后拍摄过照片，那么你可能对图像的“噪声”很熟悉了。当用摄像头对焦光线昏暗的场景时，图像会呈现颗粒、异常的彩色或白色斑点。

人们现在可以用软件在一定程度上去噪或降噪，深度学习方法去噪也已经有一些解决方案，但存在一个重要缺陷：需要配对的清晰图像和噪声图像来训练神经网络。

如何生成清晰的图像是医学成像检测（如MRI）和天文图像中的共同问题，因为这些场景根本没有足够的时间和光线来拍摄清晰图像。时间在计算机图形技术中也是一个问题。生成清晰的图像数据来训练降噪器的任务可能需要几天或几周的时间。

Noise2Noise：

该团队使用了来自ImageNet数据集的5万张图像来训练其人工智能系统，该系统能够从图像中去除噪声，即使它从未见过没有噪声的对应图像。

这个名为“噪声到噪声”（Noise2Noise）的AI系统是使用深度学习创建的，它不是基于配对的清晰图像和噪声图像来训练网络，而是基于配对的噪声图像来训练网络，并且只需要噪声图像。计算机生成的图像和MRI扫描图像也被用来训练Noise2Noise。

通过只使用噪声来训练Noise2Noise，研究人员希望这种方法可以用于已知含有大量噪声的图像，比如天体摄影、核磁共振成像（MRI）或大脑扫描图像。

从左到右：输入的噪声图像、去噪图像、和原始图像

来自IXI数据集的50名人类受试者的近5000张图像被用于训练Noise2Noise的MRI图像去噪能力。在没有人工噪声的情况下，结果可能比原始图像稍微模糊一些，但仍然很好地还原了清晰度。

MRI图像去噪

Nvidia的研究人员Jacob Munkberg说：“这是一个概念证明，我们在一个公共核磁共振数据库上进行训练，但在未来，它可能会显示出在实际应用中的希望。”

Noise2Noise系统通过使用一个神经网络来实现这一点，该神经网络使用有损的图像来训练。它不需要干净的图像，但它需要观察源图像两次。实验表明，受不同的合成噪声（加性高斯噪声、泊松噪声和binomial噪声）影响的目标图像仍能与使用干净样本恢复的图像有“几乎相同”的质量。该系统最令人兴奋的是，它可以显著减少图像渲染所需的时间——毫秒级别。

研究人员在论文中写道：“我们观察到，在适当的，常见的情况下，我们可以学习仅从损坏的示例重建信号，而无需观察干净的信号，并且其效果与使用干净样本一样好。如我们在下文所展示的，从统计角度来看，我们的结论可能是微不足道的，但在实践中，通过解除对清洁数据可用性的要求，这种方法显着简化了学习信号的重建。”

实验：

我们通过实验研究了噪声目标（noisy-target）训练的实际特性，并确定了不需要干净目标的各种情况。

加性高斯噪声（Additive Gaussian noise）

首先，我们用加性高斯噪声研究噪声目标的影响。这是一种简单的分布，我们可以从中抽取样本，从而通过破坏干净的图像来生成无限数量的合成训练数据。

对高斯噪声去噪的示例

这里，我们的baseline是最近state-of-the-art的方法“RED30”，这是一个具有128个特征图的30层的分层残差网络，已经被证明是非常有效的。

对加性高斯噪声的去噪性能

来自3个测试数据集KODAK, BSD300和SET14的PSNR结果，包括高斯噪声、泊松噪声和Bernoulli noise噪声

泊松噪声（Poisson noise）

泊松噪声是照片噪声的主要来源。它和高斯一样是零均值，但是很难去除，因为它与信号有关。

对Poisson noise去噪的示例

眼部的细节

高斯噪声、泊松噪声和Bernoulli noise噪声的示例结果。

去除图像中文字的效果：

从此不怕弹幕挡脸

如果要去除图像中的文字，正确答案是中间值（L1 loss）而不是平均值(L2 loss)

随机值脉冲噪声用噪声代替了一些像素，并保留了其他像素的颜色。

脉冲噪声去噪示例

在随机值脉冲噪声的情况下，模式（L0）产生了无偏的结果，与平均值（L2）或中间值（L1）不同

这项工作将于本周在瑞典斯德哥尔摩召开的ICML会议上公布。