DASR: 盲超分两大流派集成大者！

真实场景图像未知且复杂的退化机制、实际应用中的有限计算资源等问题导致高效且实用的RealSR仍是一个极具挑战性的任务。尽管近期的一些RealSR通过关于退化空间的建模取得极大的进展(比如BSRGAN、Real-ESRGAN)，但这些方案严重依赖于重骨干网络(比如RRDB)，对于处理不同退化强度的图像不够灵活(内容自适应性不足)。

本文提出一种高效且实用的方案DASR，它对每个输入图像自适应估计其退化信息并用于网络参数调制。具体来说，它采用一个很小的回归网络预测输入图像的退化参数，同时骨干部分采用了类似CondConv的"多专家"方案进行处理。这种"多专家"与退化自适应联合优化能够大幅扩展模型容量以处理不同强度的退化，同时保持高效的推理。

实验结果表明：相比有方案，在处理不同退化强度的真实场景图像时，所提方案不仅更有效，同时部署更高效。

1Method

上图为本文所提DASR整体架构示意图，它包含如下两部分：(1) 退化预测网络; (2)带多专家知识的超分网络。

DASR

Degradation Modeling

2Experiments

需要注意的是，本文所设计的退化空间比BSRGAN、Real-ESRGAN的多样性还要强，既包含轻度的退化，也包含重度退化。上图给出了不同程度的退化示意图(更多示意图可查看原文)，包含最基本的Bicubic退化，也包含轻度一阶退化，还包含重度一阶退化与重度二阶退化。

上表给出了不同方案在不同退化强度下的性能对比，从中可以看到：

• 已有方案仅能处理特定类型的退化，如RRDB、ESRGAN只能处理bicubic退化；Real-ESRGAN、BSRGAN、Real-SwinIR对于重度退化数据效果很好，但在轻度退化数据上的效果出现了严重下降。
• 相比其他方案，在三种类型退化数据上，所提DASR取得稳定且显著性能提升。这说明，所提DASR对不同的退化具有极强的泛化性能。

为验证所提退化自适应策略的有效性，我们基于所构建退化空间对不同骨干进行了重训练，结果见上表，可以看到：

• 当采用相同骨干SRResNet时，所提方案取得大幅性能提升，比如bicubic退化数据上的0.5dB、Level-II退化数据上的5%LPIPS。这说明：退化自适应混合机制可以极大扩展模型容量，同时保持推理高效性。
• 相比RRDB与SwinIR，所提DASR所需计算资源更少，约为RRDB的1/3, SwinRI的1/12；同时，DASR具有更优的重建质量。这进一步证实了其退化自适应的有效性与部署高效性。
• 在推理效率方面，RRDB比SRResNet的FLOPs高7倍，推理速度慢4倍；SwinIR具有可接受的FLOPs与Params，但其实际推理速度反而最慢(attention与IO的缘故)。相反，所提DASR具有超优异性能的同时具有非常快的推理速度、低FLOPs与参数量。

上图给出了不同方案在不同退化下的重建效果对比，从中可以看到：DASR能够更为稳定的重建锐利而真实的纹理；而BSRGAN与Real-ESRGAN对于轻度退化数据无法生成令人满意的纹理细节。

前面也提到了，DASR一个有意义的优势在于：受益于可解释性与退化表达的紧致性，在推理阶段，所提DASR支持用户交互。上图给出了一个用户交互调制效果对比，可以看到：**当把模糊相关的参数手动调大后，重建结果更为锐利(见Fig5-c)；当对噪声相关的参数进行调制时可以更灵活的处理细节与噪声之间的均衡(见Fig5-e，Fig5-f)**。

3个人理解

这篇论文可谓把盲图像超分的两个流派(IKC流派显示进行退化核建模和BSRGAN流派进行隐式建模)给打通，兼具两大盲超分流派的优势：IKC流派的数据自适应性、BSRGAN流派的超大退化核空间。此外，DASR还具备两者所不具备的退化信息人工交互调制性，而这这种退化核支持交互调制的方案最早可追溯到SRMD一文。此外，SRMD、DASR这种支持人工交互调整超分结果的机制使其在图像编辑领域极具价值；同时对于某些特定无HR数据的领域，该方案非常适合用于制作数据。

总而言之，这篇论文非常值得称道，将BSRGAN类方案的重骨干做成了轻量型，为进一步的轻量型盲超分探索打开了一扇门。