深度学习的图像超分技术综述-输入单张图像(SISR)和输入多张图像的基于参考的图像(RefSR)

JOYCE_Leo16

发布于 2024-03-19 16:06:56

7330

文章被收录于专栏：计算机视觉计算机视觉

参考：杨才东等：深度学习的图像超分辨率重建技术综述

前言

输入为单张图像和多张图像：

SISR方法输入一张低分辨率图像，利用深度神经网络学习LR-HR图像对之间的映射关系，最终将 LR图像重建为一张高分辨率图像。

RefSR方法借助引入的参考图像，将相似度最高的参考图像中的信息转移到低分辨率图像中并进行两者的信息融合，从而重建出纹理细节更清晰的高分辨率图像。

一、SISR模型统计

Table 1 SISR model statistics

模型算法	超分框	上采样方式	网络模型	损失函数	优点	局限性
SRCNN	前采样	三立方插值	卷积直连	MSE损失	首次将深度学习引入超分领域，重建效果超过传统算法	训练收敛慢，只能完成单一尺度放大，重建图像平滑
FSRCNN	后采样	转置卷积	卷积直连	MSE损失	速度较SRCNN提高，实时性得到提高	依赖于局部的像素信息进行重建，有伪影产生
VSDR	后采样	三立方插值	残差网络	MSE损失	实现多尺度超分放大	对图像进行插值放大再计算，导致巨大的计算量
ESPCN	前采样	亚像素卷积	卷积直连	MSE损失	网络效率提高，提出了亚像素卷积放大方法，灵活解决了多尺度放大问题	重建图像有伪影
SRResNet	后采样	亚像素卷积	残差网络	MSE损失	解决深层网络难训练问题	重建图像光滑
SRGAN	后采样	亚像素卷积	残差网络	感知损失	提高图像感知质量	模型设计复杂，训练困难
LapSRN	渐进式	三立方插值	残差网络	L1损失	产生多尺度超分图像，网络拥有更大的感受野	重建质量不佳
EDSR	后采样	亚像素卷积	残差网络	L1损失	增大模型尺寸，降低训练难度	推理时间长，实时性差
SRDenseNet	后采样	转置卷积	残差、稠密网络	MSE损失	减轻梯度消失，增强特征传播能力	对所有层进行连接，计算量大
RDN	后采样	亚像素卷积	残差网络	L1损失	增加网络复杂度，提高主观视觉质量	采用了稠密连接，计算量大
RCAN	后采样	亚像素卷积	残差、注意力机制网络	L1损失	通过注意力网络使模型专注于高频信息的学习	引入通道注意力机制的同时，将各个卷积层视为单独的过程，忽略了不同层之间的联系
ESRGAN	后采样	亚像素卷积	残差、稠密网络	L1损失	更稳定的GAN模型，重建高频纹理细节	模型设计复杂，训练困难
SAN	后采样	亚像素卷积	残差、注意力机制网络	L1损失	提出了二阶通道注意力模块，增强了模型的特征表达和特征学习能力，利用非局部加强残差组捕捉长距离空间内容信息	计算成本高
SRFBN	后采样	转置卷积	递归、残差、稠密网络	L1损失	引入反馈机制，前面层可以从后面层中受益	通过迭代的方式虽然减少了参数，但是每次迭代都会计算loss和重建图像，计算量大
CDC	渐进式	转置卷积	递归、残差、注意力机制网络	梯度加权损失	提高真实世界图像重建质量，对图像不同区域进行针对性训练	训练复杂，计算量大
HAN	后采样	亚像素卷积	残差、注意力机制	L1损失	学习不同深度之间特征的关系，提高特征表达能力	对不同层、通道和位置之间的特征信息进行建模，参数量多，计算量大
SRFlow	后采样	亚像素卷积	残差网络	对抗损失、内容损失	克服了GAN模型易崩溃的问题	生成多张近似的图片，计算量大
DFCAN	后采样	亚像素卷积	残差、注意力机制网络	对抗损失	提升显微镜下超分重建图像质量	设计复杂，专用于显微镜超分
LIIT	后采样	亚像素卷积	残差网络	L1损失	连续表达学习，实现30倍的放大图像	生成图像光滑

二、RefSR模型统计

Table 2 RefSR model statistics

模型算法	对齐方法	匹配方法	融合方法	损失函数	优点	局限性
Landmark	全局配准	——	求解能量最小化	——	利用全局匹配，解决了图像内容相似但照明、焦距、镜头透视图等不同造成关联细节不确定性问题	参考图像与输入图像分辨率差距过大，影响了模型的学习能力
CrossNet	光流法	——	融合解码层	L1损失	解决了Ref图像与LR图像分辨率差距大带来的图像对齐困难的问题	仅限于小视差的条件，在光场数据集上可以达到很高的精度，但在处理大视差的情况下效果迅速下降
HCSR	光流法	——	混合策略融合	重构损失对抗损失	引入SISR方法生成的中间视图，解决跨尺度输入之间的显著分辨率之差引起的变换问题	依赖于LR与HR之间的对准质量，计算多个视图差会带来巨大的计算量
SSEN	可变性卷积	——	RCAN基础网络	重构损失感知损失对抗损失	使用非局部块作为偏移量估计来积极地搜索相似度，可以以多尺度的方式执行像素对齐，并且提出的相似性搜索与提取模块可以插入到现有任何超分网络中	利用非局部块来辅助相似度搜索，全局计算意味着巨大的参数量
SS-Net	——	跨尺度对应网络	构建一个预测模块，从尺度3到尺度1进行融合	交叉熵损失	设计了一个跨尺度对应网络来表示图像之间的匹配，在多个尺度下进行特征融合	参考图像与输入图像的相似度直接影响生成图像的质量
SRNTT	——	在自然空间中进行多级匹配	结合多级残差网络和亚像素卷积层构成神经结构转移模块	重构损失感知损失对抗损失	根据参考图像的纹理相似度自适应地转换纹理，丰富了HR纹理细节；并且在特征空间进行多级匹配，促进了多尺度神经传输，使得模型即使在参考图像极不相关的情况下性能也只会降低到SISR的级别	当相似纹理较少或者图像区域重复时，不能很好地处理，计算成本高
TTSR	——	利用Transformer架构中的注意力结构来完成特征的匹配	利用软注意力模块完成特征融合	重构损失感知损失对抗损失	引入了Transformer架构，利用Transformer的注意力机制发现更深层的特征对应，从而可以传递准确的纹理特性	当相似纹理较少或者图像区域重复时，不能很好地处理，计算成本高
Cross-MPI	——	平面感知MPI机制	对不同深度平面通道进行汇总	重构损失感知损失内部监督损失	平面感知MPI机制充分利用了场景结构进行有效的基于注意的对应搜索，不需要进行跨尺度立体图像之间的直接匹配或穷举匹配	虽然解决了图像之间较大分辨率差异时的高保真超分辨率重建，但是忽略了图像之间在分布上存在的差异产生的影响
MASA	——	利用自然图像局部相关性，由粗到精进行匹配	利用双残差聚合模块（DRAM）	重构损失感知损失对抗损失	在保持高质量匹配的同时吗，利用图像的局部相关性，缩小特征空间搜索范围。同时提出了空间自适应模块，使得Ref图像中的有效信息可以更充分地利用	基于图像的内容和外观相似度来进行计算，忽略了HR和LR图像之间的底层转换关系
-Matching	——	利用图像的增强视图来学习经过底层变换之后的对应关系	动态融合模块完成特征融合	重构损失感知损失对抗损失	不仅考虑了图像分辨率差距上带来的影响，还考虑了图像在底层变换过程中导致图像外观发生变换带来的影响，使得模型对大尺度下以及旋转变换等情况都具有较强的鲁棒性	模型结构较为复杂，计算量大