超分数据集概述和超分经典网络模型总结
一、常用数据集概述
现有的数据集主要分为两种类型
1、只采集HR图像的数据集，如DIV2K，DIV8K等数据集，对于此类数据集可采用不同的退化方式获取相应的LR图像，从而构造匹配的LR-HR训练图像对，以这种方式获得的训练数据集一般被称为合成数据集。
2、直接采集同一场景不同分辨率的图像，从而获取LR-HR图像对的数据集，如RealSR，DRealSR等数据集，这类训练数据集一般被称为真实数据集。
相较于合成数据集，真实数据集通常具有更真实的退化过程，适用于真实场景图像的超分辨率重建. 但真实数据集的构建存在一定难度，如真实数据集直接采集到的LR-HR图像对通常是不匹配的，需要进行严格的配准操作才能得到具有相同视场且可用于训练的LR-HR图像对，且真实世界图像的退化核会随着景深的变化而变化，通常是不均匀的，往往需要根据实际情况采取不同的策略再进行超分辨率重建。
数据集名称 | 图像数量/张 | 合成/真实数据集（训练集/验证集/测试集） | 图像格式 | 图像内容 |
|---|---|---|---|---|
T91 | 91 | 合成数据集（训练集） | PNG | 包括动植物、人、车等局部纹理图像 |
Timofte | 110 | 合成数据集（训练集） | PNG | 包括T91，Set15和Set14三个数据集的图像 |
291-images | 291 | 合成数据集（训练集） | PNG，JPG | 包括T91和BSD两个数据集的图像 |
General-100 | 100 | 合成数据集（训练集） | BMP | 包括建筑纹理、动植物、人、食物、日用品等图像 |
MSCOCO | 328 000 | 合成数据集（训练集） | JPG | 包括91种易识别物体类型在自然环境中的复杂日常场景的图像 |
ImageNet | 3200 000 | 合成数据集（训练集） | JPG | 包括动植物、交通工具、家具、乐器、地质构造、工具等图像 |
DIV2K | 1 000 | 合成数据集（800张训练集、100张验证集、100张测试集） | PNG | 包括人、手工艺品、环境（城市、村庄）、动植物、自然风景等图像 |
Flickr2K | 2650 | 合成数据集（训练集） | PNG | 包括人、车、动植物、食物、建筑和风景等图像 |
DF2K | 3450 | 合成数据集（训练集） | PNG | 包括DIV2K和Flickr2K两个数据集的图像 |
DPED | 5827 | 真实数据集（5614张训练集、113张验证集、100张测试集） | PNG | 包括各种道路交通场景（建筑、植物、道路等）等图像 |
OutdoorScene(OST) | 10624 | 合成数据集（10324张数据集、300张测试集，即OST300） | PNG | 包括动物、建筑、草、山、植物、天空和水等7类纹理丰富的图像 |
DIV8K | 1504 | 真实数据集（1304张训练集、100张验证集、100张测试集） | PNG | 包括人、动物、建筑和风景等各种场景和物体的图像 |
RealSR | 595 | 真实数据集（550张训练集、45张测试集） | PNG | 包括建筑、风景、动植物、海报、物体等纹理丰富的室内外场景图像 |
DRealSR | 88（x2） 78（x3） 84（x4） | 真实数据集（对于尺度因子2，3，4分别用83，84，93张图像进行测试，其余用于训练） | PNG | 包括广告海报、植物、办公室、建筑物、等室内外场景的图像 |
Set5 | 5 | 合成数据集（测试集） | PNG | 包括婴儿、鸟、蝴蝶、头部和女士等5张图像 |
Set14 | 14 | 合成数据集（测试集） | PNG | 包括动植物、风景（船和桥）、PPT和人等图像 |
Berkeley Segmentation Dataset(BSD)/BSD500 | 500 | 合成数据及（测试集） | PNG | 包括动物、建筑、食物、风景、人和植物等图像，BSD100和BSD300分别是BSD500中常用的100或300张图片 |
Urban100 | 100 | 合成数据集（测试集） | PNG | 包括不同类型的建筑图像 |
Manga109 | 109 | 合成数据集（测试集） | PNG | 包括来自日本漫画书的图像 |
PIRM | 200 | 合成数据集（100张验证集、100张测试集） | PNG | 包括人、物、环境、植物、自然风景等图像 |
DIV2KRK | 100 | 合成数据集（测试集） | PNG | 包括对DIV2K验证集的100张图像进行更复杂退化操作的图像 |
DIV2K4D | 400 | 合成数据集（测试集） | PNG | 包括对100张DIV2K验证集采取四种退化的图像 |
二、经典网络模型总结
LR图像获取方式：Bi⁃cubic表示双三次下采样，B表示模糊核，GB表示高斯模糊核，N表示噪声，GN表示高斯噪声，J表示JPEG压缩. 由于数据增强能够扩大数据容量，减少迭代次数，并在一定程度上提升网络性能，所以许多网络模型常通过随机翻转、旋转和缩放等操作对数据集进行数据增强.
网络名称--发表时间（类型） | 网络框架（上采样方法） | 训练集 | LR图像获取方式 | 数据增强 | 测试集 | 损失函数 | 评价指标 |
|---|---|---|---|---|---|---|---|
SRCNN--2014（基于S-CNN） | 预上采样（双三次插值） | 91-images，ImageNet | Bicubic+GB | —— | Set5，Set14 | L2 | PSNR，SSIM，runtime |
FSRCNN--2016（基于S-CNN） | 后上采样（反卷积） | 91-images，General-100 | 下采样 | 缩放、旋转 | Set5，Set14，BSD200 | L2 | PSNR，SSIM，IFC，runtime |
ESPCN--2016（基于S-CNN） | 后上采样（亚像素卷积） | ImageNet | 下采样+GB | —— | 91-images，Set5，Set14，BSD300，BSD500，super texture | L2 | PSNR，runtime |
VDSR--2016（基于ResNet） | 预上采样（双三次插值） | 291-images | 下采样 | 旋转、翻转 | Set5，Set14，Urban100，B100 | L2 | PSNR，SSIM，runtime |
RED-Net--2016（基于ResNet） | 预上采样（双三次插值） | BSD300 | 下采样 | 旋转、翻转 | Set5，Set14，BSD100 | L2 | PSNR，SSIM |
DRCN--2016（基于RNN） | 预上采样（双三次插值） | 91-images | 下采样 | —— | Set5，Set14，B100，Urban100 | L2 | PSNR，SSIM |
LapSRN--2017（基于ResNet） | 渐进式上采样（转置卷积） | 291-images | Bicubic | 翻转、旋转 | Set5，Set14，B100，Urban100，DIV2K | LCharbonnier | PSNR，SSIM，IFC |
EDSR--2017（基于ResNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | 翻转、旋转 | Set5，Set14，B100，Urban100，DIV2K | L1 | PSNR，SSIM |
DRRN--2017（基于RNN） | 预上采样（双三次插值） | 291-images | 下采样 | 翻转、旋转 | Set5，Set14，BSD100，Urban100 | L2 | PSNR，SSIM，IFC |
SRDenseNet--2017（基于DenseNet） | 后上采样（反卷积） | ImageNet | Bicubic | —— | Set5，Set14，B100，Urban100 | L2 | PSNR，SSIM |
MemNet--2017（基于DenseNet） | 预上采样（双三次插值） | 291-images | Bicubic | 翻转、旋转 | Set5，Set14，BSD100，Urban100 | L2 | PSNR，SSIM |
SRGAN--2017（基于GAN） | 后上采样（亚像素卷积） | ImageNet | Bicubic | —— | Set5，Set14，BSD100 | Lpercep，LGAN | PSNR，SSIM，MOS |
EnhanceNet--2017（基于GAN） | 后上采样（最近邻插值） | MSCOCO | Bicubic | —— | Set5，Set14，BSD100，Urban100 | Lpercep，LGAN，Ltexture | PSNR，SSIM，IFC，MOS |
DBPN--2018（基于ResNet） | 迭代式上下采样（反卷积） | DIV2K，Flickr2K，ImageNet | Bicubic | —— | Set5，Set14，BSDS100，Urban100，Manga109 | L2 | PSNR，SSIM |
MSRN--2018（基于ResNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | 缩放、旋转、翻转 | Set5，Set14，B100，Urban100，Manga109 | L1 | PSNR，SSIM |
RCAN--2018（基于AM） | 后上采样（亚像素卷积） | DIV2K | ①Bicubic ②模糊下采样 | 旋转、翻转 | Set5，Set14，B100，Urban100，Manga109 | L1 | PSNR，SSIM |
ESRGAN--2018（基于GAN） | 后上采样（最近邻插值） | DIV2K，Flickr2K，OST | Bicubic | 翻转、旋转 | Set5，Set14，BSD100，Urban100，PIRM | Lpercep，LGAN，L1 | PSNR，PI |
LP-KPN--2019（基于ResNet） | 渐进式上采样（shuffle upsample） | RealSR | —— | 旋转、翻转 | RealSR | L2 | PSNR，SSIM |
SRFBN--2019（基于RNN） | 后上采样（反卷积） | DIV2K，Flickr2K | ①Bicubic ②下采样+GB ③Bicubic+GN | 翻转、旋转 | Set5，Set14，B100，Urban100，Manga109 | L1 | PSNR，SSIM |
Meta-SR--2019（基于DenseNet） | 后上采样（元上采样） | DIV2K | 下采样 | 翻转、旋转 | Set14,B100,Manga109,DIV2K | L1 | PSNR，SSIM |
SAN--2019（基于AM） | 后上采样（亚像素卷积） | DIV2K | ①Bicubic ②模糊下采样 | 旋转、翻转 | Set5，Set14，BSD100，Urban100，Manga109 | L1 | PSNR，SSIM |
DAN--2020（基于ResNet） | 后上采样（亚像素卷积） | DIV2K，Flickr2K | ①GB+下采样 ②GB（旋转、噪声、归一化）+下采样 | —— | ①Set5，Set14，Urban100，BSD100，Manga109 ②DIV2KRK | L1 | PSNR，SSIM |
HDRN--2020（基于DenseNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | 翻转、旋转 | Set5，Set14，BSD100，Urban100，Manga109，Jilin-1 satellite imagery， Kaggle | LCharbonnier | PSNR，SSIM |
CDC-2020（基于AM） | 渐进式上采样（亚像素卷积） | RealSR，DRealSR | —— | —— | RealSR，DRealSR | LGW(L1) | PSNR,SSIM,LPIPS |
RealSR--2020（无监督式） | 后上采样（最近邻插值） | ①DF2K ②DPED | 无监督式 退化模型 | —— | ①DF2K ②DPED | L1，Lpercep，LGAN | ①PSNR，SSIM，LPIPS ②MOR |
RFB-ESRGAN--2020（基于GAN） | 后上采样（交替使用最近邻插值和亚像素卷积） | DIV8K，DIV2K，Flickr2K，OST | Bicubic | 翻转、旋转 | DIV8K | L1，LVGG，LGAN | PSNR，SSIM，LPIPS，PI |
CRN--2021（基于ResNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | —— | Set5，Set14，B100，Urban100 | L1 | PSNR，SSIM |
SMSR--2021（基于LN） | 后上采样（亚像素卷积+双三次插值） | DIV2K | 下采样 | 旋转、翻转 | Set5，Set14，B100，Urban100，Manga109 | L1,Lreg | PSNR，SSIM，Params，FlOPS |
BSRGAN--2021（基于GAN） | 后上采样（最近邻插值） | DIV2K，Flickr2K，WED，FFHQ | B+下采样+N | —— | ①合成的DIV2K4D， ②真实的RealSRSet | L1，Lpercep，LPatchGAN | ①PSNR，LPIPS ②NIQE，NRQM，PI |
Real-ESRGAN--2021（基于GAN） | 后上采样（最近邻插值） | DIV2K，Flickr2K，OST | Bicubic+B+N+J | —— | RealSR，DRealSR，OST300，DPED，ADE20K | L1，Lpercep，LGAN | 视觉效果 |
IPT--2021（基于Transformer） | —— | ImageNet | Bicubic | —— | Set5，Set14，B100，Urban100 | L1，Lcontrastive | PSNR |
SwinIR--2021（基于Transformer） | 后上采样（亚像素卷积） | DIV2K，Flickr2K | ①Bicubic ②B+下采样+N | —— | Set5，Set14，Urban100，BSD100，Manga109 | ①L1 ②L1，LGAN，Lpercep | PSNR，SSIM，Params，Mult-Adds |