超分辨率开源库 GitHub 热门项目分享
超分辨率技术在多个领域有广泛应用，包括但不限于以下几个方面：
- 医疗成像：在医学影像中，超分辨率技术可以帮助提高图像质量，使医生能够更清晰地观察和诊断疾病。
- 安全监控：在安防监控系统中，超分辨率技术可以提高监控视频的分辨率，从而更有效地识别和跟踪目标。
- 数字娱乐：超分辨率技术提高图像视频的清晰度，例如修复一些古老的影视资料。
- ......
随着图像和视频数据量的急剧增加，以及人们对高质量图像需求的不断提升，超分辨率技术也在不断发展，以满足实际应用的需求。本文将分享一些相关的开源库和数据集，希望能够帮助该领域的研究人员推进研究和应用。
GFPGAN
GFPGAN 是腾讯开源的图像修复工具包，专注于人脸照片的恢复，尤其是老照片、低分辨率或损坏人脸的修复。
- 开源地址：https://github.com/TencentARC/GFPGAN
- 在线demo：https://replicate.com/xinntao/gfpgan
- 论文地址：https://arxiv.org/abs/2101.04061
⭐Star:34.9k
waifu2x
waifu2x 使用卷积神经网络对动漫风格的图片进行放大操作（支持照片），最高能4倍放大图片。
- 开源地址：https://github.com/nagadomi/waifu2x
- 在线使用：https://www.waifu2x.net/
⭐Star:27.3k
Real-ESRGAN
Real-ESRGAN 是腾讯开源的图像分辨率提升模型，旨在开发出实用的图像/视频修复算法。
最新更新发布了动漫视频小模型AnimeVideo-v3 model、动漫插图模型RealESRGAN_x4plus_anime_6B。
Real-ESRGAN 在提升老旧照片或视频的分辨率、改善低质量图像资料的清晰度、增强数字取证中的图像质量以及提高医学成像的分辨率等应用中发挥重要作用。
- 开源地址：https://github.com/xinntao/Real-ESRGAN
- 论文地址：https://arxiv.org/abs/2107.10833
⭐Star:26.7k
CodeFormer
CodeFormer 主要针对图像修复、去噪、超分辨率等更广泛的图像恢复任务，尤其擅长处理含有结构信息的图像（如文本、线条、边缘）。但对于人脸修复，相较于 GFPGAN 效果稍逊。
- 开源地址：https://github.com/sczhou/CodeFormer
- 论文地址：https://arxiv.org/abs/2206.11253
⭐Star:19.3k
Waifu2x-Extension-GUI
Waifu2x-Extension-GUI 借助深度卷积神经网络对图片、GIF、视频进行超分辨率放大(即放大与降噪)以及对视频进行插帧(即补帧)。
- 开源地址：https://github.com/AaronFeng753/Waifu2x-Extension-GUI
⭐Star:12.3k
原图 GIF 500 x 372
经过2x放大&降噪,以及gif优化后 1000 x 744
BasicSR
BasicSR(Basic Super Restoration)是一个基于 PyTorch 的开源图像视频复原工具箱，适配多种视觉底层任务，比如超分辨率，去噪，去模糊，去 JPEG 压缩噪声等。
- 开源地址：https://github.com/XPixelGroup/BasicSR
- 官方教程：https://www.zhihu.com/column/c_1295528110138163200
⭐Star:6.4k
人脸超分辨数据集
FFHQ(Flickr-Faces-HQ Dataset) 数据集包含 70000 张 1024x1024 分辨率的高清人脸图像。
CelebA-HQ 数据集包含 30000 张 1024x1024 分辨率的高清人脸图像。
- FFHQ数据集：https://github.com/NVlabs/ffhq-dataset
- CelebA-HQ 数据集：https://github.com/tkarras/progressive_growing_of_gans
图像超分辨率数据集
DIV2K 数据集源自 NTIRE2017 和 NTIRE2018 超分辨率挑战赛，由 800 幅训练集图片，100 幅验证集图片和 100 幅测试集图片组成，每张图片具有 2K 分辨率。
- DIV2K 数据集：https://data.vision.ee.ethz.ch/cvl/DIV2K/
视频超分辨率数据集
Vimeo90K 是一个大规模、高质量的视频数据集，由从 vimeo.com 下载的 89800 个视频片段组成，涵盖了各种场景和动作。
另外，该数据集分为 Triplet 数据集（用作视频插帧）和 Septuplet 数据集（用作视频去噪、视频去块和视频超分辨率）两个子集。
- 下载地址：http://toflow.csail.mit.edu/
- 论文地址：https://arxiv.org/abs/1711.09078
当前，超分辨率方法主要分为三类：基于插值的方法、基于重构的方法和基于学习的方法。特别是基于学习的方法，需要大量的数据、计算资源，以满足训练模型获取图像高频细节信息的需求。作为算力服务商，趋动云拥有高性能的计算资源，能够快速处理海量数据，为开发人员提供强大的支持。