图像分辨率指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做像素每英寸。一般情况下，图像分辨率越高，图像中包含的细节就越多，信息量也越大。图像分辨率分为空间分辨率和时间分辨率。通常，分辨率被表示成每一个方向上的像素数量，例如64*64的二维图像。但分辨率的高低其实并不等同于像素数量的多少，例如一个通过插值放大了5倍的图像并不表示它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节，即高频信息。 在大量的电子图像应用领域，人们经常期望得到高分辨率（简称HR）图像。但由于设备、传感器等原因，我们得到的图像往往是低分辨率图像（LR）。 增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）；另外一个增加空间分辨率的方法是增加芯片的尺寸，从而增加图像的容量。因为很难提高大容量的偶合转换率，所以这种方法一般不认为是有效的，因此，引出了图像超分辨率技术。
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。
本文整理自Bitmovin的VideoTech Deep Dive: Super-Resolution with Machine Learning博文系列，作者是Adithyan Ilangovan，介绍了超分辨率的基本概念以及相关技术。
图像和视频通常包含着大量的视觉信息，且视觉信息本身具有直观高效的描述能力，所以随着信息技术的高速发展，图像和视频的应用逐渐遍布人类社会的各个领域。近些年来，在计算机图像处理，计算机视觉和机器学习等领域中，来自工业界和学术界的许多学者和专家都持续关注着视频图像的超分辨率技术这个基础热点问题。
与领先的超分辨率深度神经网络模型相比，Adobe的超分辨率有多有效?这篇文章试图评估这一点，Adobe的超级分辨率的结果非常令人印象深刻。 超分辨率技术 超分辨率是通过提高图像的视分辨率来提高图像质量
最近有件大事，11 月 15 日，全球瞩目的经典电影《海上钢琴师》4K 修复版即将登陆全国院线。岁月侵蚀的影片经典场景，在老胶片的保存下只剩模糊的影像。而此次经 4K 技术修复的版本，据说采用了先进的图像超分辨率技术，分辨率和效果大幅度提升，磨损的视频图像恢复到当时拍电影时的真实效果，细节展现得淋漓尽致，光影清晰、细腻、赏心悦目。
怎么样才能不增加上行码率的情况下，让用户在接收端可以看到更高清的实时视频呢？
随着信息技术的高速发展和泛娱乐时代的来临， 视频应用遍布人类社会生活的方方面面，视频的内容和质量也越来越受大家关注，其中帧率、分辨率和码率是影响视频质量的最主要因素。高分辨率的视频能提供更多的细节、更清晰的画面和更好的观看体验，因此提升视频分辨率，对于提升视频质量和用户体验有很大的帮助。 超分辨率技术，是通过硬件或软件的方法提高图像或视频帧的分辨率， 通过一系列低分辨率图像获取到高分辨率图像的过程。超分辨率技术不仅可以应用在一些低分辨率的老片和手机拍摄的不清晰场景中，也可以对多次压缩的一些新电影进行恢复
自然图像合成（Natural Image Synthesis）是一类应用广泛的机器学习任务，但在不同的应用场景中都存在多种多样的设计难点。
超分辨率技术（Super Resolution），是通过硬件或软件的方法提高图像或视频帧的分辨率， 通过一系列低分辨率图像获取到高分辨率图像的过程。
作为将模糊的图像变清晰的神奇技术，图像超分辨率技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。在这篇文章中，微软亚洲研究院的研究员们为你总结了图像超分辨率问题中的主流方法、现存问题与解决方案。微软亚洲研究院在图像超分辨率领域的相关技术也已在顶级会议发表，并转化入 PowerPoint 产品中，我们将在后续文章中为大家解读。
超分辨率（Super-Resolution, SR）重建技术的基本思想是釆用信号处理的方法，在改善低分辨率（Low Resolution, LR）图像质量的同时，重建成像系统截止频率之外的信息，从而在不改变硬件设备的前提下，获取高分辨率（High Resolution, HR）的图像。
图像超分辨率（SR）是指从低分辨率（LR）图像中恢复高分辨率（HR）图像的过程，是计算机视觉和图像处理中一种重要的图像处理技术。它在现实世界中有着广泛的应用，如医学成像、监控和安全等。除了改善图像的感知质量，它还有助于改善其它计算机视觉任务。总的来说，由于单个 LR 图像通常对应多个 HR 图像，因此这个问题比较具有挑战性。以往的文献中提到了多种经典的 SR 方法，包括基于预测的方法、基于边缘的方法、统计方法、基于 patch 的方法和稀疏表征方法等。
机器之心报道 机器之心编辑部 谷歌的研究者用两种有关联的方法提升了扩散模型的图像合成质量。 自然图像合成作为一类机器学习 (ML) 任务，具有广泛的应用，也带来了许多设计挑战。例如图像超分辨率，需要训练模型将低分辨率图像转换为高分辨率图像。从修复老照片到改进医学成像系统，超分辨率有着非常重要的作用。 另一个图像合成任务是类条件图像生成，该任务训练模型以从输入类标签生成样本图像。生成的样本图像可用于提高下游模型的图像分类、分割等性能。 通常，这些图像合成任务由深度生成模型执行，例如 GAN、VAE 和自回归模
随着计算机视觉技术的不断发展，超分辨率图像生成成为一个备受关注的研究领域。在许多应用中，高分辨率图像对于提高图像质量和细节的可见性至关重要。超分辨率图像生成利用机器学习模型，通过学习低分辨率图像与其对应的高分辨率图像之间的映射关系，从而实现将模糊模糊的图像转换为清晰的高分辨率图像。
杜克大学近期的一项研究可以将高糊人脸照片转换成清晰的面部图像，而且你完全看不出来图像中的人并非真人，而是计算机生成的人脸。
本文分享一篇近期超分辨率的最新文献综述『Generative Adversarial Networks for Image Super-Resolution: A Survey』。通过对 193 篇相关文献进行全面调研，从它们的性能、优点、缺点、复杂性、挑战和潜在的研究点等进行讨论。
图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。在计算机视觉领域，图像超分辨率重建技术有可能使图像实现从检出水平(detection level)向识别水平(recognition level)的转化，或更进一步实现向细辨水平(identification level)的转化。图像超分辨率重建技术可以提高图像的识别能力和识别精度。图像超分辨率重建技术可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。[1]
超分辨率是一个不适定问题（ill-posed problem），它允许对给定的低分辨率图像做出多种预测。这一基础事实很大程度上被很多当前最优的深度学习方法所忽略，这些方法将重建和对抗损失结合起来，训练确定性映射（deterministic mapping）。
机器之心专栏 苏黎世联邦理工学院计算机视觉实验室 来自苏黎世联邦理工学院计算机视觉实验室的研究者提出了一种统一框架 HCFlow，该框架可以同时处理图像超分辨率和图像再缩放，并在通用图像超分辨率、人脸图像超分辨率和图像再缩放上等任务上取得了最佳结果。该论文已被 ICCV2021 接收。 近年来，归一化流（Normalizing Flow）模型在图像超分辨率（image SR）[SRFlow, ECCV2020]和图像再缩放（image rescaling）[IRN, ECCV2020]任务上取得了惊人的效果
虽然最近基于proposal的CNN模型在目标检测方面取得了成功，但是由于小兴趣区域(small region of interest, RoI)所包含的信息有限且失真，小目标的检测仍然比较困难。解决这一问题的一种方法是使用超分辨率(SR)技术来增强小型roi的特性。我们研究如何提高级的超分辨率特别是对小目标检测,并发现它的性能可以显著提高了(我)利用适当的高分辨率目标特性作为SR的训练监督信号模型和(2)匹配输入的相对接受训练领域对低分辨率的特性和目标高分辨率特性。我们提出了一种新颖的特征级超分辨率方法，它不仅能正确地解决这两个问题，而且可以与任何基于特征池的检测器集成。在我们的实验中，我们的方法显著提高了Faster R-CNN在清华-腾讯100K、PASCAL VOC和MS COCO三个基准上的性能。对于小目标的改进是非常大的，令人鼓舞的是，对于中、大目标的改进也不是微不足道的。因此，我们在清华-腾讯100K上取得了最新的技术水平，在PASCAL VOC和MS COCO上取得了极具竞争力的成绩。
作者简介 吴晓然，声网高级视频工程师，专注于视频编解码及相关技术研究，个人技术兴趣包括多媒体架构、深度学习。
内容一览：通过硬件或软件方法，提高原有图像的分辨率，让模糊图像秒变清晰，就是超分辨率。随着深度学习技术的发展，图像超分辨率技术在游戏、电影、医疗影像等领域的应用，也愈发广泛。
CVPR 2019 | 旷视提出超分辨率新方法Meta-SR：单一模型实现任意缩放因子
论文链接：https://arxiv.org/pdf/2202.13799.pdf
图像超分，就是要将低分辨率的图像恢复为高分辨率的图像，它在日常的图像和视频存储与浏览中都有广泛的应用，本次我们介绍基于深度学习的图像超分辨核心技术。
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上情况中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但是由于制造工艺难以大幅改进并且制造成本十分高昂，因此物理上解决图像低分辨率问题往往代价太大。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。
论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Wang_Dual_Super-Resolution_Learning_for_Semantic_Segmentation_CVPR_2020_paper.pdf
转载整理自 快手音视频技术 量子位 | 公众号 QbitAI 现在，视频超分辨率算法又迎来新突破。 一篇最新登上CVPR 2022的论文，从一种新的视角，统一了视频超分辨率中的低分辨率和高分辨率的时序建模思路。 论文提出一种新的视频超分辨率框架，以较小的计算代价，充分利用了低分辩和高分辨率下的时序互补信息，以此带来更多细节和纹理的超分辨率结果。 研究在多个公开数据集上达到了SOTA效果，也为后续的视频超分辨率研究提供了新的灵感。 文章地址：https://arxiv.org/abs/2204.07114
AI科技评论按：受到万众瞩目的ICLR已经于今天在法国土伦召开。该大会由Yann LeCun 、 Yoshua Bengio 等几位行业顶级专家于2013年发起。别看它历史不长，影响力却不小，ICLR如今已成为深度学习领域一个至关重要的学术盛事。现在，AI科技评论已经亲临ICLR2017大会，为大家从法国带来最新鲜的一手资料，让你足不出户就能感受到全球顶尖ML大牛的雄韬武略。 图像超分辨率 (Super-Resolution, SR) 是一个不确定的逆向问题，相同的一张下采样（Downsampled）图像，
选自arXiv 作者：Donghwee Yoon等 机器之心编译 编辑：蛋酱、张倩 在这篇论文中，研究者提出了 OUR-GAN，这是首个单样本（one-shot）超高分辨率（UHR）图像合成框架，能够从单个训练图像生成具有 4K 甚至更高分辨率的非重复图像。 论文链接：https://arxiv.org/pdf/2202.13799.pdf 传统生成模型通常从相对较小的图像数据集中，基于 patch 分布学习生成大型图像，这种方法很难生成视觉上连贯的图像。OUR-GAN 以低分辨率生成视觉上连贯的图像，
自从苹果公司在iPhone 4引入了视网膜屏幕的概念以来，手机的分辨率自此开始突飞猛进。当前，1920x1080甚至更高的分辨率已经成为了标配。不过当我们谈到实时音视频聊天的时候，无奈受制于上行带宽，有相当一部分用户还是只能发送码率在250kbps以下的小分辨率视频码流，这就白白浪费了用户的高清手机屏幕。
探讨了超分辨率技术在卫星图像中的应用，以及这些技术对目标检测算法性能的影响。具体来说，我们提高了卫星图像的固有分辨率，并测试我们能否以比固有分辨率更高的精度识别各种类型的车辆、飞机和船只。使用非常深的超分辨率(VDSR)框架和自定义随机森林超分辨率(RFSR)框架，我们生成了2×、4×和8×的增强级别，超过5个不同的分辨率，范围从30厘米到4.8米不等。使用本地和超解析数据，然后使用SIMRDWN对象检测框架训练几个定制的检测模型。SIMRDWN将许多流行的目标检测算法(如SSD、YOLO)组合成一个统一的框架，用于快速检测大型卫星图像中的目标。这种方法允许我们量化超分辨率技术对跨多个类和分辨率的对象检测性能的影响。我们还量化了目标检测的性能作为一个函数的本机分辨率和目标像素大小。对于我们的测试集，我们注意到性能从30 cm分辨率下的平均精度(mAP) = 0.53下降到4.8 m分辨率下的mAP = 0.11。从30厘米图像到15厘米图像的超级分辨效果最好;mAP改进了13 - 36%。对于较粗的分辨率而言，超级分辨率的好处要小一些，但仍然可以在性能上提供小的改进。
引导式超分辨率是用于多个计算机视觉任务的统一框架。它输入信息是含有某个目标物体的低分辨率源图像（例如，使用飞行时间相机获取的透视深度）和一个来自不同区域的高分辨率引导图像（例如，来自常规相机的RGB图像），目标是输出源图像的高分辨率版本（在我们的示例中为高分辨率深度图）。
【新智元导读】谷歌博客今天便忙不迭地更新，介绍他们最新的图像高清生成技术 RAISR。据悉，RAISR 生成图像的质量比当前超分辨率技术更好、时间最高快 100 倍，能够实时在移动设备上运行，还能消除低分辨率图像中的混叠伪影（aliasing artifacts）。 每天，网络被用于分享、存储无数照片，让人们能够探索世界，研究新的话题，甚至能与朋友、家人分享旅程。然而，这些照片中有许多分辨率很低，它们或受拍摄设备分辨率的限制，或被故意降低分辨率以适应手机、平板以及网速的限制。随着家庭以及移动高清播放设备的普
机器之心原创 作者：Shawn 参与：Ellen Han、黄小天、王灏 不久之前，Wenzhe Shi 等人在 arXiv 上发表了一篇名为《通过高效的子像素卷积神经网络实现实时的单一图像和视频超分辨率（Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network）》的论文，机器之心海外分析师团队从多个方面对其做了解读。 论文地址：https://arxi
编者按：每天都有数以百万计的图片在互联网上被分享、存储，用户借此探索世界，研究感兴趣的话题，或者与朋友家人分享假期照片。问题是，大量的图片要么被照相设备的像素所限制，要么在手机、平板或网络限制下被人为压缩，降低了画质。 如今高清显示屏正在家庭和移动设备上普及，因此，把低分辨率图片转化为高清版本，并可在多种设备上查看和分享，正在成为一项巨大的需求。日前，谷歌推出了一项新技术 RAISR，其全称是“Rapid and Accurate Image Super-Resolution”，意为“快速、精确的超分辨率技
今日arXiv新上论文《Deep Learning for Image Super-resolution:A Survey》，详细回顾了近年来基于深度学习的图像超分辨率（Super-resolution，SR）的方方面面，对于想要进入该领域、在该领域进一步研究、涉足该领域研发的朋友，堪称必读论文。
原文：http://ai.googleblog.com/2018/10/see-better-and-further-with-super-res.html
今天要介绍的是 Github 上一个基于深度学习的超分辨率工具--SRZoo，并且它还提供了多个预训练模型。Github 地址：
机器之心原创 作者：Angulia 参与：王灏、hustcxy、吴攀 最近，谷歌发布了一种把低分辨率图像复原为高分辨率图像的方法，参见机器之心文章《学界 | 谷歌新论文提出像素递归超分辨率：利用神经网络消灭低分辨率图像马赛克》。与最先进的方法相比，这篇论文提出了一种端到端的框架来完成超分辨率任务。它由两个卷积神经网络组成，一个是描述低分辨率图像骨架的优先网络（prior network），一个是用于优化细节特征的调节网络（conditioning network）。这种方法强调了细节特征恢复上的提升，并以
选自SNU 作者：Bee Lim等 机器之心编译 参与：Smith 图像超分辨率（SR）问题，尤其是单一图像超分辨率（SISR）问题，在近几十年中已经受到了广泛的研究关注。SISR 问题旨在从一个单一低分辨率图像中重构出一个高分辨率图像。通常情况下，低分辨率图像和原始的高分辨率图像可根据情境而产生变化。很多研究都假设低分辨率图像是高分辨率图像的降采样结果。最近，深度神经网络在 SR 问题中的峰值信噪比（PSNR）方面带来了很大的性能提升。然而，这种网络也在结构最优化原则（architecture optim
图像超分辨率是指从观测到的低分辨率图像重建出相应的高分辨率图像，这种重建不仅指令图像变得清晰锐利，同时还表示模型需要利用图像的高级语义信息重建出丢失的信息。因此这实际上是一个比较困难的任务，不过目前基于卷积神经网络或生成对抗网络的方法还是有比较好的效果。
本篇是基于 NAS 的图像超分辨率的文章，知名学术性自媒体 Paperweekly 在该文公布后迅速跟进，发表分析称「属于目前很火的 AutoML / Neural Architecture Search，论文基于弹性搜索（宏观+微观）在超分辨率问题上取得了非常好的结果。这种架构搜索在相当的 FLOPS 下生成了多个模型，结果完胜 ECCV 2018 明星模型 CARNM，这应该是截止至 2018 年可比 FLOPS 约束下的 SOTA（涵盖 ICCV 2017 和 CVPR 2018）。
一年一度的全球顶级语音大会INTERSPEECH 2020论文评选结果已经揭晓，我们的论文《Phase-aware music super-resolution using generative adversarial networks》（译为基于GAN网络的相位感知的音乐超分辨率）成功被收录其中。这是TME首次参与INTERSPEECH，本文在音乐音质修复领域取得的成果得到了全球专业评委的认可。 欢迎INTERSPEECH的各位参与者关注2020年10月29号周四20:30-21:30，我们于"Sp
看到Imagen这个字眼，那不是前阵子很火的文本图像生成圈的一个模型吗？这不，谷歌在10月份基于这个模型的基础上，发布了能够生成短视频的Imagen Video模型。
上两幅图像中上面为低分辨率模糊图像，下面大图来自几天前刚出来的超分辨率算法DPSR的结果。在我们的印象中，往往超分辨率后的图像会看起来轻微模糊，但该算法能够将模糊的低分辨率图像放大，而且更清晰。
光场相机可以记录当前场景不同视角的图像，每个视角图像的上下文信息（空间信息）与不同视角之间的互补信息（角度信息）都有助于提升图像超分辨的性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
