随着大数据人工智能技术的蓬勃发展，今天的图像分析技术早已不再是单纯的图片审核，而是基于深度学习等人工智能技术，和海量训练数据，提供综合性的图像智能服务，应用场景包含相册、信息流、社交、广告等，每天分析、处理海量图片，可以大幅提升各类产品的体验、效率。
paper: https://arxiv.org/abs/2202.13123 code:https://github.com/guanghaoyin/CVRKD-IQA
图像质量评估 (IQA) 在计算机断层扫描 (CT) 成像中极为重要，因为它有助于 辐射剂量的优化和医学成像中新算法的开发，例如 恢复。此外，由于过量的辐射会对患者造成有害影响，因此从低剂量图像生成高质量图像是医学领域的热门话题。然而，尽管峰值信噪比 (PSNR) 和结构相似性指数度量 (SSIM) 是 这些算法使用最广泛的评估指标，但它们与放射科医生对图像质量的看法的相关性已被证明是 在以前的研究中不足，因为他们根据数字像素值计算图像分数。此外 ，由于需要原始参考图像来计算这些指标 ，因此它们在实际临床环境中无效，由于辐射剂量会给患者带来风险，因此通常不可能获得原始、高质量的图像。为了克服这些限制，一些研究旨在开发一种 无参考的新颖图像质量指标，该指标与放射科医生对没有 任何参考图像的图像质量的看法密切相关 。
在图像信息技术被广泛应用的情况下，对图像质量的评估变成一个广泛而基本的问题。由于图像信息相对于其它信息有着无可比拟的优点，因此对图像信息进行合理处理成为各领域中不可或缺的手段。在图像的获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声污染等原因，不可避免地带来某些图像失真和降质，这给人们认识客观世界、研究解决问题带来很大的困难。
本文继 去雨去雾去模糊篇 、 图像增强与图像恢复篇 、图像修复Inpainting篇之后，继续盘点CVPR 2020 中底层图像处理技术中非常重要的一块：图像质量评价（Image Quality Assessment）。
图像质量和美学的量化一直是图像处理和计算机视觉的一个长期存在的问题。虽然技术质量评估涉及到测量像素级的退化，如噪声、模糊、压缩失真等，但美学评估捕获了图像中与情绪和美感相关的语义层次特征。最近，用人工标记数据训练的深层卷积神经网络(CNNs)被用来处理特定类图片的图像质量的主观性质，例如景观。但是，这些方法在其范围内是有限的，因为它们通常将图像分类为低质量和高质量两个类。我们的方法预测了评级的分布。这将导致更准确的质量预测，其与地面实况的相关性更高，适用于一般图像。 在“NIMA:神经图像评估”中，我们引入
AI 科技评论按：本文发布于 Google Research Blog，作者为 Hossein Talebi， 机器感知领域软件工程师兼 Peyman Milanfar 研究科学家。AI 科技评论做了不改动原意的编辑和修改。 美是否存在标准？在图像处理与计算机视觉领域，图像质量与美学的量化问题一直困扰着研究者们。从技术的角度来说，图片质量的评估主要与像素降级相关，比如噪声、模糊、压缩等等。而图像在美学层面的评估，则需要根据图片所传达的情感或美感所连接的语义级特征来评判。 近年来，在人类标记数据的训练下，CN
低照度图像增强只是对在低环境光环境下拍摄的图像进行增强，以提高图像视觉清晰度，如下图所示：
这次版本升级，从版本号SeetaFace2 跳过 3 、4、 5直接升级到SeetaFace6，总之就是 666 吧～
我们都知道拍摄相片容易，但是想拍摄高质量的图片却很难，它需要良好的构图和照明。此外，选择正确的镜头和优质的设备也会提高图像的质量。但是，最重要的是，拍摄高质量的图片需要良好的品味和判断力，也就是我们需要专家级的眼光。
CMR 成像质量易受呼吸运动伪影的影响。挑战赛目标是评估呼吸运动对 CMR 成像质量的影响，并检查自动分割模型在不同呼吸运动水平下的鲁棒性。心脏磁共振 (CMR) 成像是目前评估心脏结构和功能的金标准模式。基于机器学习的方法在以前的 CMR 挑战（例如 ACDC、M&Ms）中取得了显着的性能。然而，在临床实践中，模型性能受到不一致的成像环境（例如，供应商和协议）、人口变化（正常与病理病例）和意外的人类行为（例如，身体运动）的挑战。通过将训练有素的机器学习模型暴露于“压力测试”中的极端情况来调查潜在的故障模式很有用。迄今为止，模型通用性方面的现有挑战大都集中在供应商可变性和解剖结构变化上，而对人类行为的影响的探索较少。对于 CMR 采集，呼吸运动是主要问题之一。有急性症状的患者不能遵守屏气指令，导致图像质量下降和分析不准确。
眼看着2020年上半年已经所剩无几了，大家也经历了一个不一样的学期，许多即将毕业的同学和准备换工作的朋友也在开始准备秋招了。
图像质量和美学的量化一直是图像处理和计算机视觉长期存在的问题。技术质量评估测量的是图像在像素级别的损坏，例如噪声、模糊、人为压缩等等，而对艺术的评估是为了捕捉图像中的情感和美丽在语义级别的特征。
作为视觉生物，人类对视觉信号损耗(例如块状，模糊，嘈杂和传输损耗)敏感。因此，我将研究重点放在发现图像质量如何影响Web应用程序中的用户行为上。最近，一些研究测试了低质量图像在网站上的影响。康奈尔大学[4]证明了低质量的图像会对用户体验，网站转换率，人们在网站上停留多长时间以及信任/信誉产生负面影响。他们使用由LetGo.com提供的公开数据集训练的深度神经网络模型。目的是衡量图像质量对销售和感知到的信任度的影响，但是他们无法衡量图像质量对可信赖性的影响。
糖尿病视网膜病变是导致失明的主要原因之一，影响约 78% 的人，糖尿病病史为 15 年或更长时间。DR 经常导致脉管系统结构的逐渐变化并导致异常。DR 是通过目视检查视网膜眼底图像是否存在视网膜病变来诊断的，例如微动脉瘤 (MA)、视网膜内微血管异常 (IRMA)、非灌注区和新生血管。这些病变的检测对于 DR 的诊断至关重要。 已经有一些工作使用眼底图像进行 DR 诊断 。随着越来越受欢迎，OCT 血管造影 (OCTA) 能够在微血管水平上非常详细地显示视网膜和脉络膜血管系统 。特别地，扫描源 (SS)-OCTA 还允许对脉络膜脉管系统进行单独评估。已经有一些工作使用 SS-OCTA 对糖尿病视网膜病变的定性特征进行分级。此外，超宽光学相干断层扫描血管造影成像 (UW-OCTA) 模式显示典型 OCTA 未捕获的视网膜周边病理负担较高。一些作品已经在 DR 分析中使用了 UW-OCTA 。传统的DR分级诊断主要依靠眼底照相和FFA，尤其是PDR，严重危害视力健康。FA主要用于检测有无新生血管。眼底摄影很难发现早期或小的新生血管病变。FA 是一种侵入性眼底成像，不能用于过敏、怀孕或肝肾功能不佳的患者。超宽OCTA可以无创检测DR新生血管的变化，是帮助眼科医生诊断PDR的重要成像方式。但是，目前还没有能够使用 UW-OCTA 进行自动 DR 分析的作品。在DR分析过程中，首先需要对UW-OCTA的图像质量进行评估，选择成像质量较好的图像。然后进行DR分析，例如病变分割和PDR检测。因此，构建灵活、鲁棒的模型以实现图像质量自动评估、病灶分割和 PDR 检测至关重要。为了促进机器学习和深度学习算法在UW-OCTA图像自动图像质量评估、病灶分割和PDR检测中的应用，促进相应技术在DR临床诊断中的应用，提供了一个标准化的超宽（扫描源）光学相干断层扫描血管造影（UW-OCTA）数据集，用于测试各种算法的有效性。有了这个数据集，不同的算法可以测试它们的性能并与其他算法进行公平的比较，并促进相应技术在DR临床诊断中的应用，提供标准化的超宽（扫描源）光学相干断层扫描血管造影（UW-OCTA）数据集，用于测试各种算法的有效性。
VMAF是目前比较好用的质量评价模型。但是在图像/视频压缩，视频增强等领域，可能需要一定的质量评价模块作为损失函数指导网络的训练。VMAF作为不可微的质量评价模型，无法直接作为损失函数，在这样的前提下，Darren等人提出使用神经网络去模拟VMAF的分数，使得该质量评价模块可以直接应用于其他网络的训练过程当中。
大家好，有三本月出版了《深度学习之摄影图像处理：核心算法与案例精萃》，这是一本系统性讲述计算摄影核心算法的书籍，同时配套有大量实战案例。
随着智能手机和数码相机的普及，日常生活中我们拍摄的照片越来越多。然而，由于以前拍摄条件或设备性能的限制，我们有时会拍到模糊的照片存到QQ空间，这些模糊的老照片往往无法清晰地记录珍贵的时刻或重要的信息。不过，随着AI人工智能和图像处理技术的快速发展，许多免费的在线工具和软件能够帮助我们将模糊的图片或老照片转为高清修复后的图片。本文将介绍6款超级好用的模糊照片转高清的免费在线工具和软件，希望能为您提供有价值的参考。
超分辨率是从给定的低分辨率(LR)图像中恢复高分辨率(HR)图像的过程。由于较小的空间分辨率(即大小)或退化的结果(如模糊)，图像可能具有“较低的分辨率”。我们可以将HR图像和LR图像通过如下公式联系起来：LR = degradation(HR)`
这份初学者指南专为完全没接触过Stable Diffusion或任何AI图像生成器的新手设计。跟随本指南，你将了解Stable Diffusion的基本情况，并获得一些实用的入门技巧。
Playground v2和SDXL的架构和模型参数都是相同的，都是采用两个text encoder：OpenCLIP-ViT/G和CLIP-ViT/L。你可以直接使用diffusers库来使用
机器之心专栏清华大学黄高团队、快手Y-tech团队 这是一篇来自清华大学黄高团队和快手 Y-tech 团队合作的论文，该工作探究了如何在基于参考图像的生成任务中实现对于单张生成图像质量的评价。文中设计的 RISA 模型无需人工标注的训练数据，其评价结果能够与人的主观感受具有高度一致性。本工作已入选 AAAI 2022 Oral。 引言 现有的生成图像评价工作主要基于生成图像的分布对模型「整体」的生成效果进行评价。然而，一个性能优异的生成模型并不代表其合成的「任何一张」图像都具有高质量的效果。在基于参考图像（
生成对抗网络（GAN）[19] 是由一对存在竞争关系的神经网络——生成器和判别器——组成的深度神经网络架构。通过交替优化两个目标函数训练该模型，这样可以让生成器 G 学会产生与真实图像类似的样本，还能让判别器 D 学会更好地甄别真假数据。这种范式潜力巨大，因为它可以学会生成任何数据分布。这种模型已经在一些计算机视觉问题上取得了一定成果，例如文本到图像的转换 [56] 和图像到图像的转换 [24,59]、超分辨率 [31] 以及逼真的自然图像生成 [25]。
图像质量是一个属性的组合，表明一个图像如何如实地捕获原始场景。影响图像质量的因素包括亮度、对比度、锐度、噪声、色彩一致性、分辨率、色调再现等。
月石一 发自 凹非寺 量子位 报道 | 公众号 QbitAI 现在，给视频人物“喂”一段音频，他就能自己对口型了，就像这样： 原声其实是出自这里： 这是一种利用音频生成视频人物口型的新方法，出自慕尼黑工业大学Wojciech Zielonka的硕士论文。 用这种新方法对口型，只需2-3分钟就能够训练目标角色，生成的视频保留了目标角色的说话风格； 并且不受语音来源、人脸模型和表情的限制。 新方法与Neural Voice Puppetry、Wav2Lip、Wav2Lip GAN的生成效果，对比起来是这样的：
众所周知，深度学习算法已经占领很多计算机视觉任务的制高点，在图像识别等任务上的精度已然超过了人类的平均水平。然而，绝大多数深度学习算法只有在高质量的图像上才能取得高性能。实际图像采集过程中，存在各种降质因素，导致图像质量和视觉效果下降，深度学习算法的性能也随之降低。
Dall-E 3是OpenAI最新发布的AI图像生成器，近期在AI领域引起了广泛的关注。它以其卓越的能力令人瞩目，成为了人们热议的话题。相较于之前的Dall-E版本，它在连贯性和图像质量方面有了显著的提升，给人们留下了深刻的印象。
大模型正在实现语言和视觉的跨越，有望无缝地理解和生成文本和图像内容。在最近的一系列研究中，多模态特征集成不仅是一种不断发展的趋势，而且已经带来了从多模态对话到内容创建工具等关键进步。大型语言模型在文本理解和生成方面已经展现出无与伦比的能力。然而，同时生成具有连贯文本叙述的图像仍然是一个有待发展的领域。
有损压缩通过变换和量化技术证明了其在视频压缩中的效率的同时，也表明其会带来量化错误问题。为了补偿这一误差，许多研究者开发了滤波技术，比如去块滤波、样本自适应偏移以及基于维纳的滤波。更进一步的，最近的编码标准将滤波技术应用于环内也取得了图像质量实质上的提高。目前，大部分的滤波技术集中在环路内，作为预处理的滤波还没有被广泛用于有损视频压缩，尤其是最近的视频编码标准 HEVC 和 VVC 中。少部分研究者根据视频压缩标准，基于传统的信号处理技术来进行预处理以提高视频质量，这样做复杂度低但是效率有限。
随着音视频内容日趋成为主要的内容消费载体，用户们对视频清晰度、画质的要求也在不断提高，我们在这里把视频清晰度、画质都统称为视频质量，来聊一聊如何对其进行优化。
本系列的前面贴子中，我们梳理了Netflix和YouTube在ABR方面的一些进展，本文将简要介绍一下编码优化领域的一位新贵—Beamr的技术动态。 Beamr是内容自适应视频编码与优化解决方案的提供
机器之心专栏 作者：黄大伟 NeRF 方法拥有较好的渲染效果，但渲染速度极为缓慢，难以进行实时渲染。来自 UC 伯克利等机构的研究者使用一种名为 PlenOctrees 的数据结构为 NeRF 引入了一种新的数据表示，将渲染速度提升了 3000 多倍。 从稀疏的静态图像合成任意 3D 视角物体和场景新视图是很多 VR 和 AR 应用的基础。近年来神经辐射场（Neural Radiance Fields, NeRF）的神经网络渲染研究通过神经网络编码实现了真实的 3D 视角场景渲染。但是 NeRF 需要极端的
文 / Han Zhang, Research Scientist and Jing Yu Koh, Software Engineer, Google Research
对单张图像循环进行多次超分辨，图像增强，去模糊等图像处理是否合理？以及如何评价图像质量？
研究目的：目的是设计一个更复杂但实用的退化模型（包括随机混合模糊、下采样和噪声退化）；
近些年来，深度生成模型取得了巨大的进展，诞生了很多有趣的应用，然而，并非所有生成的结果都很完美。
SDXL Turbo 通过新的蒸馏技术实现了最先进的性能，能够以前所未有的质量生成单步图像，将所需的步骤数从 50 减少到仅 1。
糖尿病视网膜病变 (DR) 是糖尿病的一种常见且特有的并发症，是工作年龄人群可预防失明的主要原因之一。据估计，2020 年全球有 1.03 亿成年人患有 DR，预计 2030 年 DR 患者人数将增至 1.3 亿，2045 年将增至 1.61 亿。
classification也要训练的，和auto-encoder一起训练，介样练：
Alex 发自 凹非寺 量子位 | 公众号 QbitAI 免费开源的Stable Diffusion又被玩儿出了新花样： 这次是被拿来压缩图片。 Stable Diffusion不仅能把同一张原图缩到更小，而且表现还肉眼可见地优于JPEG和WebP。 对于同一张原图，Stable Diffusion压缩出来的图像不仅有更多细节，而且压缩伪影也变少了。 但用Stable Diffusion来压缩图的软件工程师Matthias Bühlmann（咱们就叫他MB哥吧）也指出，这种方式也有明显的局限性。 因为这不
PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）是一种衡量图像质量的指标，常用于评估压缩算法的效果。它通过比较原始图像与压缩/恢复后的图像之间的差异，来量化图像质量的损失程度。
随着移动互联网的发展，视频成为信息消费越来越重要的形式（这从国内外的YouTube、抖音的发展可见一斑），而其中用户贡献内容（UGC）往往占很大比例。
论文地址： https://arxiv.org/pdf/2003.08932.pdf
人工智能正在改变许多行业的格局，而其中改变最直观和影响最大的就是AIGC领域的图像创作。
在最近结束的2020年CVPR会议上，有很多优秀的计算机视觉研究。在本文中，我们将重点关注与移动或与边缘计算相关的任务和内容。虽然并非所有这些论文都直接接触到移动相关的应用，但它们对移动端机器学习的影响是巨大的。它们推动了通常在移动设备和边缘设备上执行的ML任务，因此它们的进步对推动行业向前发展至关重要。
opencv 3.4.4 安装：pip install opencv-python
这篇论文探讨了一个当前在图像合成领域中的核心问题：如何在保持生成图像质量的同时，减少计算资源的消耗。目前的先进扩散模型，如Stable Diffusion和DALL·E 2，虽然能够生成接近真实的高质量图像，但它们对计算资源的需求非常高，这在一定程度上限制了它们的应用范围和可达性。例如，Stable Diffusion 1.4版本的训练就耗费了150,000 GPU小时。
与领先的超分辨率深度神经网络模型相比，Adobe的超分辨率有多有效?这篇文章试图评估这一点，Adobe的超级分辨率的结果非常令人印象深刻。 超分辨率技术 超分辨率是通过提高图像的视分辨率来提高图像质量
在数码成像技术迅猛发展的当今时代，对图像质量的追求已经穿越了摄影的艺术领域，深入到了相机与手机的设计、生产和制造的每一个环节。不论是对那些致力于把握每一道光线的摄影爱好者，还是那些精益求精、追求完美产品的设计与制造专家，甚至是将摄影技术运用于机器视觉和科学研究领域的先行者们，理解和测量相机的关键特性，已经成为确保成像质量的关键所在。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
