前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >AI 黑科技,老照片修复,模糊变高清

AI 黑科技,老照片修复,模糊变高清

作者头像
Ai学习的老章
发布于 2022-04-11 12:03:17
发布于 2022-04-11 12:03:17
5.1K00
代码可运行
举报
运行总次数:0
代码可运行

兄弟们好

最近闲逛,发现腾讯开源的老照片修复算法FPGAN新出了V1.3预训练模型,手痒试了一下,满惊艳的。

我拿“自己”的旧照片试了一下,先看效果

对比:右侧为修复后

只看人脸部分

GFPGAN

https://arxiv.org/pdf/2101.04061.pdf

FPGAN算法由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收录。

研究核心利用了包含在训练好的人脸生成模型里的「知识」, 被称之为生成人脸先验 (Generative Facial Prior, GFP)。它不仅包含了丰富的五官细节, 还有人脸颜色, 此外它能够把人脸当作一个整体来对待, 能够处理头发、耳朵、面部轮廓。基于预训练好的生成模型, 研究者们提出了利用生成人脸先验 GFP 的人脸复原模型 GFP-GAN。相比于近几年其他人脸复原的工作, GFP-GAN 不仅在五官恢复上取得了更好的细节, 整体也更加自然, 同时也能够对颜色有一定的增强作用。

GFP-GAN 框架概览图

Online 试玩版

官方提供了 Online 试玩版

Huggingface (只返回人脸) https://huggingface.co/spaces/akhaliq/GFPGAN

Replicate.ai https://replicate.com/xinntao/gfpgan

Baseten.co https://app.baseten.co/applications/Q04Lz0d/operator_views/8qZG6Bg

我测试了一下,只有Replicate比较稳定。

只需将你想修复的照片拖进左边的图片框内,点击Submit即可。

比如我把自己的照片再传上去

效果不太理想,锐化有点过,貌似是因为用的V1.2的预训练模型吧。

本地运行

本地运行可以使用最新的预训练模型,修复效果更加自然,能在低质量输入的情况下,输出高质量结果。

环境要求: Python >= 3.7 (推荐使用Anaconda or Miniconda) PyTorch >= 1.7 Option: NVIDIA GPU + CUDA Option: Linux

我的系统是Ubuntu 20.04.2 LTS ,Win平台没有尝试,感兴趣的同学可以试试。

克隆项目

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone https://github.com/TencentARC/GFPGAN.git
cd GFPGAN

安装依赖

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 安装BasicSR:基于 PyTorch 的开源图像视频复原工具箱, 比如 超分辨率, 去噪, 去模糊,JPEG 压缩噪声等.
pip install basicsr

# 安装facexlib: 提供实用的人脸相关功能的集合
pip install facexlib

# 安装GFPGAN依赖包
pip install -r requirements.txt
python setup.py develop

# Real-ESRGAN:图像分辨率修复工具,可以提升照片分辨率
pip install realesrgan

注: 直接pip install basicsr,我遇到大面积的warning,后面运行时报错了

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 ImportError: cannot import name 'load_file_from_url' from 'basicsr.utils.download_util'

大家如果有相同问题,可以尝试

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 !pip install basicsr

下载V1.3预训练模型

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 
wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

模型就下载到experiments/pretrained_models目录下了

运行

终端切到GFPGAN目录下,运行:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python inference_gfpgan.py -i inputs/whole_imgs -o results -s 2

inputs目录下存放准备修复的图片,工程包里包含了部分测试图片,你也可以将自己要修复的图片放在inputs下一级的某个文件夹中。

results目录则保存处理后生成的结果图片,包含了对比图像、人脸图像、整张图像等多个子文件夹。

第一次运行时会比较慢,还会额外自动下载facexlib的模型文件;稍后片刻就能在results\cmp目录下看到修复前后的对比图片了:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-03-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习与统计学 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
腾讯老照片修复算法开源,细节到头发丝,3种预训练模型可下载 | GitHub热榜
点击上方↑↑↑“OpenCV学堂”关注我来源:公众号 量子位 授权 还记得这个能将老照片修复到纤毫毕现的GFPGAN吗? 现在,它的代码正式开源了! 官方已经在GitHub上传了3个预训练模型,3个版本的效果区别如下: 其中,V1.3是最近更新的一版,修复效果更加自然。同时还能在低质量输入的情况下,输出高质量结果。 自上线以来,GFPGAN已经在GitHub上揽星1.7w+,还曾登顶过热榜第一。 更是在推特上引起过一波试玩热潮: 这一项目由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收
OpenCV学堂
2022/03/14
1.6K0
腾讯云GPU服务器助力AI体验--GFPGAN老照片修复
是基于 GPU 的快速、稳定、弹性的计算服务,主要应用于深度学习训练/推理、图形图像处理以及科学计算等场景。 GPU 云服务器提供和标准 CVM 云服务器一致的方便快捷的管理方式。GPU 云服务器通过其强大的快速处理海量数据的计算性能,有效解放用户的计算压力,提升业务处理效率与竞争力。
用户1105449
2022/04/14
9.6K3
腾讯云GPU服务器助力AI体验--GFPGAN老照片修复
AIGC:腾讯云GPU服务器助力AI体验:GFPGAN老照片修复
是基于 GPU 的快速、稳定、弹性的计算服务,主要应用于深度学习训练/推理、图形图像处理以及科学计算等场景。 GPU 云服务器提供和标准 CVM 云服务器一致的方便快捷的管理方式。GPU 云服务器通过其强大的快速处理海量数据的计算性能,有效解放用户的计算压力,提升业务处理效率与竞争力。
Freedom123
2024/03/29
3640
AIGC:腾讯云GPU服务器助力AI体验:GFPGAN老照片修复
腾讯老照片修复算法开源,细节到头发丝,3种预训练模型可下载 | GitHub热榜
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 还记得这个能将老照片修复到纤毫毕现的GFPGAN吗? 现在,它的代码正式开源了! 官方已经在GitHub上传了3个预训练模型,3个版本的效果区别如下: 其中,V1.3是最近更新的一版,修复效果更加自然。同时还能在低质量输入的情况下,输出高质量结果。 自上线以来,GFPGAN已经在GitHub上揽星1.7w+,还曾登顶过热榜第一。 更是在推特上引起过一波试玩热潮: 这一项目由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收录。 3种预训
量子位
2022/03/14
2.4K0
腾讯老照片修复算法开源,细节到头发丝,3种预训练模型可下载 | GitHub热榜
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 还记得这个能将老照片修复到纤毫毕现的GFPGAN吗? 现在,它的代码正式开源了! 官方已经在GitHub上传了3个预训练模型,3个版本的效果区别如下: 其中,V1.3是最近更新的一版,修复效果更加自然。同时还能在低质量输入的情况下,输出高质量结果。 自上线以来,GFPGAN已经在GitHub上揽星1.7w+,还曾登顶过热榜第一。 更是在推特上引起过一波试玩热潮: 这一项目由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收录。 3种预训
博文视点Broadview
2022/03/17
8370
CVPR2021 | 五官复原效果惊艳,腾讯ARC利用GAN人脸先验来解决
真实世界的人脸复原是一个盲问题,即我们不清楚降质过程, 在实际应用中,同时也面临着各种各样降质过程的挑战。对于人脸这个特定的任务, 之前的工作往往会探索人脸特定的先验, 并且取得了较好的效果。常见的人脸先验有两类:
公众号机器学习与AI生成创作
2021/04/19
1.4K0
CVPR2021 | 五官复原效果惊艳,腾讯ARC利用GAN人脸先验来解决
图像超分——Real-ESRGAN快速上手
想必每个自媒体行业从业者都面临过这样一种情况:从网络上找到一张素材做封面,然而素材图片往往太模糊。那么,有没有办法对其进行高清修复呢?这就是计算机视觉领域的子领域图像超分所研究的主要问题。
zstar
2022/09/19
3.6K0
基于 Wav2Lip-GFPGAN 深度学习模型 数字人Demo
对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是对内心的恐惧 ——赫尔曼·黑塞《德米安》
山河已无恙
2023/08/21
1.6K0
基于 Wav2Lip-GFPGAN 深度学习模型 数字人Demo
男神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一,Demo在线可玩
而以上这些效果,无需专业PS技能,只用一个网页端的Demo、点点鼠标上传图片就能搞定!
深度学习技术前沿公众号博主
2021/12/29
1.2K0
男神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一,Demo在线可玩
CVPR2021 | 五官复原效果惊艳, 腾讯ARC利用GAN人脸先验来解决
机器之心发布 机器之心编辑部 人脸复原 (Face Restoration) 是指从低质量的人脸中复原得到高清的人脸。真实世界中的人脸复原是一个很有挑战的任务,因为降质 (degradation) 过程复杂且不尽相同。来自腾讯 PCG 应用研究中心 (ARC) 的研究者们提出了利用预先训练好的人脸生成模型提供的先验,来指导人脸复原的任务。 真实世界的人脸复原是一个盲问题,即我们不清楚降质过程, 在实际应用中,同时也面临着各种各样降质过程的挑战。对于人脸这个特定的任务, 之前的工作往往会探索人脸特定的先验,
机器之心
2023/03/29
4250
CVPR2021 | 五官复原效果惊艳, 腾讯ARC利用GAN人脸先验来解决
超分辨率开源库 GitHub 热门项目分享
随着图像和视频数据量的急剧增加,以及人们对高质量图像需求的不断提升,超分辨率技术也在不断发展,以满足实际应用的需求。本文将分享一些相关的开源库和数据集,希望能够帮助该领域的研究人员推进研究和应用。
CV君
2024/06/27
1.6K0
超分辨率开源库 GitHub 热门项目分享
奥巴马完变白种人?师承汤晓鸥教授,GFP-GAN达到盲人脸修复新里程碑!
盲人脸修复(blind face restoration)是从低质量的人脸中恢复出高质量人脸的过程。这些质量较低的肖像图可能由各种原因导致退化,如低分辨率,噪音,模糊或是被压缩。
新智元
2021/09/17
5420
使用 Docker 来运行 HuggingFace 海量模型
本篇文章将分享如何通过 Docker 来在本地快速运行 Hugging Face 上的有趣模型。用比原项目更少的代码,和更短的时间成本将模型跑起来。
soulteary
2022/05/28
2.1K0
使用 Docker 来运行 HuggingFace 海量模型
CVPR最有趣论文 | 再模糊的照片AI都可以可以恢复
计算机视觉研究院专栏 作者:Edison_G 生活中,我们都会遇到图片模糊状态下,很早之前我们是不可能恢复;之后通过PS进行修复,也会有畸形或者差异的表现;但是,现在AI可以准确完整的恢复出blind face。 欢迎关注“ 计算机视觉研究院 ” 一、简要 Blind face通常依赖于facial priors,如facial geometry prior或reference prior,来恢复现实和真实的细节。然而,当高质量的参考无法访问时,非常低质量的输入不能提供精确的几何先验,这限制了在现实场
计算机视觉研究院
2022/03/14
9840
解锁AI创造力:Replicate平台的顶尖AI项目!
Replicate 是一个提供优秀 AI 模型和工具的平台,旨在帮助用户实现各种人工智能任务。该平台汇集了来自各个领域的顶尖模型,涵盖了文本到图像生成、语言模型、图像编辑、超分辨率等多个领域。用户可以通过 Replicate 平台来探索这些优秀的项目,并应用于自己的工作和研究中。
程序那些事儿
2023/09/09
1.7K0
解锁AI创造力:Replicate平台的顶尖AI项目!
马赛克,克星,真来了!
而以上这些效果,无需专业PS技能,只用一个网页端的Demo、点点鼠标上传图片就能搞定!
用户8544541
2022/03/24
1.1K0
马赛克,克星,真来了!
高级 AI 图像处理:打造高清视觉盛宴 | 开源专题 No.85
GFPGAN 是一个面向实际应用的人脸修复算法。它利用预训练的面部 GAN (如 StyleGAN2) 中包含的丰富多样化先验知识进行盲目人脸修复。该项目具有以下核心优势和特点:
小柒
2024/05/31
2030
高级 AI 图像处理:打造高清视觉盛宴 | 开源专题 No.85
Stable Diffusion 硬核生存指南:WebUI 中的 GFPGAN
本篇文章聊聊 Stable Diffusion WebUI 中的核心组件,强壮的人脸图像面部画面修复模型 GFPGAN 相关的事情。
soulteary
2023/08/05
1K0
Stable Diffusion 硬核生存指南:WebUI 中的 GFPGAN
开源大模型Codeformer实践指南——基于丹摩平台实现老旧照片修复
CodeFormer是一款利用深度学习技术,特别是人脸复原模型,实现高质量面部图像修复和增强的AI软件。此外,它还能处理视频中的各种问题,如模糊、抖动、颜色失真等,从而提供更清晰、更稳定的视频观看体验。
中杯可乐多加冰
2024/10/03
1.2K0
Stable Diffusion 硬核生存指南:WebUI 中的 GFPGAN
本篇文章聊聊 Stable Diffusion WebUI 中的核心组件,强壮的人脸图像面部画面修复模型 GFPGAN 相关的事情。
soulteary
2023/09/04
1.1K0
Stable Diffusion 硬核生存指南:WebUI 中的 GFPGAN
推荐阅读
相关推荐
腾讯老照片修复算法开源,细节到头发丝,3种预训练模型可下载 | GitHub热榜
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验