首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    传统算法和深度学习的结合和实践,解读与优化 deepfake

    前一段时间用于人物换脸的deepfake火爆了朋友圈,早些时候Cycle GAN就可以轻松完成换脸任务,其实换脸是计算机视觉常见的领域,比如Cycle GAN ,3dmm,以及下文引用的论文均可以使用算法实现换脸(一定程度上能模仿表情),而不需要使用PS等软件手工换脸(表情僵硬,不符合视频上下文),只能说deepfake用一个博取眼球的角度切入了换脸算法,所以一开始我并没有太过关注这方面,以为是Cycle GAN干的,后来隐约觉得不对劲,因为GAN系列确实在image to image领域有着非凡的成绩,但GAN的训练是出了名的不稳定,而且收敛时间长,某些特定的数据集时不时需要有些trick,才能保证效果。但deepfake似乎可以无痛的在各个数据集里跑,深入阅读开源代码后(https://github.com/deepfakes/faceswap),发现这东西很多值得一说的地方和优化的空间才有了这一篇文章。 本文主要包括以下几方面:   1.解读deepfake的model和预处理与后处理的算法以引用论文。(目前大多文章只是介绍了其中的神经网络,然而这个项目并不是单纯的end-to-end的输出,所以本文还会涉及其他CV的算法以及deepfake的介绍)。   2.引入肤色检测算法,提升换脸的视觉效果。

    01

    PFLD:高精度实时人脸关键点检测算法

    高精度,速度快,模型小是人脸关键点的实际使用必不可少的要求。为了同时考虑这三个问题,本文研究了一个整洁的模型,该模型在野外环境(如无约束的姿态、表情、光照和遮挡条件)和移动设备上的超实时速度下具有良好的检测精度。更具体地说,我们定制了一个与加速技术相关的端到端single stage 网络。在训练阶段,对每个样本进行旋转信息进行估计,用于几何规则的关键点定位,然后在测试阶段不涉及。在考虑几何规则化的基础上,设计了一种新的损失算法通过调整训练集中不同状态(如大姿态、极端光照和遮挡)的样本权重,来解决数据不平衡的问题。我们进行了大量的实验来证明我们的有效性,在被广泛采用的具有挑战性的基准测试中, 300W(包括iBUG, LFPW, AFW, HELEN,以及XM2VTS)和AFLW,设计并显示其优于最先进的替代品的性能。我们的模型只有2.1Mb 大小和达到140帧/张在手机上 (高通ARM 845处理器)高精度,适合大规模或实时应用。

    02
    领券