DeepFakes深度造假，AI换脸的技术原理是什么？

全栈程序员站长

发布于 2022-09-01 15:30:16

3K0

发布于 2022-09-01 15:30:16

文章被收录于专栏：全栈程序员必看

大家好，又见面了，我是你们的朋友全栈君。

什么是DeepFakes深度造假

DeepFakes深度造假是怎么做出来的？

行业在检测DeepFakes深度造假方面的进展

邪不胜正

什么是DeepFakes深度造假

DeepFakes深度造假实际上是一种人脸交换技术，顾名思义，也就是在图像或视频中把一张脸替换成另一张脸。事实上，人脸交换技术在电影制作领域已经不是个新鲜词了，但是之前电影视频中的人脸交换技术非常复杂，专业的视频剪辑师和CGI专家需要花费大量时间和精力才能完成视频中的人脸交换。

DeepFakes深度造假的出现可以说是人脸交换技术的一个突破。利用DeepFakes技术，你只需要一个GPU和一些训练数据，就能够制作出以假乱真的换脸视频。

这可以说是一个非常了不起的突破了，因为你只需要把上百张人物的样图输入至一个算法，就能完成人脸交换，制作出非常逼真的视频效果。就算你是个对视频剪辑一窍不通的外行，也能做到这样。

DeepFakes的出现还意味着我们可以在视频中进行大规模的“换脸”。我们大多数人都曾经把自己的照片上传到网络上，因此，我们大多数人的脸都能够轻易地被替换到一些视频中，成为视频的“主角”，凭空捏造一个人根本没有干过的事。不得不说，这是件非常可怕的事情。

DeepFakes深度造假，不仅影响企业、名人，对普通人的生活、工作也产生很大的威胁。随着技术的发展，造假的程度越来越厉害，罪犯能够改变故事背景，降低甚至扭曲我们在网上看到的信息的真实性。随着DeepFakes深度造假技术大约每六个月翻一番，如何识别DeepFakes深度造假问题变得愈发急迫。

DeepFakes深度造假是怎么做出来的？

DeepFakes深度造假视频通常使用变分自动编码器 (VAE) 和面部识别算法。图像被编码成低维表示，然后再由经过训练的VAEs解码成图像。举个例子:

有人想为超级碗 (Super Bowl) 广告制作一段明星的DeepFakes深度造假视频
技术人员使用一个自动编码器，该编码器对明星的面部图像进行训练，另一个则对各种面部图像进行训练
每个自动编码器的训练集可通过在视频上部署人脸识别算法来选择，视频可以捕捉各种姿势和光照环境
训练结束后，两个独立的编码器结合在一起，在另一个人的身体上仿制出一段带有演员面孔的真实视频

行业在检测DeepFakes深度造假方面的进展

辨识媒体操纵是一项技术挑战，需要跨行业合作。近年来，以研究为导向的倡议一直在传播，旨在自动检测DeepFakes深度造假的各种表现形式，而这些表现形式人类很难识别。

AWS、微软 (Microsoft)、脸书 (Facebook)、人工智能合作组织 (Partnership on AI) 和学者联合发起了DeepFake检测挑战赛，给全球研究人员提供100万美元的奖金，支持创新技术的开发。一共有2000多名参赛人员，共计生成了35000多个DeepFakes深度造假检测模型。

Detect Fakes（造假检测）是麻省理工学院 (MIT) 的一项研究倡议，旨在努力对抗人工智能的错误信息，并推出了一些让参与者实践，看看他们是否能从真实视频中辨别出DeepFake。

加州大学伯克利分校 (UC Berkeley) 和斯坦福大学 (Stanford) 的研究人员，发明了一种人工智能驱动的方法来检测假唱技术，通过了解人们的嘴型和说话时声音之间的不一致，可以识别80%的假唱。

微软发布了一款深度商业造假检测工具，该工具可分析视频帧，并生成一个软件可信度评分，验证视频帧是真实的还是人工智能造假的。在2020年美国大选中，这项技术派上了用场。

来自英特尔和宾厄姆顿大学的图形和图像计算实验室的研究团队开发了一种工具，该工具利用生物信号和数据来识别和分类DeepFakes深度造假，准确率高达96%。该工具基于的想法是，虽然面部视频可以合成，但是以像素颜色变化表现的细微生理信号，包括心率波动和血流等信息，这些信息是无法轻易复制的。

尽管用于识别DeepFakes深度造假的创新正在涌现，但大多处于研究或开发阶段，她们还有很长的路要走。