首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >深度伪造 >扩散模型如何用于深度伪造视频生成?

扩散模型如何用于深度伪造视频生成?

词条归属:深度伪造

1. 逐步去噪生成目标内容

扩散模型(Diffusion Model)是近年更高保真合成的主流技术。它通过在前向过程中逐步向数据添加噪声、在反向过程中逐步去噪的方式,学习从噪声中重建出目标图像或视频。在深度伪造中,模型以驱动视频、音频轨道或文本提示为条件,迭代去噪生成目标输出。

2. 覆盖换脸之外的更多伪造形态

相比早期以 GAN 为主的人脸替换,扩散模型被越来越多地用于全身视频生成、唇形同步配音、语音克隆等更复杂的伪造任务。它能够在保持时间连贯性的同时生成自然的动态效果与细腻的细节呈现。

3. 降低可检测的边界伪影

扩散模型通常比早期 GAN 换脸产生更少的边界伪影和时间闪烁,这也是当前深度伪造视频更难被肉眼和算法识别的重要原因之一,直接推动了检测与水印等对抗手段成为研究热点。

相关文章
GEODIFF:用于分子构象生成的几何扩散模型
本文介绍一篇ICLR 2022在审论文《GEODIFF:A GEOMETRIC DIFFUSION MODEL FOR MOLECULAR CONFORMATION GENERATION》。根据分子图来预测分子构象是化学信息学和药物发现中的一项基础工作。随着深度生成模型的兴起,这一工作取得重大进展。在这篇论文中,作者提出了新的生成模型GEODIFF。受热力学粒子扩散模型的启发,GEODIFF将每个原子当作一个粒子,GEODIFF所需要学习的部分——分子构象生成即扩散模型的逆过程。对比最先进的一些生成模型,GEODIFF在多个基准上展示出其竞争力,对于大分子尤其明显。
DrugOne
2021-11-15
1.5K0
[Arxiv 2022 | 论文简读] 用于三维形状生成的隐点云扩散模型
LION: Latent Point Diffusion Models for 3D Shape Generation
智能生信
2022-12-29
1.9K0
重磅!谷歌用扩散模型来生成视频了!刷新SOTA
前有OpenAI用它打败霸榜多年的GAN,现在谷歌又紧随其后,提出了一个视频扩散模型。
Amusi
2022-04-18
9170
CVPR 2024 | 风格迁移和人像生成汇总!扩散模型diffusion用于经典AIGC方向
基于文本到图像扩散模型在迁移参考风格方面具有巨大潜力。然而,当前基于编码器的方法在迁移风格时显著损害了文本到图像模型的文本可控性。本文提出DEADiff来解决这个问题,采用以下两种策略:1)一种解耦参考图像的风格和语义的机制。解耦后的特征表示首先由不同文本描述指导的Q-Formers提取。然后,它们被注入到交叉注意力层的相互排除的子集中,以实现更好的分解。2)一种非重构学习方法。Q-Formers使用成对图像而不是相同的目标进行训练,其中参考图像和真实图像具有相同的风格或语义。
公众号机器学习与AI生成创作
2024-04-12
3.6K0
混元视频生成技术:基于扩散模型的文生视频与多场景应用
混元视频生成技术由王红法主导研发,基于扩散模型构建完整技术体系,针对文生视频领域数据稀缺、语义对齐难、画质待提升的三大瓶颈,分别通过强化时空建模、优化语义模型与语料、采用图视一体+生成式超分技术解决。该技术形成文生视频、图生视频等4大核心能力及风格化、跳舞视频等X种玩法,支持1k~4k分辨率生成,已被人民日报两会宣传片《江山如此多娇》采用,验证了其在官方宣传场景的可用性,且技术架构具备良好的迭代扩展能力,可适配更多垂直场景需求。
IT资讯研究所
2026-05-31
5930
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券