首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >深度伪造 >自监督学习如何提升深度伪造检测的泛化能力?

自监督学习如何提升深度伪造检测的泛化能力?

词条归属:深度伪造

1. 摆脱对标注伪造样本的依赖

传统监督学习依赖大量标注的真实/伪造数据集,容易对特定伪造技术过拟合,面对从未见过的新伪造方法时准确率大幅下降。自监督学习仅用真实视频训练,不接触实际深度伪造样本,因此对新伪造技术更鲁棒。

2. 学习自然的生理运动规律

以自监督音视频方法为例,模型在大量真实视频上预训练,学习从音频预测对应的自然面部运动参数(如 FLAME 模型用 53 个参数表示面部表情)。检测时比对视频中实际面部运动与音频预测的运动,显著偏差即为伪造迹象。

3. 兼顾鲁棒性与高检出率

自监督方法在多个基准数据集上实现了超过 95% 的平均检测准确率,并在面对新型视频生成模型伪造的内容时仍保持较高检出率,克服了早期自监督方法准确率偏低的短板。

4. 对抗压缩与噪声干扰

基于面部运动分析的自监督方法对图像压缩、噪声等失真更具鲁棒性,但通常需要大规模预训练和较强算力,目前尚不适用于实时场景。

相关文章
深度学习与统计力学(V) :深度学习的泛化能力
为什么深度学习在实践中通常能获得较好的泛化能力?现实数据集包含内在的简单结构,过度参数化的深层神经网络趋向于首先学习这种简单结构。
数据酷客
2020-04-29
1.1K0
【AI初识境】如何增加深度学习模型的泛化能力
机器学习方法训练出来一个模型,希望它不仅仅是对于已知的数据(训练集)性能表现良好,对于未知的数据(测试集)也应该表现良好,也就是具有良好的generalization能力,这就是泛化能力。测试集的误差,也被称为泛化误差。
用户1508658
2019-07-26
4.4K0
一文浅谈深度学习泛化能力
论文主要探讨的是, 为什么过参数的神经网络模型还能有不错的泛化性?即并不是简单记忆训练集,而是从训练集中总结出一个通用的规律,从而可以适配于测试集(泛化能力)。
算法进阶
2022-06-02
7800
如何理解机器学习中的泛化能力?
百度百科这样解释:是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。
派大星的数据屋
2022-04-02
3.6K0
学习泛化能力:用于领域泛化的元学习
域偏移(Domain shift)是指在一个源域中训练的模型在应用于具有不同统计量的目标域时表现不佳的问题。领域泛化(Domain Generalization, DG)技术试图通过产生模型来缓解这一问题,通过设计将模型很好地推广到新的测试领域。提出了一种新的域泛化元学习方法。我们没有像以前的DG工作那样设计一个对域移位具有鲁棒性的特定模型,而是提出了DG的模型不可知论训练过程。我们的算法通过在每个小批中合成虚拟测试域来模拟训练过程中的训练/测试域偏移。元优化目标要求模型改进训练域性能的步骤也应该改进测试域性能。这一元学习过程训练模型具有良好的泛化能力的新领域。我们在最近的跨域图像分类基准上评估了我们的方法和达到的最先进的结果,并在两个经典的增强学习任务上展示了它的潜力。
智能生信
2021-03-19
5.1K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券