Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >CVPR2020人脸防伪检测挑战赛冠亚军论文解读(上篇)

CVPR2020人脸防伪检测挑战赛冠亚军论文解读(上篇)

作者头像
AI科技评论
发布于 2020-05-15 11:49:02
发布于 2020-05-15 11:49:02
1.9K0
举报
文章被收录于专栏:AI科技评论AI科技评论

本文介绍的是CVPR2020 oral论文《Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing》,作者来自明略科技。

作者 | 明略科技

编辑 | 丛 末

在CVPR2020由中科院自动化研究所模式识别国家重点实验室主办的ChaLearnFace Anti-spoofing Attack Detection Challenge人脸防伪检测挑战赛中,由奥卢大学与明略科学院深度学习实验室等组成的团队,斩获多模态赛道冠军和单模态赛道亚军。

此次挑战赛中,奥卢大学和明略科学院团队运用的方法,主要来自于《Deep Spatial Gradient and Temporal Depth Learning for FaceAnti-spoofing(FAS-SGTD [2]), CVPR2020 (Oral)》和《Searching Central Difference Convolutional Networks for FaceAnti-spoofing(CDCN [1]), CVPR2020》两篇论文的研究成果。

这篇解读,将重点介绍《Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing(FAS-SGTD[2]), CVPR2020 (Oral)》的内容。

论文地址:https://arxiv.org/abs/2003.08061

1

导读

人脸防伪、活体检测人脸识别应用中最重要的一环,人脸防伪的方法能够抵御不法分子通过照片、面具等手段对人脸识别系统进行攻击从而牟利,是一项非常有落地实用价值的研究领域。近些年关于人脸防伪的研究切入点很多,有的从针对新的攻击方式入手[9],有的从针对Cross domain入手[9],有的通过设计新的卷积核或者损失函数来更好的捕捉伪造人脸的信息[1],有的通过重构人脸的三维结构来分析是否为真实的人脸[4]。本文从人脸深度信息提取入手,前几年这方面的工作,对时空深度信息提取方法探索的比较粗糙,基本都是ResBlock接个LSTM,虽然会一些可视化的结果,但是依然很难知道学到了什么,为什么新能会好;本文致力于从空间Spatial与时间Temporal层面来揭秘人脸防伪。

2

简介

单帧的depth regression作者团队认为还是会缺失信息,所以提出了从空间Spatial和时间Temporal层面来探索人脸防伪问题。作者团队在真实的depthlabel上实验对比真实的depth label要优于generateddepth label,并且无论是真实的depth label还是generated depth label上多帧都要优于单帧。

本文主要的贡献有:

1. 为了更好表征spatial信息,提出基于空间梯度幅值的 Residual Spatial Gradient Block (RSGB)。

2. 为了更好表征temporal信息,提出多级短长时时空传播模块 Spatio-Temporal Propagation Module (STPM)。

3. 为了让网络更好地学习到细节的spoofing patterns,提出了细粒度的监督损失:Contrastive Depth Loss (CDL) 。

4. 提出了新型数据集 Double-modal Anti-spoofingDataset (DMAD) ,第一次对 真实传感器感知的Depth 和 PRNet产生的伪Depth 作为监督信号时的性能差异进行实验分析。

我们先来看看经典的 Fig.1 和 Fig.2,形象地阐述了Living face 和 presentation attacks 的一些时空差异:

从上图经典 Sobel 算子出来的 spatial gradientmagnitude map 可见,真实人脸具有更细致可靠的空间特征。

从上图简单的 Structure from motion 简单示意图可见,帧间的micro motion能够更好地重构出有用的立体信息,而真实人脸和假脸的立体信息也是有差异的。

3

方法

下面详细介绍一下FAS-SGTD方法的各个子模块。

残差空间梯度模块 RSGB:

后面文章提交后才发现,跟 Kaiming 的这篇CVPR2019"Feature Denoising for Improving Adversarial Robustness" [8] 想法有点撞车了。不过出发点是相反的,文[8]中是为了尽量不受 Adversarial 扰动的影响,所以在 feature map level 进行 denosing 残差操作;而本文RSGB更关注局部细节信息,故在 feature map level 进行 sobel 残差操作。图4中,水平方向以及竖直方向的梯度可以由以下卷积操作导出:

其中代表depthwiseconvolution操作,x为输入的feature map。

多级短长时时空传播模块 STPM:

如上图所示,如图3所示,STSTB通过融合五种特征来提取short-term spatio-temporal信息:当前压缩特征,当前空间梯度特征,未来空间梯度特征,时间梯度特征和上一层级STSTB1-1(t)的STSTB特征。融合特征可以通过自学习/自适应的方式来提供加权的空间和时间信息。在本文中,空间和时间梯度分别通过基于Sobel的深度卷积(上文中公式)和时间特征的逐元素减法来实现。

不同于OFF [3] 的是,我们考虑到了未来帧的spatialgradient features,这对多帧活体检测任务是非常重要的,具体关于STPM的消融实验请阅读原文。

对比深度损失 CDL:

在Pixel to Pixel 的传统MSE loss基础上,加上 Local to Local 的CDL,能保证网络学到更细粒度的特征表达,公式如下:

其中和分别是预测深度和真实深度,为第i个对比深度卷积核,i∈[0,7]。欧式距离损失(EDL)只做到了逐个像素的对预测深度进行监督,而忽略相邻像素之间的深度差。然而,不同对象的距离关系对于深度学习来说也很重要。因此,如上图所示,我们提出了对比深度损失(CDL)来提供更强大的监督,这提高了基于深度防伪模型的通用性。

双模态活体检测数据集 DMAD:

这个数据集总结了多种material材质(不同电子设备的屏幕材质,纸张的材质等),且包含多帧的真实depth信息,在该数据集上的实验结果如下表所示:

实验结果可见,真实的depth map结果明显优于generateddepth map,说明depth回归的精度确实会直接影响人脸防伪的精度,本文中设计的这种能够更精准的回归面部depth的方法是有意义的。

4

实验

为了验证FAS-SGTD方法的先进性,本文在多个数据集、测试协议上进行测试,其中包括OULU-NPU,这是目前人脸防伪领域最具挑战性的数据集之一,这里面的伪造人脸非常高清,人眼都很难捕捉到线索。还包括跨数据集上的测试,数据集A上训练,B上测试,以及B上训练,A上测试;数据AB是完全不同源的。本文中的方法在各个数据集上都做到了SOTA,首先看一下FAS-SGTD在OULU-NPU上的表现如何:

上表可以看出FAS-SGTD在OULU-NPU上结果很不错,再来看下在很具挑战性的跨数据集测试协议上的实验结果:

可见FAS-SGTD在扩数据集测试上结果依然很鲁棒。

最后看一下多帧depth与单帧depth回归出来的人脸depth map的可视化结果:

图中还是能够明显看出,与单帧depth回归相比,通过多帧depth回归出来的真实人脸面部结构更清晰,伪造人脸的面部结构更稀疏。

5

总结

在DMAD数据集上的结果可以看出距离真实的depth map,性能依然有差距,说明目前的多帧depth方法依然还有提升的空间。未来会探索更优的方法并且在更大的数据集上验证效果。

Reference:

[1]Zitong Yu et al., Searching Central Difference Convolutional Networks for FaceAnti-Spoofing, CVPR2020

[2]Zezheng Wang et al., Deep Spatial Gradient and Temporal Depth Learning for FaceAnti-spoofing, CVPR2020 (Oral)

[3]Shuyang Sun et al., Optical flow guided feature: A fast and robust motionrepresentation for video action recognition, CVPR2018

[4]Yaojie Liu et al., Learning deep models for face anti-spoofing: Binary or auxiliarysupervision, CVPR2018

[5]Felix Juefei-Xu et al., Local binary convolutional neural networks, ICCV2017

[6]Shangzhen Luan et al., Gabor convolutional networks, TIP2018

[7]Yuhui Xu et al., PC-DARTS: Partial Channel Connections for Memory-EfficientDifferentiable Architecture Search, ICLR2020

[8]Cihang Xie et al., Feature Denoising for Improving Adversarial Robustness,CVPR2019

[9]Yunxiao Qin et al., Learning Meta Model for Zero- and Few-shot FaceAnti-spoofing, AAAI2020 (Spotlight)

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技评论 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
CVPR2020人脸防伪检测挑战赛冠亚军论文解读(下篇)
本文介绍的是CVPR2020 论文《Searching Central Difference Convolutional Networks for FaceAnti-spoofing》,作者来自明略科技。
AI科技评论
2020/05/15
2.1K0
CVPR2020人脸防伪检测挑战赛冠亚军论文解读(下篇)
CV学习笔记(二十八):活体检测总结②
和传统的方法结构类似,只是使用了VGG进行特征提取,通过CNN网络端到端学习anti-spoofing的表示空间
云时之间
2020/07/22
1.3K0
基于rPPG的人脸活体检测综述
五期飞跃计划开始报名,联系小编,获取你的专属算法工程师学习计划(联系小编SIGAI_NO2)
SIGAI学习与实践平台
2019/04/26
3.1K0
基于rPPG的人脸活体检测综述
活体检测新文解读:利用多帧人脸来预测更精确的深度
京东金融和中科院联合发表的“Exploiting temporal and depth information for multi-frame face anti-spoofing”[1]
SIGAI学习与实践平台
2018/12/17
1.5K1
活体检测新文解读:利用多帧人脸来预测更精确的深度
CVPR 2020 | 元学习人脸识别框架详解
本文介绍的是CVPR2020 oral论文《Learning Meta FaceRecognition in Unseen Domains(MFG[1])》,作者来自明略科技集团明略科学院与中科院自动化研究所。
AI科技评论
2020/05/25
1.2K0
CVPR 2020 | 元学习人脸识别框架详解
CVPR2020 | 已收录文章 | 开源 3D数据处理论文推荐 | 未完待续
1、论文名称:Deep SpatialGradient and Temporal Depth Learning for Face Anti-spoofing
CNNer
2020/06/19
4790
【论文推荐】了解《人脸防伪》必看的6篇论文(附打包下载地址)
“SFFAI141期来自北京邮电大学的王卓推荐的文章主要关注于计算机视觉的人脸防伪领域。”
马上科普尚尚
2022/04/11
4080
【论文推荐】了解《人脸防伪》必看的6篇论文(附打包下载地址)
今日 Paper | 协作蒸馏;攻击即防御;人脸表示;3D-CariGAN等
论文名称:Collaborative Distillation for Ultra-Resolution Universal Style Transfer
AI科技评论
2020/04/14
7390
今日 Paper | 协作蒸馏;攻击即防御;人脸表示;3D-CariGAN等
CVPR 2020 论文大盘点-人脸技术篇
本文盘点CVPR 2020 所有人脸相关论文,总计64篇,涵盖方向众多,传统方向比如人脸识别、检测等依旧是研究的重点,除此之外,人脸生成、编辑,人脸反欺骗也有众多工作,一方面是研究如何造假脸,一方面是如何识别造假。也是蛮有意思的。
CV君
2020/06/15
2K0
【AAAI2019】【CVPR2018】最新 Video-based ReID 论文核心解读---附代码
第一篇CVPR2018 [1]:先对每帧的深度特征进行空间Attention,让网络自主发现对分类任务更有帮助的人体parts;然后对每Part各自进行多帧时间Attention,让网络自动评价每帧中的parts特征的质量好坏(如下图最后一行 SK,网络关注的part=黑色小包包区域,对于第1帧,全被遮挡,质量权值为0)
SIGAI学习与实践平台
2019/01/23
1.3K0
【AAAI2019】【CVPR2018】最新 Video-based ReID 论文核心解读---附代码
人脸识别中的活体检测算法综述
判断捕捉到的人脸是真实人脸,还是伪造的人脸攻击(如:彩色纸张打印人脸图,电子设备屏幕中的人脸数字图像 以及 面具 等)
小白学视觉
2019/07/08
2.4K0
人脸识别中的活体检测算法综述
CVPR 2020 论文大盘点-动作识别篇
本文盘点所有CVPR 2020 动作识别(Action Recognition )相关论文,该方向也常被称为视频分类(Video Classification )。从后面的名字可以看出该任务就是对含人体动作的视频进行分类。
CV君
2020/07/17
2K0
CVPR 2020 论文大盘点-动作识别篇
CVPR 2018 论文解读(部分)
CVPR 2018还有3个月就开始了,目前已经公布了所有收录论文名单,为了能够让大家更深刻了解CVPR的论文,我们进行了一些CVPR 2018论文解读的整理,后续还会持续更新。
计算机视觉研究院
2018/07/25
6400
人脸识别中的活体检测算法综述
原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的。
SIGAI学习与实践平台
2018/09/19
5.4K0
人脸识别中的活体检测算法综述
多模态PCANet:一种高精度、低复杂度的鲁棒3D活体检测方案
当下正值新冠肺炎(COVID-19)肆虐全球之际,戴口罩成为了全民阻断病毒传播的最佳方式。然而在人脸部分遮挡或恶劣光照条件下,用户人脸识别或人脸认证的合法访问常常提示活体检测失败,甚至根本检测不到人脸。这是由于目前基于RGB等2D空间的主流活体检测方案未考虑光照、遮挡等干扰因素对于检测的影响,而且存在计算量大的缺点。而数迹智能团队研发的3D SmartToF活体检测方案则可以有效解决此问题。那么什么是活体检测?什么又是3D活体检测?以及怎么实现恶劣环境(如人脸遮挡、恶劣光照等)与人脸多姿态变化(如侧脸、表情等)应用场景下的活体检测呢?本文将会围绕这些问题,介绍数迹智能的最新成果——基于ToF的3D活体检测算法。
3D视觉工坊
2020/11/11
1.5K0
多模态PCANet:一种高精度、低复杂度的鲁棒3D活体检测方案
【每周CV论文推荐】 初学活体检测与伪造人脸检测必读的文章
欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
用户1508658
2019/11/15
1.3K0
【每周CV论文推荐】 初学活体检测与伪造人脸检测必读的文章
Anti-Spoofing之人脸活体检测
每周精选 Algorithm System Anti-Spoofing 之人脸活体检测 在小编之前的文章系列中曾介绍过的对抗样本攻击,是目前Deep Learning比较火热的一个研究方向,因为它掀起了关注深度学习在安全领域潜在问题的热潮。虽然活跃于学术界的对抗样本目前还未渗入到工业界中,anti-spoofing(反欺诈)仍一直是大家关注的焦点。人脸识别是大家最为熟悉的应用深度学习的例子,结合人脸识别技术的APP在市面上比比皆是,本文将简单介绍在人脸识别应用中的反欺诈技术——人脸活体检测。 人脸识别,
企鹅号小编
2018/01/29
5.3K0
计算机视觉/图像处理方向最新论文速递
【1】 Supervised and Unsupervised Detections for Multiple Object Tracking in Traffic Scenes: A Comparative Study 交通场景中多目标跟踪的有监督和无监督检测的比较研究 作者:Hui-Lee Ooi, Nicolas Saunier 备注:Accepted for ICIAR 2020 链接:https://arxiv.org/abs/2003.13644
深度学习技术前沿公众号博主
2020/05/18
1.2K0
CVPR2020之MSG-GAN:简单有效的SOTA
今天不知在哪儿、看到了说这篇MSG-GAN已被CVPR2020接收,其实去年2019年5月还是6月我就看到它了,当时试跑了一下开源的代码,印象中效果不错。今天就极简分享一下。
公众号机器学习与AI生成创作
2020/04/28
8380
CVPR2020之MSG-GAN:简单有效的SOTA
CVPR2020 | 中科院VIPL实验室7篇录取论文详解
编者按:近日,计算机视觉顶会 CVPR 2020 接收论文结果揭晓,从 6656 篇有效投稿中录取了 1470 篇论文,录取率约为 22%。中科院VIPL实验室共七篇论文录取,内容涉及弱监督语义分割、活体检测、手势识别、视觉问答、行人搜索、无监督领域自适应方法等方面,本文将予以详细介绍。
Amusi
2020/03/13
1.1K0
推荐阅读
相关推荐
CVPR2020人脸防伪检测挑战赛冠亚军论文解读(下篇)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档