CVPR2020人脸防伪检测挑战赛冠亚军论文解读

本文介绍的是CVPR2020 oral论文《Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing》，作者来自明略科技。

作者 | 明略科技

编辑 | 丛 末

在CVPR2020由中科院自动化研究所模式识别国家重点实验室主办的ChaLearnFace Anti-spoofing Attack Detection Challenge人脸防伪检测挑战赛中，由奥卢大学与明略科学院深度学习实验室等组成的团队，斩获多模态赛道冠军和单模态赛道亚军。

此次挑战赛中，奥卢大学和明略科学院团队运用的方法，主要来自于《Deep Spatial Gradient and Temporal Depth Learning for FaceAnti-spoofing(FAS-SGTD [2]), CVPR2020 (Oral)》和《Searching Central Difference Convolutional Networks for FaceAnti-spoofing(CDCN [1]), CVPR2020》两篇论文的研究成果。

这篇解读，将重点介绍《Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing(FAS-SGTD[2]), CVPR2020 (Oral)》的内容。

论文地址：https://arxiv.org/abs/2003.08061

1

导读

人脸防伪、活体检测是人脸识别应用中最重要的一环，人脸防伪的方法能够抵御不法分子通过照片、面具等手段对人脸识别系统进行攻击从而牟利，是一项非常有落地实用价值的研究领域。近些年关于人脸防伪的研究切入点很多，有的从针对新的攻击方式入手[9]，有的从针对Cross domain入手[9]，有的通过设计新的卷积核或者损失函数来更好的捕捉伪造人脸的信息[1]，有的通过重构人脸的三维结构来分析是否为真实的人脸[4]。本文从人脸深度信息提取入手，前几年这方面的工作，对时空深度信息提取方法探索的比较粗糙，基本都是ResBlock接个LSTM，虽然会一些可视化的结果，但是依然很难知道学到了什么，为什么新能会好；本文致力于从空间Spatial与时间Temporal层面来揭秘人脸防伪。

2

简介

单帧的depth regression作者团队认为还是会缺失信息，所以提出了从空间Spatial和时间Temporal层面来探索人脸防伪问题。作者团队在真实的depthlabel上实验对比真实的depth label要优于generateddepth label，并且无论是真实的depth label还是generated depth label上多帧都要优于单帧。

本文主要的贡献有：

1. 为了更好表征spatial信息，提出基于空间梯度幅值的 Residual Spatial Gradient Block (RSGB)。

2. 为了更好表征temporal信息，提出多级短长时时空传播模块 Spatio-Temporal Propagation Module (STPM)。

3. 为了让网络更好地学习到细节的spoofing patterns，提出了细粒度的监督损失：Contrastive Depth Loss (CDL) 。

4. 提出了新型数据集 Double-modal Anti-spoofingDataset (DMAD) ，第一次对 真实传感器感知的Depth 和 PRNet产生的伪Depth 作为监督信号时的性能差异进行实验分析。

我们先来看看经典的 Fig.1 和 Fig.2，形象地阐述了Living face 和 presentation attacks 的一些时空差异：

从上图经典 Sobel 算子出来的 spatial gradientmagnitude map 可见，真实人脸具有更细致可靠的空间特征。

从上图简单的 Structure from motion 简单示意图可见，帧间的micro motion能够更好地重构出有用的立体信息，而真实人脸和假脸的立体信息也是有差异的。

3

方法

下面详细介绍一下FAS-SGTD方法的各个子模块。

残差空间梯度模块 RSGB：

后面文章提交后才发现，跟 Kaiming 的这篇CVPR2019"Feature Denoising for Improving Adversarial Robustness" [8] 想法有点撞车了。不过出发点是相反的，文[8]中是为了尽量不受 Adversarial 扰动的影响，所以在 feature map level 进行 denosing 残差操作；而本文RSGB更关注局部细节信息，故在 feature map level 进行 sobel 残差操作。图4中，水平方向以及竖直方向的梯度可以由以下卷积操作导出：

其中代表depthwiseconvolution操作，x为输入的feature map。

多级短长时时空传播模块 STPM：

如上图所示，如图3所示，STSTB通过融合五种特征来提取short-term spatio-temporal信息：当前压缩特征，当前空间梯度特征，未来空间梯度特征，时间梯度特征和上一层级STSTB1-1（t）的STSTB特征。融合特征可以通过自学习/自适应的方式来提供加权的空间和时间信息。在本文中，空间和时间梯度分别通过基于Sobel的深度卷积（上文中公式）和时间特征的逐元素减法来实现。