格灵深瞳首席科学家张徳兵：如何进行上亿类的人脸识别？

格灵深瞳在过去几年中，不仅成功的将人脸识别技术，即静态/动态人脸识别，运用在我们的安防系列产品中；去年，我们更是与厦门见福便利店达成深度合作，推出了面向普通民众的VIP常客自动聚类和识别系统。

“人脸识别”在学术界已经是非常热门、且相对成熟的方向，但想要成功在工业界进行大规模应用，且利用大量数据进行继续提高的话，还会有很多困难。上亿类ID的人脸识别模型到底是怎么训练出来的呢？亿分之一的误识别率能不能做到？

昨天，格灵深瞳首席科学家张徳兵，代表格灵深瞳在VALSE2018（视觉与学习青年学者研讨会）上，就这些问题进行了精彩的分享和解析。以下，是这次分享的文字整理版。

大家好，我是格灵深瞳张德兵。今天我想跟大家分享一下工业界做人脸识别的事儿，希望能对大家有所帮助。

首先来看一下人脸识别的算法演变，从传统思路到基于CNN做softmax多分类，再到一系列的对损失函数的改进，最后又回归到了softmax（但是更深入的考虑了对特征和类中心的normalization和类间margin），这是差不多是学术界的最好方法。

这些探索很有价值，大家平时用可能也不会有什么问题，但是在工业界会有些不同。

主要的困难是：

1.工业界数据量比学术界最大的数据集还要大至少2个数量集；

2.人脸总的ID数也会有至少2-3个数量级的提高。

所以单单数据并行并不能完全解决问题，可以看到仅仅存储全连接层的参数矩阵W（包括W本身，梯度和历史梯度）就需要50G-60G显存，有下面的这些区别：

那么下面就跟大家分享一个可行的分布式的解决方案:数据并行+模型并行

假设我们有N台机器，每台M个GPU。首先是数据并行，每个GPU上去预测它自己的数据batch，得到人脸特征，然后对特征进行一个多机汇总，得到完整的F。同时，我们把参数矩阵W均匀拆分到多机不同的显卡上，比如第一个GPU负责计算每张图属于第1-10万类的概率，下一GPU负责第10万到20万类，这样依次进行。

注意到要计算概率是需要依赖其它GPU的结果的，所以需要多机多卡通信，但是通信量并不大，因为只需要每个GPU结果的部分和就好了。有了概率之后, 在每个GPU上，是可以直接写出来对自己那部分参数W和对F的梯度的，然后对所有的F梯度再进行一次多机的汇总，就可以按之前数据并行的反向过程去更新整个网络了。

数据并行+模型并行的思路优势：

1.实现相对简单，把模型的显存占用和计算量都均匀分散到了每个GPU；

2.不增加额外通信带宽(甚至降低了FC层的梯度更新所需带宽), 10G网络环境可以支持100卡以上的训练，高效支持几千万类的人脸识别（512特征), 甚至上亿类的人脸识别(128维特征)，接近线性加速；

3.支持大部分主流损失函数扩展(Margin, Normalization等等)。

最后看一下算法效果（私有测试集，供参考）。利用这种思路，在人证场景基本上可以到接近亿分之一的误识率，互联网场景一般会更简单一些。但是其实亿分之一的误识别率很多时候也还是不够的，还需要继续改进，这方面因为时间关系就不再详细说了。

如果大家有什么问题，欢迎进一步交流技术细节，也欢迎感兴趣的同学们来格灵深瞳实习。最后，给我们第二期的AI PlayGround活动做个广告。这个活动，由格灵深瞳和驭势科技联合举办，首先会有一个月的深度学习，自动驾驶和强化学习的基础知识教学；然后进行一场五子棋AI争霸赛，看你如何能够左右互搏不断提升AI的棋力；并且，UCloud云平台会全程免费提供24G显存的GPU供大家进行模型训练。这个活动也才刚刚开始，欢迎大家积极参与。谢谢大家！（全文完）

关于张徳兵最后提到的AI PlayGround活动，小编最后再作一下补充。

从下期开始（4月29日），除了固定的AI课程之外，我们还邀请了几位神秘嘉宾给大家带去他们正在研究的学术进展，或是在工作中的实际体会。他们之中，有正在斯坦福、CMU等名校深造的，也有已经在Facebook、IBM等这些大厂中工作的。而无一例外的，他们都是从格灵深瞳毕业的优秀实习生们。

格灵深瞳的实习生，有不少被斯坦福、CMU、麻省理工、哈佛和华盛顿等牛校录取的，我们以担当这些优秀年轻人成长路上一个美好的脚印为荣，如果各位应届毕业生，想出国留学的话，可以先来格灵深瞳工作几年噢！

直播课程 | 格灵深瞳AI PLAYGROUND II

4月14日-5月13日，每个周末，两节AI课程，你将：

- 在格灵深瞳算法团队的带领下，完成深度学习、强化学习、无人驾驶原理的课程学习

- 完成一个有挑战的任务：五子棋AI争霸赛

- 有机会在竞赛中脱颖而出，抱走神秘大奖

绿色通道：