Python 3 利用 Dlib 实现摄像头实时人脸检测和平铺显示

1. 引言

在某些场景下，我们不仅需要进行实时人脸检测追踪，还要进行再加工；这里进行摄像头实时人脸检测，并对于实时检测的人脸进行初步提取；

单个/多个人脸检测，并依次在摄像头窗口，实时平铺显示检测到的人脸；

图 1 动态实时检测效果图

检测到的人脸矩形图像，会依次平铺显示在摄像头的左上方；

当多个人脸时候，也能够依次铺开显示；

左上角窗口的大小会根据捕获到的人脸大小实时变化；

图 2 单个/多个人脸情况下摄像头识别显示结果

2. 代码实现

主要分为三个部分：

摄像头调用，利用 OpenCv 里面的cv2.VideoCapture();

人脸检测，这里利用开源的 Dlib 框架，Dlib 中人脸检测具体可以参考 Python 3 利用 Dlib 19.7 进行人脸检测 ；

图像填充，剪切部分可以参考 Python 3 利用 Dlib 实现人脸检测和剪切；

2.1 摄像头调用

Python 中利用 OpenCv 调用摄像头的一个例子 how_to_use_camera.py :

2.2 人脸检测

利用 Dlib 正向人脸检测器，dlib.get_frontal_face_detector()；

对于本地人脸图像文件，一个利用 Dlib 进行人脸检测的例子:

face_detector_v2_use_opencv.py :

图 3 参数 d.top(), d.right(), d.left(), d.bottom() 位置坐标说明

2.3 图像裁剪

如果想访问图像的某点像素，对于 opencv 对象可以利用索引img [height] [width]：

存储像素其实是一个三维数组，先高度 height，然后宽度 width;

返回的是一个颜色数组（ 0-255，0-255，0-255 ），按照（ B, G, R ）的顺序；

比如 蓝色 就是（255，0，0），红色 是（0，0，255）;

所以要做的就是对于检测到的人脸，要依次平铺填充到摄像头显示的实时帧 img_rd 中；

所以进行图像裁剪填充这块的代码如下（注意要防止截切平铺的图像不能超出 640x480 ）:

记得要更新 faces_start_width 的坐标，达到依次平铺的效果:

图 4 平铺显示的人脸

2.4. 完整源码

faces_from_camera.py: