OpenCV和SVM分类器在自动驾驶中的车辆检测

这次文章的车辆检测在车辆感知模块中是非常重要的功能，本节课我们的目标如下：

在标记的图像训练集上进行面向梯度的直方图（HOG）特征提取并训练分类器线性SVM分类器

应用颜色转换，并将分箱的颜色特征以及颜色的直方图添加到HOG特征矢量中

对于上面两个步骤，不要忘记标准化您的功能，并随机选择一个用于训练和测试的选项

实施滑动窗口技术，并使用您训练的分类器搜索图像中的车辆

在视频流上运行流水线（从test_video.mp4开始，稍后在完整的project_video.mp4中实现），并逐帧创建循环检测的热图，以拒绝异常值并跟踪检测到的车辆

估算检测到的车辆的边界框

定向梯度直方图（HOG）

定向梯度直方图（HOG）是计算机视觉和图像处理中用于目标检测的特征描述符。该技术计算图像的局部部分中梯度定向的发生。这种方法类似于边缘方向直方图，尺度不变特征变换描述符和形状上下文，但不同之处在于它是在均匀间隔的单元的密集网格上计算的，并使用重叠的局部对比度归一化来提高准确性。

从训练图像中提取HOG特征

此步骤的代码包含在方法“get_hog_features”中的文件vehicle_detection.py中

我开始阅读所有的车辆和非车辆图像。这里是每一个中的一个的一个例子vehicle和non-vehicle类：

然后我探索不同的色彩空间和不同的skimage.hog()参数（orientations，pixels_per_cell，和cells_per_block）。我从两个类的每一个中抓取随机图像，并显示它们，以感受skimage.hog()输出的样子。使用后的图像以不同的对比度和光度多次试验，它的工作最好使用YCrCb相结合的色彩空间与HOG提取的特征orientations=9，pixels_per_cell=(8, 8)和cells_per_block=(2, 2)。

这是一个使用YCrCb色彩空间和HOG参数的例子orientations=9，pixels_per_cell=(8, 8)并且cells_per_block=(2, 2)：

提取颜色特征的空间分级

为了使算法在识别汽车时更加稳健，HOG特征还增加了一种新的特征。除非你确切地知道你的目标对象是什么样子，否则模板匹配不是一个特别可靠的寻找车辆的方法。但是，原始像素值在搜索汽车中包含在您的特征向量中仍然非常有用。

虽然包含全分辨率图像的三个颜色通道可能很麻烦，但是我们可以对图像执行空间分级，并且仍然保留足够的信息来帮助查找车辆。

正如你在下面的例子中看到的那样，即使一路下降到32×32像素分辨率，汽车本身仍然可以被眼睛清楚地识别，这意味着相关特征仍然保留在这个分辨率下。

OpenCV的cv2.resize（）是一个方便的缩小图像分辨率的函数。

提取颜色特征的直方图

在这个项目中使用的另一个技术，使更多的功能是颜色强度的直方图，如下图所示。

并执行如下所示：

合并和规范化的功能

现在我们的工具箱中已经有了几个特征提取方法，我们几乎已经准备好对分类器进行训练了，但是首先，就像在任何机器学习应用程序中一样，我们需要规范化数据。Python的sklearn包为您提供了StandardScaler（）方法来完成这个任务。要详细了解如何使用StandardScaler（）方法选择不同的标准化，请后台留言查阅文档。

将单个图像的所有不同特征组合为一组特征：

规范化是需要避免一些功能类型更重要的其他：

使用规范化的功能来训练分类器

我使用2类图像车辆和非车辆图像训练了一个线性支持向量机。首先加载图像，然后提取归一化的特征，并在2个数据集中训练（80％）和测试（20％）中的混洗和分裂。在使用StandardScaler（）训练分类器之前，将特征缩放到零均值和单位方差。源代码可以在vechicle_detection.py中找到

整个数据集（列车+测试）在车辆和非车辆之间均匀分布有17.767个项目。训练完成后，train.p被保存在子文件夹列中的磁盘上，供以后重新使用。训练好的线性支持向量机分类器在测试数据集上的准确性相当高〜0.989

滑动窗口搜索

我决定使用重叠的滑动窗口搜索来搜索图像下部的车辆。只需要搜索下面的部分，以避免搜索天空中的车辆，并使算法更快。窗口大小为64像素，每个单元8个单元和8个像素。在每张幻灯片窗户移动2个单元向右或向下。为了避免每个窗口反复提取特征，搜索速度更快，特征提取只进行一次，滑动窗口只使用该部分图像。如果窗户在长短途容纳所有车辆时具有不同的比例尺，则检测也可以更加稳健。

该实现可以在vehicle_detection.py中找到：

从图中可以看出，2辆车正确检测到，但也有一些误报。

为了避免误报，使用热图。点击地图加窗，重叠的窗口有更高的价值。超过一定的阈值的值保持为真正的正值。

要从热图找到最终的框，使用标签功能。

管道处理一个图像

这是测试图像之一的流水线的结果：

管道处理一个视频

process_image(image, plot=False)在视频处理中使用了用于处理一个图像的相同流水线。每个帧都从视频中提取，由图像管道处理，并使用VideoFileClip和ffmpeg合并到最终的视频中

后台留言回复可以查看视频结果及所有源代码。

结论

当前使用SVM分类器的实现对于测试的图像和视频来说工作良好，这主要是因为图像和视频被记录在类似的环境中。用一个非常不同的环境测试这个分类器不会有类似的好结果。使用深度学习和卷积神经网络的更健壮的分类器将更好地推广到未知数据。

当前实现的另一个问题是在视频处理流水线中不考虑后续帧。保持连续帧之间的热图将更好地丢弃误报。

目前的实施还有一个更大的改进是多尺寸滑动窗口，这将更好地概括查找短距离和长距离的车辆。