12.YOLO系列算法详解

这篇主要是介绍一下YOLO系列算法。

1. YOLOV1。

这是YOLO系列的第一篇，文章发表在CVPR2016上，论文链接:YOLOV1. 摘要指出了文章的主要创新之处：把分类问题转换为回归问题，使用一个卷积神经网络就可以直接预测物体的bounding box和类别概率。 算法的优点有很多：

1. 速度快，Titan X: 45fps。加速版则能达到150fps。
2. 基于全局信息检测而不是生成region proposal的方法，可以将背景误检率降低一半（把背景识别成物体）。
3. 泛化能力较强，在艺术作品上有较好的结果。 下面是作者论文中给的图：

可以看出，这是一个end-to-end的框架。

1.1 检测框架。

整个框架把输入图像分成s * s个grid,然后每一个格子预测B个bounding box，每个bounding box包含五个预测参数：x,y,w,h（都是归一化之后的），以及confidence。另外每个格子都预测C个假定类别的概率。 论文中，S=7,B=2,C=20(VOC 的20个类别)，所以最后一共有77(2*5+20) 维度的tensor，看这个图就很明白了。

confidence的计算公式：

\Pr(Object)\ast IOU_ {pred}^{truth}\

每个bounding box都有一个对应的confidence score,如果当前的gird cell中不包含object的话，这个confidence就应该是0，如果有的话，这个confidence score就等于预测的box与ground truth的IOU值。那么如何判断一个grid cell中是否包含object呢？作者是这么做的：如果一个object的ground truth的中心店坐标落入一个grid cell中，那么这个grid cell就包含这个object，这个object的预测就由这个grid cell负责（也就是说每一个grid只能预测一个物体，那么对于分布密集的物体，就极有可能造成漏检，因为密集的物体可能会有多个物体的中心落在同一个grid之中。），每个grid cell都要预测C个类别概率。表示当前的gird cell 在包含某个object的条件下属于某个类别的概率，文章中是这样说的：

这个C个概率是对应于gird cell的，在预测的时候，需要得到bounding box的类别概率:

\ Pr(Class_{i}|Object)\ast IOU_{pred}^{truth}=Pr(Class_{i}\ast IOU_{pred}^{truth}) \

这个乘法具体是如何做的？下面这个图显示的很清楚：

对于每一个bounding box来说，用它的confidence来乘上当前grid cell里每个类别的概率。对于文中来说，每一个gird取2个bounding box，那么就会有

\ 20\ast(7\ast7\ast2)=20\ast98 \

的一个矩阵，矩阵的行数代表类别数，列数带别bounding box的数量,如下图：

在每一行中，将得分少于阈值（0.2）的置零。然后再按照得分从高到低排序然后使用NMS算法去掉重复率交大的bounding box（NMS: 针对某一个类别，选择得分最大的bounding box,然后计算它与其他bounding box的IOU值，如果IOU大于0.5，则说明重复率交大，将该得分设置为0，否则不做处理，重复完之后，然后从未处理的bounding box中选取一个得分最高的，重复上述步骤）。下面这个图很好的说明了YOLO中NMS是如何做的：

1.2. 网络设计。

YOLOv1包含24个卷积层以及两个全连接层，网络的最后输出是7730的tensor，这个tensor就对应着

\ 7\ast7 \

个grid cell的predictions.

1.3. 训练。

该论文的训练策略，总体给人的感觉：比较复杂，技巧性比较强。可以看得出作者为了提升性能花了不少功夫。

• 首先利用 ImageNet 的数据集 Pretrain 卷积层。使用上述网络中的前 20 个卷积层，外加一个全连接层，作为Pretrain 的网络，训练大约一周的时间，使得在 ImageNet 2012 的验证数据集 Top-5 的准确度达到88%，这个结果跟 GoogleNet 的效果相当。
• 将 Pretrain 的结果应用到 Detection 中，将剩下的 4 个卷积层及 2 个全连接成加入到 Pretrain的网络中。同时为了获取更精细化的结果，将输入图像的分辨率由

\ 224 \ast224 \

提升到

\ 448\ast 448\

。

• 将所有的预测结果都归一化到 0~1, 使用 Leaky RELU 作为激活函数。 这个函数长这样：

y = \left\{ \begin{array}{ll} x & \textrm{if $x>0$}\\ 0.1x & \textrm{otherwise} \end{array} \right.

• 对比 localization error 和 classification error，加大 localization 的权重
• 在 Pascal VOC 2007 和 2012 上训练 135 个 epochs， Batchsize 设置为 64， Momentum为 0.9， Decay 为 0.0005.
• 在第一个 epoch 中 学习率是逐渐从10−3增大到10−2，然后保持学习率为10−2，一直训练到 75个epochs，然后学习率为10−3训练 30 个 epochs，最后 学习率为10−4训练 30 个 epochs。
• 为了防止过拟合，在第一个全连接层后面接了一个ratio=0.5的 Dropout层。并且对原始图像做了一些随机采样和缩放，甚至对调节图像的在 HSV 空间的饱和度。

训练此段原文：https://blog.csdn.net/u011956147/article/details/73013106

1.4.损失函数设计。

为了简单以及优化方便，文中所有的损失都采取平方损失来计算：

简单解释一下：第一行是中心位置误差，第二行是宽和高的预测误差，宽和高要开根号的原因是因为相同的宽和高的误差在小目标来说实际上损失是更大的。所以采取这样的开根号然后再平方的方式（比如:

(10,20)-(8,22)=(2,-2)

和

(3,5)-(1,7)=(2,-2)

这两者的误差如果是按照不开方来算的话适应的，但是实际上小目标的误差实际上是更大的，所以开了一个平方，至于为什么开平方，那么看一下

y=\sqrt {x}

函数的图像就知道了)，第三四行代表的是boundingbox的confidence损失，分成包含object和不包含object的情况。第五行是分类误差，分类误差是只有当当前grid包含object的时候才计算该项。 关于

\lambda

的取值，文章中解释的比较清楚：

主要的意思就是，需要把包含目标的和不包含目标的grid cell区分计算，这样更合理。 我看到一张图把整个损失函数解释得更清楚：

图片.png

未完待续