在RetinaNet之前，目标检测领域一个普遍的现象就是two-stage的方法有更高的准确率，但是耗时也更严重，比如经典的Faster R-CNN，R-FCN，FPN等，而one-stage的方法效率更高，但是准确性要差一些，比如经典的YOLOv2，YOLOv3和SSD。这是两类方法本质上的思想不同带来这个普遍的结果，而RetinaNet的出现，在一定程度上改善了这个问题，让one-stage的方法具备了比two-stage方法更高的准确性，而且耗时更低。RetinaNet的论文是《Focal Loss for Dense Object Detection》。

RetinaNet原理

设计理念

two-stage方法会分两步完成目标检测，首先生产区域建议框，然后在对框做分类判别和回归矫正，而one-stage方法只有一步就完成了分类判别和bbox的回归。也就是因为这个不同，造成了上面的特点，首先耗时很好理解，因为two-stage有两步，而第二步的子网络要多次的重复输出，所以它不可避免的慢。那么造成two-stage效果好，one-stage效果偏差的本质原因是什么呢？

是因为anchor box后正负样本的严重不平衡问题导致的，我们举个例子说明有多不平衡，YOLOv2的anchor有845个，SSD的anchor有8732个，更多的anchor提供了更多的假设，对模型的召回率（尤其是小目标）有比较大的意义，但是一张正常的自然图像上，不会有这么多的目标的，这就势必会造成后续任务中的样本不平衡问题，而且由于是one-stage的，更多的anchor带来的好处和更严重的样本不平衡的矛盾没办法在结构上解决。

那么为什么two-stage方法不收影响呢？two-stage方法也有很多甚至更多的anchor啊，比如FPN有200k个，这和YOLOv2的8k个都不是一个量级了。因为是two-stage的结构，所以区域建议框可以选，想怎么选就怎么选，FPN在三个方面消除正负样本严重失衡的问题：

FPN会选择与Ground turth的IOU>0.7的做正样本，与Ground turth的IOU<0.3的做负样本，这拉大正负样本间的差异；
FPN的RPN最后的输出会控制在1000-2000个之间，控制样本数量；
FPN组合每一次用于训练的minibatch，正负样本比例为1:3。

而就是因为one-stage的结构没办法二次筛选样本，那能不能总别的地方改进，进而减小这个影响。这个地方就是损失函数，因为样本的平衡与否，最终要影响要落下损失和优化上。所以RetinaNet提出了Focal loss，解决了正负样本区域极不平衡时目标检测loss易被大批量负样本所左右的问题。

Focal loss

Focal Loss是一种改进的交叉熵损失，一般情况下交叉熵损失在二分类时长这样：

CE(p,y)=-[ylog(p)+(1-y)log(1-p)]

换一种形式，就变成这样：

CE(p,y)=\left\{\begin{matrix} -log(p) &if (y=1) \\ -log(1-p) & otherwise \end{matrix}\right.

定义p_{t} ：

p_{t}=\left\{\begin{matrix} p &if (y=1) \\ 1-p & otherwise \end{matrix}\right.

那么CE(p,y)=CE(p_{t})=-log(p_{t}) 。平衡交叉熵损失的一般做法是为正例引入一个因子\alpha\in[0,1] ，那么对应的，负例的因子就是1-\alpha 。这里需要注意一下，文中提到了定义因子\alpha_{t} 的方式和定义p_{t} 是相似的，也就说是：

\alpha_{t}=\left\{\begin{matrix} \alpha &if (y=1) \\ 1-\alpha & otherwise \end{matrix}\right.

有了这个\alpha_{t} 之后，平衡交叉熵损失才可以写为：

CE(p_{t})=-\alpha_{t}log(p_{t})

这个公式展开之后其实是这样的：

CE(p,y)=-\left\{\begin{matrix} \alpha log(p) &if (y=1) \\ (1-\alpha)log(1-p) & otherwise \end{matrix}\right.

但是\alpha 是个固定的系数，它没办法去区分哪些样本难，哪些样本容易，所以在平衡交叉熵的基础上，Focal loss做了改进，进入(1-p_{t})^{\gamma } ，其中\gamma 是一个超参数，所以Focal loss的表达式就是：

FL(p_{t})=(1-p_{t})^{\gamma }log(p_{t})

那为啥这样的形式就比平衡交叉熵好呢？我们假设\gamma 为1，系数就变成了1-p_{t} ，在这个基础上，我们按照上面的方式展开FL(p_{t}) ，其实就是这样子：

FL(p,y)=-\left\{\begin{matrix} (1-p) log(p) &if (y=1) \\ p log(1-p) & otherwise \end{matrix}\right.

由于交叉熵前做了softmax，所以p

一定是个正数，这个因子加上不会改变原有损失的符号，然后我们举例说明它怎么区分难易样本，p 是正样本的预测值：

对于一个正例，模型认为它简单，那么p 会趋近于1，1-p 会趋近于0，损失就会变小，相反的就会变大。
对于一个负例，模型认为它简单，那么p 会趋近于0，损失就会变小，相反的就会变大。

这就对模型的难易做出了不同的loss值，此外Focal loss还有一个超参数\gamma ，它起到了对因子成幂次，由于底数一定是一个小于1的数，幂次会拉大1-p_{t} 原有的线性倍率。比如1-p_{t} 原本是0.1和0.9，\gamma=2 时，会变成0.01和0.81，9倍变成了81倍。这种抑制简单样本，促进难样本的方式，其实和IOU>0.7和IOU<0.3有异曲同工之妙。

加了这东西之后，难易样本区分开了，但是负样本多的问题好像并没有解决掉，所以Focal loss最后又把平衡交叉熵加了回来，实验的时候使用的Focal loss形式是：

FL(p_{t})=\alpha_{t}(1-p_{t})^{\gamma }log(p_{t})

这个实验说明了\alpha 和\gamma 选取，在(a)中，对于平衡交叉熵损失，在\alpha=0.75 时，效果是最好的，这符合我们在上面分析的结果，\alpha>0.5 可以抑制负样本，但是在Focal loss中，\alpha=0.25 和\gamma=2 的时候，效果最好，这可能是因为(1-p_{t})^{\gamma } 的引入，影响了\alpha 的选取。Focal loss是RetinaNet最重要的部分，网络结构、Anchor、损失等其余的东西RetinaNet用的都是之前，我们简单提一下吧。

网络结构

这个是RetinaNet的网络结构，其实就是个FPN，但是它要用FPN做one-stage结构，而不再是two-stage，于是第二个阶段就被省略掉了。在YOLO的文章中，我们就说起过RPN和YOLO的区别，当RPN不再只做有没有物体的分类，而是做是什么物体的类别判断，那一个RPN就能完成整套目标检测任务。

这个思路就在RetinaNet里被使用了，RetinaNet中相当于舍弃了FPN中的Fast R-CNN，改变了FPN中的RPN网络直接做类别的预测。所以RetinaNet中也是有很多子网络的，对应了特征金字塔的层数。

至于更多细节的东西，就不做介绍了。

Anchor Box

RetinaNet选取Anchor Box的策略和FPN相似，一共有5个不同尺度的特征图，分别是32^{2}-512^{2} ，每一层会有三种比例，所以FPN有15种Anchor，但是RetinaNet在这个基础上又加了一个因素，就是每一层特征图上还有一个尺度，它分别是该层特征图尺度的{2^{0},2^{\frac{1}{3}},2^{\frac{2}{3}}} ，于是RetinaNet的Anchor变成了45个。因为Focal loss的引入，让Anchor的选取变得为所欲为，就是不怕多。╮(￣▽ ￣)╭

RetinaNet性能评价

这个是RetinaNet的总体结果，在backbone选择ResNet-101，输入分辨率为800时，RetinaNet的AP超过了FPN，虽然比FPN还要慢些，但是这是one-stage的模型第一次使用同样输入分辨率和backbone的情况下，AP可以超过two-stage。当分辨率变成500的时候，RetinaNet具备了很优越的性能。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019-08-24，如有侵权请联系 cloudcommunity@tencent.com 删除

图像识别