目标检测(Object Detection)的评估指标mAP

在Faster RCNN论文中与Fast RCNN的对比效果如下:

官方公布的Fast R-CNN在COCO test-dev数据集上的mAP@.5为35.9%，mAP@[.5,.95]为19.7；

作者在论文中自己实现的Fast R-CNN在COCO test-dev上的mAP@.5为39.3%，mAP@[.5,.95]为19.3%，之所以比官方公布的指标高，作者认为原因在于：

We conjecture that the reason for this gap is mainly due to the definition of the negative samples and also the changes of the mini-batch sizes

Faster R-CNN在COCO test-dev数据集上的mAP@.5是42.1%，比Fast R-CNN高2.8%；mAP@[.5,.95]的mAP@[.5,.95]是21.5%，比Fast R-CNN高2.2%。可以看到：Faster R-CNN的效果要优于Fast R-CNN,也说明了RPN网络的Excellent Performance.

评估指标mAP

论文中经常用mAP去衡量目标检测模型的好坏优劣,mAP的全称是Mean Average Precision，是目标检测领域最常用的评估指标。

Object Detection不仅需要检测出图像中物体的分类，还需要给出物体在图像中的位置，并使用IoU来映射Prediction结果与Ground Truth的关系。

IoU

在Object Detection中是通过计算Prediction Box与Ground Truth Box的交并比(IoU)来评价边界框正确性的度量指标。

IoU的定义

Intersection over Union is a ratio between the intersection and the union of the predicted boxes and the ground truth boxes

mAP@.5中的0.5就是指在IoU=0.5时目标检测的效果.

Object Detection的Precision & Recall

Precision=TP/(FP+TP)

Recall=TP/(FN+TP)

TP(True Positive，真正)：将正类预测为正类的数量；即与Ground truth区域的IoU>=threshold的预测框 FP(False Positive，假正)：将负类预测为正类的数量，误报；即与Ground truth区域IoU < threshold的预测框 FN(False Negative，假负)：将正类预测为负类的数量，漏报；遗漏的Ground truth区域 TN(True Negative，真负)：将负类预测为负类的数量；没法算，因为没有标框的地方无法界定

Precision和Recall之间往往是一种博弈关系，好的模型让Recall值增长的同时保持Precision的值也在很高的水平，而差的模型性可能会损失很多Precision值才能换来Recall值的提高。通常情况下，都会使用Precision-recall曲线，来显示分类模型在Precision与Recall之间的权衡。

Precision和Recall受到IoU和置信度阈值的影响，IoU很容易标准化，比如在PASCAL VOC中采用的IoU阈值为0.5，而COCO中采用了一系列的IoU阈值(0.05至0.95)，但是不同模型的置信度会差异很大，一个模型的0.5置信度可能等价于其它模型0.8的置信度，而置信度会影响到Precision-Recall的曲线形状。为了得到一种适用于任何模型的评估指标，提出了Average Precision(AP)的评估指标。

AP是Precision-Recall Curve(PRC)曲线所覆盖的面积，用来衡量模型在每个具体类别上的好坏。mAP就是给每一分类分别计算AP，再做mean平均。