Transformer在目标检测领域的开山之作DETR模型

目标检测算法，pipeline太复杂？不同任务人工设计不同的非极大值抑制(NMS)阈值、生成新的锚点(Anchor)？是不是直接戳中了各位开发者的痛点！莫慌，今天小编就为万千开发者破局~这个破局点就是：基于transform的目标检测算法DETR，简洁的pipeline，去除NMS、Anchor设计，且在COCO数据集上的指标与Faster RCNN相当。

本项目将为大家详细介绍DETR算法。同时，将带领大家使用飞桨2.1版本在COCO数据集上实现基于DETR模型的目标检测，以及使用训练好的模型进行评估和预测。DETR检测效果如图1所示：

图1 DETR检测效果

看可以看出DETR将上图中的目标(人、包、椅子等)基本都可以正确检测出来，效果还是不错的~

是不是已经有小伙伴按耐不住想直接上手试试了？

小编识趣地赶紧送上开源代码的传送门 ⬇️ 大家一定要Fork收藏以免走失，也给开源社区一些认可和鼓励。

点击阅读原文可前往AI Studio社区查看源代码与原理讲解，使用免费GPU一键运行

• 项目链接：https://aistudio.baidu.com/aistudio/projectdetail/2290729

而这个DETR到底是如何设计，从而有这么好的性能的呢？下面小编就带大家来领略一下：

01

COCO数据集

COCO的全称是Common Objects in Context，是一个用于object detection(目标检测)、segmentation(分割)和captioning(看图说话)的大规模数据集。COCO通过在Flickr上搜索80个对象类别和各种场景类型来收集图像。

%cd work/code/
首先解压数据集，执行如下代码即可，解压执行一次就可以。
!mkdir /home/aistudio/dataset
!unzip -q -o /home/aistudio/data/data105593/train2017.zip -d /home/aistudio/dataset
!unzip -q -o /home/aistudio/data/data105593/val2017.zip -d /home/aistudio/dataset
!unzip -q -o /home/aistudio/data/data105593/annotations_trainval2017.zip -d /home/aistudio/dataset
print('完整数据集解压完毕！')

解压之后，完整COCO数据存储结构：

｜-- coco
        ｜-- annotations：标注文件
                |-- person_keypoints_train2017.json：关键点检测
                |-- person_keypoints_val2017.json
                |-- captions_train2017.json：看图说话
                |-- captions_val2017.json
                |-- instances_train2017.json：目标实例
                |-- instances_val2017.json
        ｜-- images：图片
                |-- train2017
                |-- val2017

然后安装pycocotools，用于加载、解析和可视化COCO数据集，代码实现如下：

!pip install pycocotools

02

DETR模型介绍

2.1 整体结构

DETR即Detection Transformer，是Facebook AI 的研究者提出的 Transformer 的视觉版本，可以用于目标检测，也可以用于全景分割。这是第一个将 Transformer成功整合为检测pipeline中心构建块的目标检测框架。与之前的目标检测方法相比，DETR有效地消除了对许多手工设计的组件的需求，例如非最大抑制(Non-Maximum Suppression,,NMS)程序、锚点(Anchor)生成等。

这篇文章提出了一个非常简单的端到端的框架，DETR 的网络结构很简单，分为三个部分，第一部分是一个传统 CNN ，用于提取图片高纬特征；第二部分是一个Transformer 结构，Encoder 和 Decoder 来提取 Bounding Box；最后使用 Bipartite matching loss 来训练网络。

图2 DETR网络结构

2.2 DETR模型介绍

详细介绍DETR的流程，首先把一张3通道图片输入backbone为CNN的网络中，提取图片特征，然后结合位置信息，输入到transformer模型的编码器和解码器中，得到transformer的检测结果，每个结果就是一个box，其中每个box表示一个元组，包含物体的类别和检测框位置。

图3 DETR详细网络结构

2.2.1 ResNet

使用ResNet作为backbone提取图片特征，同时会使用一个1*1的卷积进行降维。因为transformer的编码器模块只处理序列输入，所以后续还需要把CNN特征展开为一个序列。

图4 bockbone

2.2.2 DETR Transformer

接下来我们一步一步讲解DETR，首先是位置编码部分，将ResNet提取的特征图转成特征序列后，图像就失去了像素的空间分布信息，所以Transformer就引入位置编码。把特征序列和位置编码序列拼接起来，作为编码起的输入：

图5 位置编码

DETR论文提出了两种编码方式：

• spatial positional encoding
• object queries

1）第一种spatial positional encoding，从图5可以看到既会输入到encoder也会输入到decoder中。spatial positional encoding也包含两种计算方式：

• learned

emmbeding向量，从网络中学习；

• sine

PE为二维矩阵，大小跟输入embedding的维度一样，行表示词语，列表示词向量；pos 表示词语在句子中的位置；dmodeld_{model}dmodel表示词向量的维度；i表示词向量的位置。因此，上述公式表示在每个词语的词向量的偶数位置添加sin变量，奇数位置添加cos变量，从而来填满整个PE矩阵，然后concatenate送到编码器中。

2）第二种object queries，一开始object queries是N个随机向量，将这些随机向量编码，然后将其与该图像特征结合起来，因此可以认为这些随机输入经过解码器，相当于去图像信息中去查询，图像特征通过注意力机制的转换，得到检测框和类别预测。相当于可学习的anchor，从而解决手工设计anchor的问题。论文中可视化20个object queries，不同的点表示不同大小的box：

图6 object queries可视化

• 蓝色：竖直、框较大的box
• 红色：水平、框较大的box
• 绿色：较小的box

接着一起看下DETR的Encoder和Decoder结构，包含多头自注意力、残差结构、归一化、前馈神经网络：

图7 DETR的Encoder和Decoder

2.2.3 HungarianMatcher

HungarianMatcher实现了bipartite matching loss，使用的是匈牙利算法，最终匹配方案是选取“loss总和”最小的分配方式。计算公式如下：

该算法实现预测值与真值之间最优的匹配，并且是一一对应，不会多个预测值匹配到同一个ground truth上，这样就无需NMS后处理了。假设预测结果是N个，那么标注信息也要是N个，如下图假设N=6，但真实标签2个，剩下的4个（标注如果小于N就用无物体信息去填充）标注信息都是用无类别来填充：

图8 HungarianMatcher例子

2.2.4 DETRLoss

DETR损失包含两部分：

• 分类损失：交叉熵损失函数
• 检测框位置损失：L1损失和IOU损失的加权和，且Iou的计算采用了GIou算法，解决真实框和检测框没重叠时，Iou始终为0的问题。

2.2.5 DETRHead

transformer输出序列直接送到FFN分类器，得到预测类别和检测框坐标：

图9 DETRHead结构图

03

模型训练

了解了DETR原理，接下来通过飞桨框架实现模型模型，训练脚本启动命令：

python main.py --mode='train' --dataset_dir='dataset/' 
--image_dir='train2017' 
--anno_path='annotations/instances_train2017.json'

• mode：设置不同的模型，'train'表示训练
• dataset_dir：COCO数据集路径
• image_dir：训练图片路径
• anno_path：训练标注文件路径

04

模型评估

使用训练好的模型在COCO验证集上的进行评估，评估脚本启动命令

python main.py --mode='eval' --dataset_dir='dataset/' --image_dir='val2017' --anno_path='annotations/instances_val2017.json' --pretrained_model='pretrained_model/detr'

我们也可以下载DETR预训练模型，放在pretrained_model/目录下，使用预训练模型在COCO验证集上进行验证，结果如下：

• 模型链接：https://aistudio.baidu.com/aistudio/projectdetail/2290729

图10 预训练模型评估指标

05

模型训练

使用保存好的模型，对数据集中的某一张图片进行模型推理，观察模型效果，具体代码实现如下：

python main.py --mode='test' 
--infer_img='test_imgs/000000014439.jpg'  
--anno_path='dataset/annotations/instances_val2017.json' 
--pretrained_model='pretrained_model/detr'

• Infer_img：待测试图片
• anno_path：用于获取标签类别

PaddleEdu使用过程中有任何问题欢迎在https://github.com/PaddlePaddle/awesome-DeepLearning 提issue，同时更多深度学习资料请参阅飞桨深度学习平台。

记得点个Star⭐收藏噢~~

参考文献：

[1]Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with transformers[C]//European Conference on Computer Vision. Springer, Cham, 2020: 213-229.

注：文中图片、公式来源End-to-End Object Detection with Transformers论文