RT-DETR手把手教程：NEU-DET钢材表面缺陷检测任务 | 不同网络位置加入EMA注意力进行魔改

原创

AI小怪兽

发布于 2023-12-07 13:11:00

1.9K0

本文独家改进：本文首先复现了将EMA引入到RT-DETR中，并跟不同模块进行结合创新；1）多种Rep C3结合；2）直接作为注意力机制放在网络不同位置；

NEU-DET钢材表面缺陷检测：原始 rtdetr-r18 map0.5为0.67，rtdetr-r18-EMA_attention map0.5为0.691，rtdetr-r18-EMA_attentionC3 map0.5为0.72， rtdetr-r18-EMA_attentionC31 map0.5为0.718 ；

1.钢铁缺陷数据集介绍

NEU-DET钢材表面缺陷共有六大类，分别为：'crazing','inclusion','patches','pitted_surface','rolled-in_scale','scratches'

每个类别分布为：

2.EMA注意力介绍

论文：https://arxiv.org/abs/2305.13563v1

录用：ICASSP2023

通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。本文提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。

3.实验结果分析

原始rtdetr-r18

rtdetr-r18 summary: 319 layers, 19884264 parameters, 0 gradients
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 16/16 [00:12<00:00,  1.24it/s]
                   all        486       1069      0.658       0.63       0.67      0.379
               crazing        486        149      0.593      0.107      0.236     0.0901
             inclusion        486        222        0.6      0.784      0.772      0.404
               patches        486        243      0.835      0.855      0.908      0.561
        pitted_surface        486        130      0.695      0.738      0.766       0.48
       rolled-in_scale        486        171      0.592      0.449      0.506      0.241
             scratches        486        154      0.631      0.844       0.83      0.495

rtdetr-r18-EMA_attention

rtdetr-r18-EMA_attention summary: 335 layers, 19885608 parameters, 0 gradients
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 16/16 [00:13<00:00,  1.21it/s]
                   all        486       1069      0.748      0.638      0.691      0.393
               crazing        486        149      0.459      0.248      0.242     0.0776
             inclusion        486        222      0.825      0.739      0.797      0.416
               patches        486        243      0.883      0.831      0.898      0.571
        pitted_surface        486        130      0.904      0.722      0.823      0.514
       rolled-in_scale        486        171      0.609      0.456      0.503      0.219
             scratches        486        154       0.81      0.832      0.885      0.562

rtdetr-r18-EMA_attentionC3

rtdetr-r18-EMA_attentionC3 summary: 373 layers, 18557592 parameters, 0 gradients
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 16/16 [00:13<00:00,  1.16it/s]
                   all        486       1069      0.732      0.657       0.72      0.405
               crazing        486        149      0.475      0.231      0.288      0.107
             inclusion        486        222      0.784      0.721      0.814      0.437
               patches        486        243      0.885      0.819      0.918      0.583
        pitted_surface        486        130      0.868      0.708        0.8      0.488
       rolled-in_scale        486        171      0.624      0.602      0.604      0.261
             scratches        486        154      0.755      0.859      0.899      0.557

rtdetr-r18-EMA_attentionC31

rtdetr-r18-EMA_attentionC31 summary: 343 layers, 19884792 parameters, 0 gradients
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 16/16 [00:14<00:00,  1.14it/s]
                   all        486       1069       0.74      0.668      0.718      0.407
               crazing        486        149      0.469      0.255      0.261      0.104
             inclusion        486        222      0.792      0.775      0.825      0.419
               patches        486        243      0.865       0.86       0.91      0.584
        pitted_surface        486        130      0.887      0.715      0.801      0.517
       rolled-in_scale        486        171      0.617      0.532       0.61      0.274
             scratches        486        154      0.809       0.87      0.903      0.542