YOLOv8改进：EMA基于跨空间学习的高效多尺度注意力、效果优于ECA、CBAM、CA | 小目标涨点明显 | ICASSP2023

原创

AI小怪兽

发布于 2023-10-09 15:38:10

4.2K0

文章被收录于专栏：YOLO大作战YOLO大作战

1.EMA

论文：https://arxiv.org/abs/2305.13563v1

录用：ICASSP2023

通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。本文提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。

提出了一种新的无需降维的高效多尺度注意力(efficient multi-scale attention, EMA)。请注意，这里只有两个卷积核将分别放置在并行子网络中。其中一个并行子网络是一个1x1卷积核，以与CA相同的方式处理，另一个是一个3x3卷积核。为了证明所提出的EMA的通用性，详细的实验在第4节中给出，包括在CIFAR-100、ImageNet-1k、COCO和VisDrone2019基准上的结果。图1给出了图像分类和目标检测任务的实验结果。我们的主要贡献如下:

本文提出了一种新的跨空间学习方法，并设计了一个多尺度并行子网络来建立短和长依赖关系。 1)我们考虑一种通用方法，将部分通道维度重塑为批量维度，以避免通过通用卷积进行某种形式的降维。 2)除了在不进行通道降维的情况下在每个并行子网络中构建局部的跨通道交互外，我们还通过跨空间学习方法融合两个并行子网络的输出特征图。 3)与CBAM、NAM[16]、SA、ECA和CA相比，EMA不仅取得了更好的结果，而且在所需参数方面效率更高。

CA块首先可以被视为与SE注意力模块类似的方法，其中利用全局平均池化操作对跨通道信息进行建模。通常，可以通过使用全局平均池化来生成信道统计信息，其中全局空间位置信息被压缩到信道描述符中。与SE微妙不同的是，CA将空间位置信息嵌入通道注意图以增强特征聚合。

并行子结构帮助网络避免更多的顺序处理和大深度。给定上述并行处理策略，我们在EMA模块中采用它。EMA的整体结构如图3 (b)所示。在本节中，我们将讨论EMA如何在卷积操作中不进行通道降维的情况下学习有效的通道描述，并为高级特征图产生更好的像素级注意力。具体来说，我们只从CA模块中挑选出1x1卷积的共享组件，在我们的EMA中将其命名为1x1分支。为了聚合多尺度空间结构信息，将3x3内核与1x1分支并行放置以实现快速响应，我们将其命名为3x3分支。考虑到特征分组和多尺度结构，有效地建立短期和长程依赖有利于获得更好的性能。

在CIFAR-100数据集上研究了所提出的EMA，使用标准的CIFAR Top-1和Top-5精度指标来评估网络的性能。

用YOLOv5x作为骨干CNN在VisDrone数据集上进行目标检测，其中CA, CBAM和EMA注意力分别集成到检测器中。从表2的结果可以看出，CA, CBAM和EMA都可以提高目标检测的基线性能。可以看到，所提出的EMA模块在mAP(0.5)和mAP(0.5:0.95)方面始终优于基本的CA和CBAM网络。值得注意的是，CBAM将YOLOv5x的性能提升了0.11%，高于CA，但代价是参数和计算量更多。对于CA，它获得了与基线几乎相同的性能，并在mAP(0.5)方面超过YOLOv5x 0.01%，同时CA获得了比EMA更高的参数和计算量(91.28M vs . 91.18M和315.2M vs . 315.0M)。具体而言，EMA比基线方法增加了0.22M的参数，在参数略高的情况下，比YOLOv5x在mAP(0.5)上提升了0.31%，在mAP(0.5:0.95)上提升了0.4%。这些结果表明，EMA是一种有效的目标检测模块，进一步证明了EMA方法的有效性。

2.EMA加入yolov8

2.1加入 `modules.py`中

核心代码

class EMA_attention(nn.Module):
    def __init__(self, channels, c2=None, factor=32):
        super(EMA_attention, self).__init__()
        self.groups = factor
        assert channels // self.groups > 0
        self.softmax = nn.Softmax(-1)
        self.agp = nn.AdaptiveAvgPool2d((1, 1))
        self.pool_h = nn.AdaptiveAvgPool2d((None, 1))
        self.pool_w = nn.AdaptiveAvgPool2d((1, None))
        self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups)
        self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0)
        self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1)

    def forward(self, x):
        b, c, h, w = x.size()
        group_x = x.reshape(b * self.groups, -1, h, w)  # b*g,c//g,h,w
        x_h = self.pool_h(group_x)
        x_w = self.pool_w(group_x).permute(0, 1, 3, 2)
        hw = self.conv1x1(torch.cat([x_h, x_w], dim=2))
        x_h, x_w = torch.split(hw, [h, w], dim=2)
        x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid())
        x2 = self.conv3x3(group_x)
        x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x12 = x2.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x22 = x1.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w)
        return (group_x * weights.sigmoid()).reshape(b, c, h, w)

详见：https://cv2023.blog.csdn.net/article/details/131370577

2023腾讯技术创作特训营第二期有奖征文，瓜分万元奖池和键盘手表

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

2023腾讯·技术创作特训营第二期

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

2023腾讯·技术创作特训营第二期

#注意力机制

#YOLOv8

登录后参与评论

0 条评论

热度