前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >YOLO11涨点优化:大型条带卷积技术,更有效地提取空间信息 | Strip R-CNN,遥感目标检测 新SOTA,25年最新发表

YOLO11涨点优化:大型条带卷积技术,更有效地提取空间信息 | Strip R-CNN,遥感目标检测 新SOTA,25年最新发表

原创
作者头像
AI小怪兽
发布2025-02-07 09:21:28
发布2025-02-07 09:21:28
30500
代码可运行
举报
文章被收录于专栏:毕业设计毕业设计YOLO大作战
运行总次数:0
代码可运行

💡💡💡问题点:遥感目标检测在高长宽比物体的识别上依旧面临挑战

💡💡💡研究发现,大型条带卷积是遥感目标检测中极为有效的特征学习工具,能够精准捕捉并检测出不同长宽比的目标。

💡💡💡StripBlock采用了序列正交的大型条带卷积技术,以更有效地提取空间信息

💡💡💡StripBlock如何使用:1)结合C3k2二次创新使用;2)直接使用;

改进结构图1:

改进结构图2:

《YOLOv11魔术师专栏》将从以下各个方向进行创新:

原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 【小目标性能提升】前沿论文分享】【训练实战篇】

💡💡💡为本专栏订阅者提供创新点改进代码,改进网络结构图,方便paper写作!!!

💡💡💡适用场景:红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景

💡💡💡适用任务:所有改进点适用【检测】、【分割】、【pose】、【分类】等

💡💡💡全网独家首发创新,【自研多个自研模块】,【多创新点组合适合paper 】!!!

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

包含注意力机制魔改、卷积魔改、检测头创新、损失&IOU优化、block优化&多层特征融合、 轻量级网络设计、24年最新顶会改进思路、原创自研paper级创新等

💡💡💡 2025、24年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8、Yolov9等各个Yolo系列,专栏文章提供每一步步骤和源码,轻松带你上手魔改网络 !!!

💡💡💡重点:通过本专栏的阅读,后续你也可以设计魔改网络,在网络不同位置(Backbone、head、detect、loss等)进行魔改,实现创新!!!

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

1.YOLO11介绍

Ultralytics YOLO11是一款尖端的、最先进的模型,它在之前YOLO版本成功的基础上进行了构建,并引入了新功能和改进,以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用,使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。

添加图片注释,不超过 140 字(可选)

结构图如下:

1.1 C3k2

C3k2,结构图如下

C3k2,继承自类C2f,其中通过c3k设置False或者Ture来决定选择使用C3k还是Bottleneck

实现代码ultralytics/nn/modules/block.py

1.2 C2PSA介绍

借鉴V10 PSA结构,实现了C2PSA和C2fPSA,最终选择了基于C2的C2PSA(可能涨点更好?)

实现代码ultralytics/nn/modules/block.py

1.3 11 Detect介绍

分类检测头引入了DWConv(更加轻量级,为后续二次创新提供了改进点),结构图如下(和V8的区别):

实现代码ultralytics/nn/modules/head.py

2.原理介绍

论文:https://arxiv.org/pdf/2501.03775

摘要:尽管遥感领域发展迅猛,但遥感目标检测在高长宽比物体的识别上依旧面临挑战。本文研究发现,大型条带卷积是遥感目标检测中极为有效的特征学习工具,能够精准捕捉并检测出不同长宽比的目标。基于这一发现,我们创新性地构建了名为Strip R-CNN的新型网络架构,该架构简洁高效且性能强劲。与依赖方形大核卷积的传统遥感目标检测方法不同,Strip R-CNN采用了序列正交的大型条带卷积技术,以更有效地提取空间信息。同时,我们通过分离检测头并为零点定位头配备条带卷积,进一步增强了遥感目标检测器的定位精度,实现了对目标物体的更精确定位。在DOTA、FAIR1M、HRSC2016以及DIOR等多个权威基准数据集上的广泛实验证明,Strip R-CNN显著超越了现有技术。值得一提的是,我们的30M模型在DOTAv1.0数据集上取得了82.75%的mAP佳绩,刷新了该领域的最高纪录。

在本节中,我们将详细阐述所提出的Strip R-CNN架构。我们的目标是通过引入大型条带卷积来推进遥感目标检测技术,使得到的模型能够在不同长宽比的物体上表现优异。这与之前强调使用大正方形核卷积的工作有所不同,如图3所示。

在我们的Strip R-CNN设计中,基于O-RCNN框架[66],我们将骨干网络和检测头分别替换为我们的StripNet骨干网络和条带检测头。具体来说,骨干网络主要由如图4所示的基本模块组成,这些模块包含两个残差子模块:条带子模块和前馈网络子模块。条带子模块是基于小核标准卷积以及两个大条带状核的卷积构建的,用于捕捉不同长宽比物体的鲁棒特征。对于前馈网络子模块,我们直接采用了LSKNet [34]的设计,以促进通道混合和特征优化。我们StripNet骨干网络不同变体的具体配置如表1所示。对于主干层,我们保持其与LSKNet [34]一致。在检测头方面,我们将定位分支从原始的O-RCNN检测头中分离出来,并使用我们提出的条带模块对其进行增强,从而得到了我们的条带检测头,这将在第3.3节中详细介绍。

通过引入large strip convolution,我们的方法能够更好地捕捉遥感图像中目标的各向异性特征,尤其是高长宽比目标的几何特性。这种设计不仅提高了特征提取的效率,还减少了对无关信息的引入,从而提升了检测性能。与传统的方形卷积相比,large strip convolution在处理细长目标时表现出更强的适应性和灵活性。

如第1部分所讨论的,大核正方形卷积在遥感应用中提供了重要的远程上下文信息,但可能包含背景区域中不相关的特征。PKINet在模型设计中涉及条带卷积[1],但它仍然依赖于并行的大核正方形卷积,这增加了计算负担并导致了特征冗余。我们的目标是高效地提取不同长宽比物体的关键特征。最终构建了一个顺序范式,它有效地结合了标准卷积和条带卷积的优势,而无需额外的信息融合模块。接下来,我们将详细描述我们基础模块的核心部分:条带模块。

3.如何加入到YOLO11

3.1新建ultralytics/nn/block/StripRCNN.py

​核心代码:

代码语言:javascript
代码运行次数:0
复制
class Strip_Attention(nn.Module):
    def __init__(self, d_model,k1,k2):
        super().__init__()
        self.proj_1 = nn.Conv2d(d_model, d_model, 1)
        self.activation = nn.GELU()
        self.spatial_gating_unit = Strip_Block(d_model,k1,k2)
        self.proj_2 = nn.Conv2d(d_model, d_model, 1)

    def forward(self, x):
        shorcut = x.clone()
        x = self.proj_1(x)
        x = self.activation(x)
        # x = self.spatial_gating_unit(x)
        x = self.proj_2(x)
        x = x + shorcut
        return x

class StripBlock(nn.Module):
    def __init__(self, dim, mlp_ratio=4., k1=1, k2=19, drop=0.,drop_path=0., act_layer=nn.GELU):
        super().__init__()
        self.norm1 = nn.BatchNorm2d(dim)
        self.norm2 = nn.BatchNorm2d(dim)
        self.attn = Strip_Attention(dim, k1, k2)
        self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity()
        mlp_hidden_dim = int(dim * mlp_ratio)
        self.mlp = StripMlp(in_features=dim, hidden_features=mlp_hidden_dim, act_layer=act_layer, drop=drop)
        layer_scale_init_value = 1e-2
        self.layer_scale_1 = nn.Parameter(
            layer_scale_init_value * torch.ones((dim)), requires_grad=True)
        self.layer_scale_2 = nn.Parameter(
            layer_scale_init_value * torch.ones((dim)), requires_grad=True)

    def forward(self, x):
        x = x + self.drop_path(self.layer_scale_1.unsqueeze(-1).unsqueeze(-1) * self.attn(self.norm1(x)))
        x = x + self.drop_path(self.layer_scale_2.unsqueeze(-1).unsqueeze(-1) * self.mlp(self.norm2(x)))
        return x

3.2 yolo11-C3k2_Strip.yaml

本文案例添加到backbone,可以根据自己数据集添加到neck或者都添加

代码语言:javascript
代码运行次数:0
复制
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
  s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
  m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
  l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
  x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs

# YOLO11n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 2, C3k2_Strip, [256, False, 0.25]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 2, C3k2_Strip, [512, False, 0.25]]
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  - [-1, 2, C3k2_Strip, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  - [-1, 2, C3k2_Strip, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
  - [-1, 2, C2PSA, [1024]] # 10

# YOLO11n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 2, C3k2, [512, False]] # 13

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 2, C3k2, [256, False]] # 16 (P3/8-small)

  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 13], 1, Concat, [1]] # cat head P4
  - [-1, 2, C3k2, [512, False]] # 19 (P4/16-medium)

  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 10], 1, Concat, [1]] # cat head P5
  - [-1, 2, C3k2, [1024, True]] # 22 (P5/32-large)

  - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

3.3 yolo11-StripBlock.yaml

添加图片注释,不超过 140 字(可选)

代码语言:javascript
代码运行次数:0
复制
​# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
  s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
  m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
  l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
  x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs

# YOLO11n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 2, C3k2, [256, False, 0.25]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 2, C3k2, [512, False, 0.25]]
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  - [-1, 2, C3k2, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  - [-1, 2, C3k2, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
  - [-1, 2, C2PSA, [1024]] # 10
  - [-1, 1, StripBlock, [1024]] # 11

# YOLO11n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 2, C3k2, [512, False]] # 14

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 2, C3k2, [256, False]] # 17 (P3/8-small)

  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 14], 1, Concat, [1]] # cat head P4
  - [-1, 2, C3k2, [512, False]] # 20 (P4/16-medium)

  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 11], 1, Concat, [1]] # cat head P5
  - [-1, 2, C3k2, [1024, True]] # 23 (P5/32-large)

  - [[17, 20, 23], 1, Detect, [nc]] # Detect(P3, P4, P5)

​原文链接:

代码语言:javascript
代码运行次数:0
复制
https://blog.csdn.net/m0_63774211/article/details/145472541

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.YOLO11介绍
  • 1.1 C3k2
  • 1.2 C2PSA介绍
  • 1.3 11 Detect介绍
  • 2.原理介绍
  • 3.如何加入到YOLO11
  • 3.1新建ultralytics/nn/block/StripRCNN.py
  • 3.2 yolo11-C3k2_Strip.yaml
  • 3.3 yolo11-StripBlock.yaml
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档