文章/答案/技术大牛

发布

社区首页 >专栏 >YOLOv12优化：卷积魔改创新 | AAAI 2025 | 一种新颖的风车形卷积（PConv）符合微弱小目标的像素高斯空间分布，增强特征提取，显著增加接受野

YOLOv12优化：卷积魔改创新 | AAAI 2025 | 一种新颖的风车形卷积（PConv）符合微弱小目标的像素高斯空间分布，增强特征提取，显著增加接受野

原创

AI小怪兽

发布于 2025-03-19 01:12:50

57500

代码可运行

文章被收录于专栏：毕业设计毕业设计 YOLO大作战

运行总次数：0

代码可运行

💡💡💡 我们提出了一种新颖的风车形卷积（PConv）作为骨干网络下层标准卷积的替代品。PConv能更好地符合微弱小目标的像素高斯空间分布，增强特征提取，显著增加接受野，且只引入最小的参数增加。

💡💡💡一种新颖的风车形卷积（PConv）在IRSTD-1K和sist - uavb数据集上实现了显着的性能改进，验证了我们方法的有效性和可泛化性

💡💡💡如何使用：1）直接作为卷积使用；

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

《YOLOv12魔术师专栏》将从以下各个方向进行创新：

链接：

YOLOv12魔术师

添加图片注释，不超过 140 字（可选）

【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】

订阅者提供本文windows下编译好的YOLOv12环境

定期向订阅者提供源码工程，配合博客使用。

订阅者可以申请发票，便于报销

💡💡💡为本专栏订阅者提供创新点改进代码，改进网络结构图，方便paper写作！！！

💡💡💡适用场景：红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景

💡💡💡适用任务：所有改进点适用【检测】、【分割】、【pose】、【分类】等

💡💡💡全网独家首发创新，【自研多个自研模块】，【多创新点组合适合paper 】！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

包含注意力机制魔改、卷积魔改、检测头创新、损失&IOU优化、block优化&多层特征融合、轻量级网络设计、25年最新顶会改进思路、原创自研paper级创新等

🚀🚀🚀 本项目持续更新 | 更新完结保底≥80+ ，冲刺100+ 🚀🚀🚀

💡💡💡 2024年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8、Yolov9、Yolov10、Yolo11等各个Yolo系列，专栏文章提供每一步步骤和源码，轻松带你上手魔改网络！！！

💡💡💡重点：通过本专栏的阅读，后续你也可以设计魔改网络，在网络不同位置（Backbone、head、detect、loss等）进行魔改，实现创新！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

1.YOLOv12介绍

添加图片注释，不超过 140 字（可选）

论文：[2502.12524] YOLOv12: Attention-Centric Real-Time Object Detectors

摘要：

长期以来，提升YOLO框架的网络架构至关重要，但相关改进主要聚焦于基于CNN的优化，尽管注意力机制已被证实具备更卓越的建模能力。这种现状源于注意力模型在速度上始终无法与CNN模型相媲美。本研究提出了一种以注意力机制为核心的YOLO框架——YOLOv12，在保持与先前CNN模型相当速度的同时，充分释放了注意力机制的性能优势。

YOLOv12在保持具有竞争力的推理速度下，其准确率超越了所有主流实时目标检测器。具体而言，YOLOv12-N在T4 GPU上以1.64ms的推理延迟实现了40.6%的mAP，相较先进的YOLOv10-N/YOLOv11-N分别提升2.1%/1.2%的mAP，同时保持相近速度。该优势在其他模型规模上同样显著。相较于改进DETR的端到端实时检测器，YOLOv12也展现出优越性：例如YOLOv12-S以42%的速度优势超越RT-DETR-R18/RT-DETRv2-R18，仅需36%的计算量和45%的参数量。更多对比详见图1。

结构图如下：

添加图片注释，不超过 140 字（可选）

本文旨在解决这些挑战，并进一步构建了一个以注意力为中心的YOLO框架，即YOLOv12。我们引入了三项关键改进。首先，我们提出了一个简单高效的区域注意力模块（A²），它以一种非常简单的方式在保持较大感受野的同时减少了注意力的计算复杂度，从而提高了速度。其次，我们引入了残差高效层聚合网络（R-ELAN），以应对注意力机制（尤其是大规模模型）引入的优化挑战。R-ELAN在原始ELAN的基础上引入了两项改进：（i）基于块的残差设计与缩放技术；（ii）重新设计的特征聚合方法。第三，我们在传统注意力机制的基础上进行了一些架构改进，以适应YOLO系统。我们升级了传统的注意力中心架构，包括：引入FlashAttention以解决注意力的内存访问问题，移除位置编码等设计以使模型更快速、更简洁，将MLP比率从4调整为1.2以平衡注意力机制和前馈网络之间的计算量，从而获得更好的性能，减少堆叠块的深度以促进优化，以及尽可能多地利用卷积操作来发挥其计算效率。

总之，YOLOv12的贡献可以概括为以下两点：1）它建立了一个以注意力为中心的、简单而高效的YOLO框架，通过方法创新和架构改进，打破了CNN模型在YOLO系列中的主导地位。2）YOLOv12在不依赖预训练等额外技术的情况下，实现了快速推理速度和更高的检测精度的最新成果，展现了其潜力。

1.1 Area Attention

YOLOv12设计了区域注意力模块（A2），将特征图划分为简单的垂直或水平区域，减少了注意力机制的计算复杂度，同时保持了较大的感受野。

核心源码如下：

代码位置ultralytics/nn/modules/block.py

1.2 A2C2f

A2C2f模块全称为“Area-Attention Enhanced Cross-Feature module”，是YOLOv12中提出的一种改进型特征提取模块，结合了区域注意力（Area-Attention）和残差连接，主要用于提升特征提取的效率和精度

A2C2f模块由以下关键部分组成：

cv1和cv2：两层1×1卷积，分别用于输入特征的降维和输出特征的升维。
ABlock模块：A2C2f的核心，包含区域注意力（Area-Attention）和MLP（多层感知机）层，用于快速特征提取和注意力机制的增强。
残差连接：可选的残差连接，用于稳定训练并增强特征的表达能力。

代码位置ultralytics/nn/modules/block.py

2.原理介绍

添加图片注释，不超过 140 字（可选）

论文：2412.16986

摘要：近年来，基于卷积神经网络（CNN）的红外小目标检测方法取得了优异的成绩。然而，这些方法通常采用标准卷积，忽略了考虑红外小目标像元分布的空间特征。因此，我们提出了一种新颖的风车形卷积（PConv）作为骨干网络下层标准卷积的替代品。PConv能更好地符合微弱小目标的像素高斯空间分布，增强特征提取，显著增加接受野，且只引入最小的参数增加。此外，虽然最近的损失函数结合了尺度和位置损失，但它们不能充分考虑这些损失在不同目标尺度上的不同灵敏度，从而限制了对弱小目标的检测性能。为了克服这个问题，我们提出了一种基于尺度的动态（SD）损失，它根据目标大小动态调整尺度和位置损失的影响，提高了网络检测不同尺度目标的能力。我们构建了一个新的基准，sist -uavb，这是迄今为止最大和最具挑战性的单帧红外小目标检测数据集。最后，通过将PConv和SD Loss集成到最新的小目标检测算法中，我们在IRSTD-1K和sist - uavb数据集上实现了显着的性能改进，验证了我们方法的有效性和可泛化性

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

新颖的风车形卷积 PConv模块的结构如图3所示。

与普通卷积（Conv）不同，PConv采用非对称填充来为图像的不同区域创建水平和垂直卷积核。这些卷积核向外扩散，其中h1、w1和c1分别表示输入张量X(h1,w1,c1)的高度、宽度和通道大小。为了增强训练的稳定性和速度，我们在每次卷积后应用批归一化（BN）和SiLU激活函数。PConv的第一层执行并行卷积，具体如下：

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

图2的右上角显示，基于IoU的损失（Sloss）波动可达86%。较小的目标在IoU损失中经历更大的不稳定性，这对模型的稳定性和回归性能产生了负面影响。然而，我们观察到无论边界框（BBox）的大小如何，质心坐标与目标的重心偏差不超过1个像素。因此，我们根据目标尺度动态调整Sloss和Lloss的影响系数，以减少标签不准确对损失函数稳定性的影响。如图5(a)所示，较小的目标在BBox标签的Sloss中获得较低的关注权重。掩码标签可以提高检测精度，特别是对于较小或形状不规则的目标。然而，如图2左下角所示，IRST的模糊边界导致了62%的Sloss波动。较小的目标进一步增加了这种不稳定性。此外，掩码标签的Lloss考虑了图像中所有物体的平均位置，这使得当错过一个物体时难以收敛，从而导致更多的误报。因此，如图5(b)所示，我们增强了掩码标签Sloss的影响，以确保模型更加关注Sloss。

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

图6：IRST检测模型的结果可视化。

添加图片注释，不超过 140 字（可选）

3.如何加入到YOLOv12

3.1新建ultralytics/nn/Conv/APConv.py

核心源码：

######################################## APConv AAAI2025   by AI Little monster start  ########################################

import torch
import torch.nn as nn
import torch.nn.functional as F

from ultralytics.nn.modules.conv import Conv,autopad
from ultralytics.nn.modules.block import Bottleneck, C2f,C3k,C3k2


class PConv(nn.Module):  
    ''' Pinwheel-shaped Convolution using the Asymmetric Padding method. '''
    
    def __init__(self, c1, c2, k, s):
        super().__init__()

        # self.k = k
        p = [(k, 0, 1, 0), (0, k, 0, 1), (0, 1, k, 0), (1, 0, 0, k)]
        self.pad = [nn.ZeroPad2d(padding=(p[g])) for g in range(4)]
        self.cw = Conv(c1, c2 // 4, (1, k), s=s, p=0)
        self.ch = Conv(c1, c2 // 4, (k, 1), s=s, p=0)
        self.cat = Conv(c2, c2, 2, s=1, p=0)

    def forward(self, x):
        yw0 = self.cw(self.pad[0](x))
        yw1 = self.cw(self.pad[1](x))
        yh0 = self.ch(self.pad[2](x))
        yh1 = self.ch(self.pad[3](x))
        return self.cat(torch.cat([yw0, yw1, yh0, yh1], dim=1))

原文链接：

https://cv2023.blog.csdn.net/article/details/146339247

3.2 yolov12-APConv.yaml

添加图片注释，不超过 140 字（可选）

# YOLOv12 🚀, AGPL-3.0 license
# YOLOv12 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov12n.yaml' will call yolov12.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.50, 0.25, 1024] # summary: 465 layers, 2,603,056 parameters, 2,603,040 gradients, 6.7 GFLOPs
  s: [0.50, 0.50, 1024] # summary: 465 layers, 9,285,632 parameters, 9,285,616 gradients, 21.7 GFLOPs
  m: [0.50, 1.00, 512] # summary: 501 layers, 20,201,216 parameters, 20,201,200 gradients, 68.1 GFLOPs
  l: [1.00, 1.00, 512] # summary: 831 layers, 26,454,880 parameters, 26,454,864 gradients, 89.7 GFLOPs
  x: [1.00, 1.50, 512] # summary: 831 layers, 59,216,928 parameters, 59,216,912 gradients, 200.3 GFLOPs

# YOLO12n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, PConv,  [64, 3, 2]] # 0-P1/2
  - [-1, 1, PConv,  [128, 3, 2]] # 1-P2/4
  - [-1, 2, C3k2,  [256, False, 0.25]]
  - [-1, 1, PConv,  [256, 3, 2]] # 3-P3/8
  - [-1, 2, C3k2,  [512, False, 0.25]]
  - [-1, 1, PConv,  [512, 3, 2]] # 5-P4/16
  - [-1, 4, A2C2f, [512, True, 4]]
  - [-1, 1, PConv,  [1024, 3, 2]] # 7-P5/32
  - [-1, 4, A2C2f, [1024, True, 1]] # 8

# YOLO12n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 2, A2C2f, [512, False, -1]] # 11

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 2, A2C2f, [256, False, -1]] # 14

  - [-1, 1, PConv, [256, 3, 2]]
  - [[-1, 11], 1, Concat, [1]] # cat head P4
  - [-1, 2, A2C2f, [512, False, -1]] # 17

  - [-1, 1, PConv, [512, 3, 2]]
  - [[-1, 8], 1, Concat, [1]] # cat head P5
  - [-1, 2, C3k2, [1024, True]] # 20 (P5/32-large)

  - [[14, 17, 20], 1, Detect, [nc]] # Detect(P3, P4, P5)