YOLOv12涨点优化：IoU优化 | 一种新的Shape IoU，更加关注边界框本身的形状和尺度，对小目标检测也很友好

💡💡💡现有IoU问题点：现有的边界盒回归方法通常考虑GT盒与预测盒之间的几何关系，利用边界盒的相对位置和形状来计算损失，而忽略了边界盒的形状和规模等固有属性对边界盒回归的影响。

💡💡💡本文改进：一种新的Shape IoU方法，该方法可以通过关注边界框本身的形状和尺度来计算损失，解决边界盒的形状和规模等固有属性对边界盒回归的影响。

💡💡💡对小目标检测涨点明显，在VisDrone2019、PASCAL VOC均有涨点

推荐指数：5颗星 新颖指数：5颗星

《YOLOv12魔术师专栏》将从以下各个方向进行创新：

【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】

订阅者提供本文windows下编译好的YOLOv12环境

定期向订阅者提供源码工程，配合博客使用。

订阅者可以申请发票，便于报销

💡💡💡为本专栏订阅者提供创新点改进代码，改进网络结构图，方便paper写作！！！

💡💡💡适用场景：红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景

💡💡💡适用任务：所有改进点适用【检测】、【分割】、【pose】、【分类】等

💡💡💡全网独家首发创新，【自研多个自研模块】，【多创新点组合适合paper 】！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

包含注意力机制魔改、卷积魔改、检测头创新、损失&IOU优化、block优化&多层特征融合、 轻量级网络设计、25年最新顶会改进思路、原创自研paper级创新等

🚀🚀🚀 本项目持续更新 | 更新完结保底≥80+ ，冲刺100+ 🚀🚀🚀

💡💡💡 2024年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8、Yolov9、Yolov10、Yolo11等各个Yolo系列，专栏文章提供每一步步骤和源码，轻松带你上手魔改网络 ！！！

💡💡💡重点：通过本专栏的阅读，后续你也可以设计魔改网络，在网络不同位置（Backbone、head、detect、loss等）进行魔改，实现创新！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

1.YOLOv12介绍

论文：[2502.12524] YOLOv12: Attention-Centric Real-Time Object Detectors

摘要：

长期以来，提升YOLO框架的网络架构至关重要，但相关改进主要聚焦于基于CNN的优化，尽管注意力机制已被证实具备更卓越的建模能力。这种现状源于注意力模型在速度上始终无法与CNN模型相媲美。本研究提出了一种以注意力机制为核心的YOLO框架——YOLOv12，在保持与先前CNN模型相当速度的同时，充分释放了注意力机制的性能优势。

YOLOv12在保持具有竞争力的推理速度下，其准确率超越了所有主流实时目标检测器。具体而言，YOLOv12-N在T4 GPU上以1.64ms的推理延迟实现了40.6%的mAP，相较先进的YOLOv10-N/YOLOv11-N分别提升2.1%/1.2%的mAP，同时保持相近速度。该优势在其他模型规模上同样显著。相较于改进DETR的端到端实时检测器，YOLOv12也展现出优越性：例如YOLOv12-S以42%的速度优势超越RT-DETR-R18/RT-DETRv2-R18，仅需36%的计算量和45%的参数量。更多对比详见图1。

结构图如下：

本文旨在解决这些挑战，并进一步构建了一个以注意力为中心的YOLO框架，即YOLOv12。我们引入了三项关键改进。首先，我们提出了一个简单高效的区域注意力模块（A²），它以一种非常简单的方式在保持较大感受野的同时减少了注意力的计算复杂度，从而提高了速度。其次，我们引入了残差高效层聚合网络（R-ELAN），以应对注意力机制（尤其是大规模模型）引入的优化挑战。R-ELAN在原始ELAN的基础上引入了两项改进：（i）基于块的残差设计与缩放技术；（ii）重新设计的特征聚合方法。第三，我们在传统注意力机制的基础上进行了一些架构改进，以适应YOLO系统。我们升级了传统的注意力中心架构，包括：引入FlashAttention以解决注意力的内存访问问题，移除位置编码等设计以使模型更快速、更简洁，将MLP比率从4调整为1.2以平衡注意力机制和前馈网络之间的计算量，从而获得更好的性能，减少堆叠块的深度以促进优化，以及尽可能多地利用卷积操作来发挥其计算效率。

总之，YOLOv12的贡献可以概括为以下两点：1）它建立了一个以注意力为中心的、简单而高效的YOLO框架，通过方法创新和架构改进，打破了CNN模型在YOLO系列中的主导地位。2）YOLOv12在不依赖预训练等额外技术的情况下，实现了快速推理速度和更高的检测精度的最新成果，展现了其潜力。

1.1 Area Attention

YOLOv12设计了区域注意力模块（A2），将特征图划分为简单的垂直或水平区域，减少了注意力机制的计算复杂度，同时保持了较大的感受野。

核心源码如下：

代码位置ultralytics/nn/modules/block.py

1.2 A2C2f

A2C2f模块全称为“Area-Attention Enhanced Cross-Feature module”，是YOLOv12中提出的一种改进型特征提取模块，结合了区域注意力（Area-Attention）和残差连接，主要用于提升特征提取的效率和精度

A2C2f模块由以下关键部分组成：

• cv1和cv2：两层1×1卷积，分别用于输入特征的降维和输出特征的升维。
• ABlock模块：A2C2f的核心，包含区域注意力（Area-Attention）和MLP（多层感知机）层，用于快速特征提取和注意力机制的增强。
• 残差连接：可选的残差连接，用于稳定训练并增强特征的表达能力。

代码位置ultralytics/nn/modules/block.py

2.Shape-IoU介绍

论文：https://arxiv.org/pdf/2312.17663.pdf

摘要：边界盒回归损失作为检测器定位分支的重要组成部分，在目标检测任务中起着重要的作用。现有的边界盒回归方法通常考虑GT盒与预测盒之间的几何关系，利用边界盒的相对位置和形状来计算损失，而忽略了边界盒的形状和规模等固有属性对边界盒回归的影响。为了弥补已有研究的不足，本文提出了一种关注边界盒本身形状和尺度的边界盒回归方法。首先，我们分析了边界框的回归特征，发现边界框本身的形状和尺度因素都会对回归结果产生影响。基于以上结论，我们提出了Shape IoU方法，该方法可以通过关注边界框本身的形状和尺度来计算损失，从而使边界框回归更加准确。最后，我们通过大量的对比实验验证了我们的方法，结果表明，我们的方法可以有效地提高检测性能，并且优于现有的方法，在不同的检测任务中达到了最先进的性能。

本文贡献：

1.我们分析了边界盒回归的特点，得出边界盒回归过程中，边界盒回归样本本身的形状和尺度因素都会对回归结果产生影响。

2.在已有的边界盒回归损失函数的基础上，考虑到边界盒回归样本本身的形状和尺度对边界盒回归的影响，提出了shape- iou损失函数，针对微小目标检测任务提出了 the shape-dotdistance and shape-nwd loss

3.我们使用最先进的单级探测器对不同的检测任务进行了一系列的对比实验，实验结果证明本文方法的检测效果优于现有的方法来实现sota。

​ 如图2所示，边界框回归样本A和B中的GT盒尺度相同，而C和D中的GT盒尺度相同。A和D中的GT盒形状相同，B和C中的GT盒形状相同。C和D中的边界框的尺度大于A和b中的边界框的尺度。图2a中所有边界框的回归样本具有相同的偏差，形状偏差为0。Fig.2a与Fig.2b的不同之处在于Fig.2b中所有边界框回归样本的形状偏差相同，偏差均为0。

图a中的A与B的deviation相同但IoU值存在差异。

图a中的C与D的deviation相同但IoU值存在差异,并且与a中的A与B相比，其IoU值差异并不显著。

图b中的A与B的shape-deviation相同但IoU值存在差异。

图b中的C与D的shape-deviation相同但IoU值存在差异,并且与b中的A与B相比，IoU值差异并不显著。

基于上述分析，得出的结论：

1）假设GT盒不是正方形，有长边和短边，回归样本中边界盒形状和尺度的不同，在偏差和形状偏差相同且不全为0时，其IoU值也会不同。

2）对于相同尺度的边界盒回归样本，当回归样本的偏差和形状偏差相同且不均为0时，边界盒的形状会对回归样本的IoU值产生影响。沿边界盒短边方向偏移和形状偏移所对应的IoU值变化更为显著。

3）对于相同形状边界框的回归样本，当回归样本偏差与形状偏差相同且不均为0时，相对于较大尺度的回归样本，较小尺度边界框回归样本的IoU值受GT盒形状的影响更为显著。

2.1 Shape-IoU介绍

其中scale为尺度因子，与数据集中目标的尺度有关，ww与hh分别为水平方向与竖直方向的权重系数，其取值与GT框的形状有关。其对应的边框回归损失如下：

2.2 Shape-IoU 在小目标的应用

Shape-Dot Distance:我们将ShapeIoU的思想融入到Dot Distance中，得到Shape-Dot Distance，定义如下：

2.3 Shape-NWD

Shape-NWD:同样，我们将ShapeIoU的思想融入到NWD中，得到Shape-NWD，其定义如下:

1.4 实验结果

PASCAL VOC 数据集在 YOLOv8 and YOLOv7的性能

VisDrone2019 on YOLOv8

AI-TOD on YOLOv5

3.如何添加在YOLOv12

3.1 Shape-IoU加入 ultralytics/utils/metrics.py

 def shape_iou(box1, box2, xywh=True, scale=0, eps= 1e-7):
    (x1, y1, w1, h1), (x2, y2, w2, h2) = box1.chunk(4, -1), box2.chunk(4, -1)
    w1_, h1_, w2_, h2_ = w1 / 2, h1 / 2, w2 / 2, h2 / 2
    b1_x1, b1_x2, b1_y1, b1_y2 = x1 - w1_, x1 + w1_, y1 - h1_, y1 + h1_
    b2_x1, b2_x2, b2_y1, b2_y2 = x2 - w2_, x2 + w2_, y2 - h2_, y2 + h2_

    # Intersection area
    inter = (torch.min(b1_x2, b2_x2) - torch.max(b1_x1, b2_x1)).clamp(0) * \
             (torch.min(b1_y2, b2_y2) - torch.max(b1_y1, b2_y1)).clamp(0)

    # Union Area
    union = w1 * h1 + w2 * h2 - inter + eps

    # IoU
    iou = inter / union

    # Shape-Distance    #Shape-Distance    #Shape-Distance    #Shape-Distance    #Shape-Distance    #Shape-Distance    #Shape-Distance
    ww = 2 * torch.pow(w2, scale) / (torch.pow(w2, scale) + torch.pow(h2, scale))
    hh = 2 * torch.pow(h2, scale) / (torch.pow(w2, scale) + torch.pow(h2, scale))
    cw = torch.max(b1_x2, b2_x2) - torch.min(b1_x1, b2_x1)  # convex width
    ch = torch.max(b1_y2, b2_y2) - torch.min(b1_y1, b2_y1)  # convex height
    c2 = cw ** 2 + ch ** 2 + eps  # convex diagonal squared
    center_distance_x = ((b2_x1 + b2_x2 - b1_x1 - b1_x2) ** 2) / 4
    center_distance_y = ((b2_y1 + b2_y2 - b1_y1 - b1_y2) ** 2) / 4
    center_distance = hh * center_distance_x + ww * center_distance_y
    distance = center_distance / c2

    # Shape-Shape    #Shape-Shape    #Shape-Shape    #Shape-Shape    #Shape-Shape    #Shape-Shape    #Shape-Shape    #Shape-Shape
    omiga_w = hh * torch.abs(w1 - w2) / torch.max(w1, w2)
    omiga_h = ww * torch.abs(h1 - h2) / torch.max(h1, h2)
    shape_cost = torch.pow(1 - torch.exp(-1 * omiga_w), 4) + torch.pow(1 - torch.exp(-1 * omiga_h), 4)

    # Shape-IoU    #Shape-IoU    #Shape-IoU    #Shape-IoU    #Shape-IoU    #Shape-IoU    #Shape-IoU    #Shape-IoU    #Shape-IoU
    iou = iou - distance - 0.5 * (shape_cost)
    return iou  # IoU