Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >RT-DETR优化改进:轻量级Backbone改进 | 支持Paddle轻量级 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdet

RT-DETR优化改进:轻量级Backbone改进 | 支持Paddle轻量级 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdet

原创
作者头像
AI小怪兽
修改于 2023-11-17 06:19:30
修改于 2023-11-17 06:19:30
6.4K05
代码可运行
举报
文章被收录于专栏:YOLO大作战YOLO大作战
运行总次数:5
代码可运行

本文独家改进: 支持百度飞浆resnet各个版本, rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等

layers

parameters

gradients

GFLOPs

rtdetr-r18

421

20184464

20184464

58.6

rtdetr-r34

501

30292624

30292624

88.9

rtdetr-r50

629

42944620

42944620

134.8

rtdetr-r101

867

76661740

76661740

257.7

rtdetr-l

673

32970732

32970732

108.3

rtdetr-x

867

67468108

67468108

232.7

1.RT-DETR介绍

论文: https://arxiv.org/pdf/2304.08069.pdf

RT-DETR (Real-Time DEtection TRansformer) ,一种基于 DETR 架构的实时端到端检测器,其在速度和精度上取得了 SOTA 性能

为什么会出现:

YOLO 检测器有个较大的待改进点是需要 NMS 后处理,其通常难以优化且不够鲁棒,因此检测器的速度存在延迟。为避免该问题,我们将目光移向了不需要 NMS 后处理的 DETR,一种基于 Transformer 的端到端目标检测器。然而,相比于 YOLO 系列检测器,DETR 系列检测器的速度要慢的多,这使得"无需 NMS "并未在速度上体现出优势。上述问题促使我们针对实时的端到端检测器进行探索,旨在基于 DETR 的优秀架构设计一个全新的实时检测器,从根源上解决 NMS 对实时检测器带来的速度延迟问题。

RT-DETR是第一个实时端到端目标检测器。具体而言,我们设计了一个高效的混合编码器,通过解耦尺度内交互和跨尺度融合来高效处理多尺度特征,并提出了IoU感知的查询选择机制,以优化解码器查询的初始化。此外,RT-DETR支持通过使用不同的解码器层来灵活调整推理速度,而不需要重新训练,这有助于实时目标检测器的实际应用。RT-DETR-L在COCO val2017上实现了53.0%的AP,在T4 GPU上实现了114FPS,RT-DETR-X实现了54.8%的AP和74FPS,在速度和精度方面都优于相同规模的所有YOLO检测器。RT-DETR-R50实现了53.1%的AP和108FPS,RT-DETR-R101实现了54.3%的AP和74FPS,在精度上超过了全部使用相同骨干网络的DETR检测器。

RT-DETR作者团队认为只需将Encoder作用在S5 特征上,既可以大幅度地减小计算量、提高计算速度,又不会损伤到模型的性能。为了验证这一点,作者团队设计了若干对照组,如下图所示。

实验结果:

DETR类在COCO上常用的尺度都是800x1333,以往都是以Res50 backbone刷上45 mAP甚至50 mAP为目标,而RT-DETR在采用了YOLO风格的640x640尺度情况下,也不需要熬时长训几百个epoch 就能轻松突破50mAP,精度也远高于所有DETR类模型。

1.1 resnet各个版本介绍

YOLOv8版本目前只支持rtdetr-l、rtdetr-x两个版本

Paddle官方支持 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等版本

https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rtdetr

2.Resnet各个版本引入到RT-DETR

2.1 新建ultralytics/nn/backbone/PaddleBackbone.py

核心代码:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制

class Resnet_Blocks(nn.Module):
    def __init__(self, ch_in, ch_out, block, count, stage_num, act='relu', variant='d'):
        super().__init__()

        self.blocks = nn.ModuleList()
        for i in range(count):
            self.blocks.append(
                block(
                    ch_in,
                    ch_out,
                    stride=2 if i == 0 and stage_num != 2 else 1,
                    shortcut=False if i == 0 else True,
                    variant=variant,
                    act=act)
            )
            if i == 0:
                ch_in = ch_out * block.expansion

    def forward(self, x):
        out = x
        for block in self.blocks:
            out = block(out)
        return out

​详见:

https://cv2023.blog.csdn.net/article/details/134407373

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
RT-DETR算法优化改进:Backbone改进 | HGBlock完美结合PPHGNetV2 RepConv
本文独家改进: PPHGNetV2助力RT-DETRHGBlock与PPHGNetV2 RepConv完美结合
AI小怪兽
2023/11/14
2.7K0
RT-DETR手把手教程,注意力机制如何添加在网络的不同位置进行创新优化
本文独家改进:本文首先复现了将EMA引入到RT-DETR中,并跟不同模块进行结合创新;1)Rep C3结合;2)直接作为注意力机制放在网络不同位置;3)高效和HGBlock结合;
AI小怪兽
2023/11/22
1.7K0
RT-DETR全解析:超越 YOLO,实时物体检测更快更精准(附代码)
近年来,物体检测技术在许多领域取得了显著进展,如视频监控、自动驾驶、智能家居等。传统的物体检测模型,如YOLO(You Only Look Once)系列,已经在实时检测任务中得到了广泛应用,但仍然存在一些限制,比如速度与精度的平衡问题。
CoovallyAIHub
2025/01/09
4.7K0
RT-DETR全解析:超越 YOLO,实时物体检测更快更精准(附代码)
YOLOv8太卷啦 | YOLOv8官方仓库正式支持RT-DETR训练、测试以及推理
百度RT-DETR概述。RT-DETR模型架构图显示骨干{S3、S4、S5}的最后三个阶段作为编码器的输入。高效的混合编码器通过尺度内特征交互(AIFI)和跨尺度特征融合模块(CCFM)将多尺度特征转换为图像特征序列。IoU感知查询选择用于选择固定数量的图像特征以用作解码器的初始对象查询。最后,具有辅助预测头的解码器迭代地优化对象查询,以生成框和置信度分数(源)。
集智书童公众号
2023/09/04
2.9K0
YOLOv8太卷啦 | YOLOv8官方仓库正式支持RT-DETR训练、测试以及推理
精度更高、速度更快!从RT-DETR到RF-DETR全面突破实时检测瓶颈
YOLO虽快,但其依赖的非最大抑制(NMS)后处理拖累速度与精度。DETR架构首次实现无需NMS的“一对一”预测,却受限于计算成本。如今,RT-DETR 通过混合编码器、不确定性查询选择等创新突破实时瓶颈;RF-DETR 更进一步,成为首个在COCO上突破60 AP的实时模型,兼顾高精度与边缘部署效率。>>更多资讯可加入CV技术群获取了解哦~
CoovallyAIHub
2025/05/29
4690
精度更高、速度更快!从RT-DETR到RF-DETR全面突破实时检测瓶颈
YoloV8改进策略:Neck改进|Efficient-RepGFPN,实时目标检测的王者Neck
在实时目标检测领域,Yolo系列模型一直以其高效和准确而著称。近日,我们成功将Efficient-RepGFPN模块引入YoloV8中,实现了显著的涨点效果。这一改进不仅进一步提升了YoloV8的检测精度,还保留了其原有的高效性能,为实时目标检测领域带来了新的突破。
AI浩
2024/10/22
1.2K0
YoloV8改进策略:Neck改进|Efficient-RepGFPN,实时目标检测的王者Neck
YOLOv12:以注意力为中心的实时目标检测器
长期以来,改进YOLO框架的网络架构一直是研究重点,但主要集中在基于CNN的改进上,尽管注意力机制已被证明在建模能力上具有显著优势。这是因为基于注意力的模型在速度上无法与基于CNN的模型相媲美。本文提出了一种以注意力为核心的YOLO框架——YOLOv12,它在保持与先前基于CNN模型相当速度的同时,充分利用了注意力机制的性能优势。
AI浩
2025/02/26
8102
YOLOv12:以注意力为中心的实时目标检测器
提升小水果检测效果:基于块技术的零样本RT-DETR与YOLO-WORLD
本文主要分成两个部分。首先,我们将深入研究RT-DETR和YOLO-WORLD模型。然后,我们将继续讨论基于补丁的技术,如SAHI和其他类似方法。最后,我将总结一下检测效果。
Color Space
2024/07/26
6360
提升小水果检测效果:基于块技术的零样本RT-DETR与YOLO-WORLD
RF-DETR vs YOLOv12实测:复杂果园青果识别准确率高达94.6%
本研究全面比较了RF-DETR目标检测模型和YOLOv12目标检测模型在复杂果园环境中识别绿色水果的能力,果园环境的特点是标签模糊、遮挡和背景伪装。为评估模型在真实世界条件下的性能,开发了一个自定义数据集,其中包括单类(绿色水果)和多类(遮挡和非遮挡绿色水果)注释。RF-DETR目标检测模型利用 DINOv2 骨干和可变形注意力机制,在全局上下文建模方面表现出色,在识别部分遮挡或视觉模糊的绿色水果方面尤其有效。与此相反,YOLOv12 模型采用了基于CNN的注意力机制来加强局部特征提取,优化了计算效率和边缘部署的适用性。在单类检测场景中,RF-DETR的平均精度(mAP@50)最高,达到0.9464,显示了其在杂乱场景中准确定位绿色水果的强大能力。尽管YOLOv12N的mAP@50:95 达到了0.7620的最高值,但RF-DETR目标检测模型在管理复杂空间场景方面的表现始终优于YOLOv12N。在多类检测中,RF-DETR以0.8298的mAP@50再次领先,表明其在区分遮挡和非遮挡水果方面的有效性,而YOLOv12L则以0.6622高居mAP@50:95 指标榜首,表明其在详细遮挡条件下的分类能力更胜一筹。对模型训练动态的分析表明,RF-DETR的收敛速度很快,尤其是在单类场景中,不到10个epoch就达到了平稳状态,这凸显了基于transformer-based的架构对动态视觉数据的效率和适应性。这些结果证实了RF-DETR适用于对准确性要求极高的农业任务,而YOLOv12仍然是对速度敏感的部署的理想选择。
CoovallyAIHub
2025/04/23
5320
RF-DETR vs YOLOv12实测:复杂果园青果识别准确率高达94.6%
YOLOv10开源|清华用端到端YOLOv10在速度精度上都生吃YOLOv8和YOLOv9
实时目标检测一直是计算机视觉研究领域的一个重点,旨在在低延迟下准确预测图像中物体的类别和位置。它被广泛应用于各种实际应用中,包括自动驾驶,机器人导航,物体跟踪等。近年来,研究行人一直致力于设计基于CNN的目标检测器以实现实时检测。其中,YOLOs因其性能和效率之间的巧妙平衡而越来越受欢迎。YOLOs的检测流程包括两部分:模型前向过程和NMS后处理。然而,这两者仍存在不足,导致次优的准确度-延迟边界。
集智书童公众号
2024/05/28
4.4K0
YOLOv10开源|清华用端到端YOLOv10在速度精度上都生吃YOLOv8和YOLOv9
RT-DETR改进策略:BackBone改进|EfficientFormerV2在RT-DETR中的创新应用,精度与效率完美平衡
在追求高效且高精度的目标检测领域,RT-DETR凭借其卓越的性能和广泛的应用基础,一直是研究者和开发者们的首选框架之一。然而,随着应用场景的不断拓展,对模型尺寸和推理速度的要求也日益严苛。为了进一步提升RT-DETR的效能,我们创新性地引入了EfficientFormerV2模块,作为RT-DETR主干网络的替代方案,实现了在保持原有检测精度的同时,大幅度降低模型参数量的显著成果。
AI浩
2024/10/22
9350
RT-DETR改进策略:BackBone改进|EfficientFormerV2在RT-DETR中的创新应用,精度与效率完美平衡
YOLOv5改进: RT-DETR引入YOLOv5,neck和检测头助力检测
本文独家改进: 1) RT-DETR neck代替YOLOv5 neck部分; 2)引入RTDETRDecoder
AI小怪兽
2023/12/17
1.8K1
YOLOv8改进策略: AIFI (尺度内特征交互)助力YOLO | YOLO终结者?RT-DETR一探究竟
💡💡💡本文全网首发独家改进: AIFI (尺度内特征交互)助力YOLO ,提升尺度内和尺度间特征交互能力,同时降低多个尺度的特征之间进行注意力运算,计算消耗较大等问题
AI小怪兽
2023/11/05
5.5K0
实时物体检测,看YOLO-NAS、DETR、SAM 如何精准匹配你的场景?
在实时检测、复杂场景分析、零样本分割需求并存的2025年,YOLO-NAS、DETR、SAM三大架构各领风骚。本文深入剖析三者核心优势、典型短板与最佳适用场景,提供清晰的选型决策指南,并揭示未来混合架构协同互操作的趋势——助你精准匹配项目需求,避免选型陷阱。>>更多资讯可加入CV技术群获取了解哦~
CoovallyAIHub
2025/06/16
5050
实时物体检测,看YOLO-NAS、DETR、SAM 如何精准匹配你的场景?
一种基于YOLOv10的遥感小目标车辆检测算法(原创自研)
💡💡💡本文内容:提出了一种基于YOLOv10的遥感小目标车辆检测算法,包括1)SPPF_attention,重新设计加入注意力机制,提升小目标注意;2)SEAM提升小目标遮挡物性能提升;
AI小怪兽
2024/09/10
7590
YOLOv8改进:小目标到大目标一网打尽,轻骨干重Neck的轻量级目标检测器GiraffeDet
​ 摘要:在传统的目标检测框架中,继承自图像识别模型的骨干主体提取深度潜在特征,然后由颈部模块融合这些潜在特征来获取不同尺度的信息。由于目标检测的分辨率远大于图像识别,因此主干的计算代价往往占主导地位。这种重主干设计范式主要是由于将图像识别模型转移到目标检测时的历史遗留问题,而不是目标检测的端到端优化设计。在这项工作中,我们表明,这种范式确实导致次优的目标检测模型。为此,我们提出了一个新的重颈范式,GiraffeDet,一个类似长颈鹿的网络,用于有效的目标检测。GiraffeDet使用了一个非常轻量的主干和一个非常深而大的颈部模块,这鼓励了不同空间尺度之间密集的信息交换,同时也鼓励了不同层次的潜在语义。这种设计范式使检测器即使在网络的早期阶段,也能以同样的优先级处理高级语义信息和低级空间信息,提高了检测任务的效率。对多个流行目标检测基准的数值评估表明,在广泛的资源约束范围内,GiraffeDet始终优于以前的SOTA模型。
AI小怪兽
2023/10/22
3.1K0
推进自动驾驶车辆智能:基于深度学习和多模态LLM的交通标志识别与鲁棒车道检测
为提升自动驾驶车辆在复杂环境下的感知可靠性,本文提出融合深度学习与多模态大语言模型(MLLM)的综合方案。研究评估了ResNet-50、YOLOv8、RT-DETR在交通标志识别上的优异表现(最高99.8%准确率)。针对车道检测,提出基于CNN分割并辅以多项式拟合的方法,在良好条件下精度高。创新性引入轻量级MLLM框架,通过小数据集指令调优(无需预训练),显著增强在复杂车道、不良天气(如夜间93.0%、雨天推理88.4%)及道路退化条件下的车道检测鲁棒性与推理能力。该框架整体提升了感知可靠性,助力安全自动驾驶。
CoovallyAIHub
2025/06/30
1110
推进自动驾驶车辆智能:基于深度学习和多模态LLM的交通标志识别与鲁棒车道检测
YOLOv10涨点改进:注意力魔改 | 轻量级自注意力机制CoordAttention | CVPR2021
💡💡💡本文改进:替换YOLOv10中的PSA进行二次创新,1)CoordAttention注意力替换 PSA中的多头自注意力模块MHSA注意力;2) CoordAttention直接替换 PSA;
AI小怪兽
2024/06/12
4.1K0
实用目标检测器 | 性能超YoloV5,推理耗时不变(附github源码)
在实际应用场景中,有效性与高效性对于目标检测器非常重要。为了满足这两个问题,研究者全面评估了现有的改进的集合,以提高PP-YOLO的性能,同时几乎保持推理时间不变。
3D视觉工坊
2021/05/18
2.5K0
实用目标检测器 | 性能超YoloV5,推理耗时不变(附github源码)
YOLOv10涨点改进:上采样算子 | 轻量级上采样CARAFE算子
💡💡💡本文独家改进: 上采样操作CARAFE,具有感受野大、内容感知、轻量级、计算速度快等优点,引入yolov10二次创新;
AI小怪兽
2024/06/15
1.7K1
推荐阅读
RT-DETR算法优化改进:Backbone改进 | HGBlock完美结合PPHGNetV2 RepConv
2.7K0
RT-DETR手把手教程,注意力机制如何添加在网络的不同位置进行创新优化
1.7K0
RT-DETR全解析:超越 YOLO,实时物体检测更快更精准(附代码)
4.7K0
YOLOv8太卷啦 | YOLOv8官方仓库正式支持RT-DETR训练、测试以及推理
2.9K0
精度更高、速度更快!从RT-DETR到RF-DETR全面突破实时检测瓶颈
4690
YoloV8改进策略:Neck改进|Efficient-RepGFPN,实时目标检测的王者Neck
1.2K0
YOLOv12:以注意力为中心的实时目标检测器
8102
提升小水果检测效果:基于块技术的零样本RT-DETR与YOLO-WORLD
6360
RF-DETR vs YOLOv12实测:复杂果园青果识别准确率高达94.6%
5320
YOLOv10开源|清华用端到端YOLOv10在速度精度上都生吃YOLOv8和YOLOv9
4.4K0
RT-DETR改进策略:BackBone改进|EfficientFormerV2在RT-DETR中的创新应用,精度与效率完美平衡
9350
YOLOv5改进: RT-DETR引入YOLOv5,neck和检测头助力检测
1.8K1
YOLOv8改进策略: AIFI (尺度内特征交互)助力YOLO | YOLO终结者?RT-DETR一探究竟
5.5K0
实时物体检测,看YOLO-NAS、DETR、SAM 如何精准匹配你的场景?
5050
一种基于YOLOv10的遥感小目标车辆检测算法(原创自研)
7590
YOLOv8改进:小目标到大目标一网打尽,轻骨干重Neck的轻量级目标检测器GiraffeDet
3.1K0
推进自动驾驶车辆智能:基于深度学习和多模态LLM的交通标志识别与鲁棒车道检测
1110
YOLOv10涨点改进:注意力魔改 | 轻量级自注意力机制CoordAttention | CVPR2021
4.1K0
实用目标检测器 | 性能超YoloV5,推理耗时不变(附github源码)
2.5K0
YOLOv10涨点改进:上采样算子 | 轻量级上采样CARAFE算子
1.7K1
相关推荐
RT-DETR算法优化改进:Backbone改进 | HGBlock完美结合PPHGNetV2 RepConv
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验