首页
学习
活动
专区
圈层
工具
发布

【目标检测】目标检测和实例分割中应用CIoU损失和Cluster-NMS,不牺牲推理效率的情况下,显著提高AP和AR

在本文中,我们提出了CIoU (Complete-IoU)损失和Cluster-NMS来增强边界盒回归和非最大抑制(NMS)中的几何因子,在不牺牲推理效率的情况下,平均精度(AP)和平均召回率(AR)都有显著提高...在本文中,特别关注目标检测和实例分割中测量边界盒回归的三个关键点——重叠区域,归一化中心点距离和高宽比。为了更好地区分难回归的情况,将这三个几何因子被纳入到CIoU损失中。...利用CIoU损失对深度模型进行训练,相比于广泛采用的n范数损失和IoU-based损失,结果得到一致的AP和AR改进。...此外,我们提出了Cluster-NMS,其中NMS在推理期间是通过隐式聚类检测框来完成的,一般需要更少的迭代。...将CIoU损失和Cluster-NMS应用于实例分割(例如YOLACT)和目标检测(例如YOLOv3, SSD 和 Faster R-CNN)模型实验中,性能表现SOTA。

2.2K10

驾驶中的疲劳状态识别数据集(3000张图片已划分、已标注)| AI训练适用于目标检测任务

驾驶中的疲劳状态识别数据集(3000张图片已划分、已标注)| AI训练适用于目标检测任务在智能驾驶与驾驶员辅助系统中,疲劳状态识别是确保行车安全的重要环节。...通过对驾驶员眼睛、嘴部的状态检测,可以有效识别驾驶员是否存在 瞌睡、打哈欠、疲劳驾驶 等风险行为,从而及时预警,避免交通事故。...本篇文章介绍的 驾驶中的疲劳状态识别数据集,已经完成划分与标注,开箱即可应用于模型训练。数据集下载链接:https://pan.baidu.com/s/1F27AXENPwYpHvu1JMbIdiw?...为此,我们构建了一个 驾驶中的疲劳状态识别数据集,包含 3000张已划分、已标注的图片,专注于 眼睛和嘴部的关键特征识别,为疲劳驾驶检测模型的研究与应用提供了可靠的数据基础。...例如,长时间闭眼可能代表打瞌睡,而频繁张嘴可能意味着打哈欠。 数据集详情类别分布数据集中四类目标分布均衡,确保模型不会因类别偏差而训练不稳定。

1.1K00
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    相机与LiDAR安装位置对自动驾驶中的三维物体检测的影响

    相机-激光雷达融合已经成为实现强大和准确的自动驾驶感知的主要解决方案,与绝大多数现有研究侧重于通过跨模态方案、深度学习算法和训练技巧来提高三维目标检测性能不同,我们关注传感器配置对基于学习的方法性能的影响...我们进行了全面的实验,以展示两个关键点:摄像头和激光雷达配置对3D目标检测性能的影响,以及我们提出的统一替代度量与基于学习的感知性能之间的相关性。不同的传感器配置。...本工作中的传感器配置采用了4个激光雷达和6个摄像头,遵循NuScenes数据集的配置。为了探索对目标检测性能的影响,使用了四种不同的激光雷达配置,受到知名自动驾驶公司的启发。...激光雷达的配置在垂直FOV(-25.0, 25.0度)范围内均匀分布,如图1所示。完整的配置和缩写可在表I中找到。 传感器配置对3D目标检测的影响。...在图5和表II中,我们展示了不同的代表性算法在不同的摄像头-激光雷达配置下的3D目标检测性能。传感器的配置显著影响检测性能,最大波动幅度为30%。 图5.

    54050

    航拍图像中的“生命线”:基于YOLOv5的7类应急目标检测实践

    本工作解决了航拍图像中的关键挑战,包括小目标检测和复杂背景问题,为自动化应急响应系统的未来研究提供了见解。...其中YOLO系列模型以其端到端 pipeline 革新了实时检测,而YOLOv5进一步提升了精度和灵活性。 尽管研究广泛,但聚焦航拍图像中应急目标检测的成果较少。...此外,其在处理航拍应急图像时展现出的速度与精度平衡优势显著。 YOLOv4:在检测精度上与YOLOv5相当,但推理速度较慢。这一差异在需要快速决策的实时应用中至关重要。...Faster R-CNN:虽然凭借区域提议机制在小目标检测上精度更高,但其推理速度明显较慢。计算开销和延迟使其不太适合应急响应等时效性强的任务。...结论 本研究证明了YOLOv5在航拍图像中检测应急相关目标的有效性。结果表明其在灾害管理、交通监控和城市规划等实时应用中的潜力。YOLOv5在速度与精度上的平衡能力,使其成为航拍目标检测的实用选择。

    31610

    面向智慧牧场的牛行为识别数据集(5000张图片已划分、已标注) | AI训练适用于目标检测任务

    面向智慧牧场的牛行为识别数据集(5000张图片已划分、已标注) | AI训练适用于目标检测任务背景在现代智慧农业(Smart Agriculture)中,牲畜行为识别是提高养殖效率与动物健康监测的重要环节...标签与类别数据集中共有三个类别,每个类别对应一种牛的行为:类别数 (nc): 3类别名称 (names): '牛卧', '牛站立', '牛行走'这些标签用于标识图像中牛的行为状态,帮助模型识别和分类。...动物健康监控检测异常行为(如长时间卧地或活动量不足);结合物联网传感器,可实现疾病早期预警。农业AI教学与研究可用于AI课程中的行为检测实训;为研究人员提供标准化、可复现的数据集。...目标检测为了验证数据集的实用性,下面以 YOLOv8 为例展示训练与推理流程。 实战代码示例from ultralytics import YOLO# 1....,可直接在推理图像中可视化输出。

    33010

    面向智慧牧场的牛行为识别数据集(5000张图片已划分、已标注) | AI训练适用于目标检测任务

    面向智慧牧场的牛行为识别数据集(5000张图片已划分、已标注)|AI训练适用于目标检测任务背景在现代智慧农业(SmartAgriculture)中,牲畜行为识别是提高养殖效率与动物健康监测的重要环节。...标签与类别数据集中共有三个类别,每个类别对应一种牛的行为:类别数(nc):3类别名称(names):'牛卧','牛站立','牛行走'这些标签用于标识图像中牛的行为状态,帮助模型识别和分类。...1.动物健康监控-检测异常行为(如长时间卧地或活动量不足);-结合物联网传感器,可实现疾病早期预警。1.农业AI教学与研究-可用于AI课程中的行为检测实训;-为研究人员提供标准化、可复现的数据集。...----##目标检测为了验证数据集的实用性,下面以YOLOv8为例展示训练与推理流程。...,可直接在推理图像中可视化输出。

    35010

    SkeyeVSS视频共享融合赋能平台技术方案之AI视频智能分析中台子系统架构设计

    是AI平台所有场景算法的模型管理模块。人工智能推理中心负责算法调用,分析部署,开放API,场景识别数据输出,快速实现标准化AI视频分析和平台集成。...人工智能计算服务中心负责硬件资源和算法同意调度,对需要AI识别的摄像头做统一配置。对不同摄像头部署不同AI场景算法监测的统一配置。对输出识别数据做统一数据分析和计算的模块。...预警中心负责针对不同场景预警条件的定制,视频图像中预警画面区域配置。对报警图像保存,报警时刻视频保存。并将预警数据输出到不同系统平台。...AI计算中心根据硬件算力,视频流数量,场景识别数量,从AI市场调取相应算法模型打包成的容器,统一部署至AI推理中心。...AI推理中心进行目标识别,物体检测,语义分割等不同场景需要的AI推理,将输出数据输入到计算平台,计算平台通过目标大小判定,ROI区域判定,目标置信度筛选,多目标关联等数据分析后将最终识别结果输出到预警中心

    54230

    SkeyeVSS视频共享融合赋能平台技术方案之AI视频智能分析中台子系统架构设计

    是AI平台所有场景算法的模型管理模块。人工智能推理中心负责算法调用,分析部署,开放API,场景识别数据输出,快速实现标准化AI视频分析和平台集成。...人工智能计算服务中心负责硬件资源和算法同意调度,对需要AI识别的摄像头做统一配置。对不同摄像头部署不同AI场景算法监测的统一配置。对输出识别数据做统一数据分析和计算的模块。...预警中心负责针对不同场景预警条件的定制,视频图像中预警画面区域配置。对报警图像保存,报警时刻视频保存。并将预警数据输出到不同系统平台。...AI计算中心根据硬件算力,视频流数量,场景识别数量,从AI市场调取相应算法模型打包成的容器,统一部署至AI推理中心。...AI推理中心进行目标识别,物体检测,语义分割等不同场景需要的AI推理,将输出数据输入到计算平台,计算平台通过目标大小判定,ROI区域判定,目标置信度筛选,多目标关联等数据分析后将最终识别结果输出到预警中心

    44110

    基于飞桨实现的“太空保卫战士”——地球同步静止轨道空间目标检测系统

    有限的地球同步静止轨道资源珍贵,因此,为使运行中的卫星免受可能的碰撞,对运行空间内空间碎片和自然天体等未知空间目标进行及时的检测、跟踪、预警和编目是“太空保卫战士”保障卫星活动正常健康的一项重要工作。...本项目基于2020年欧空局联合阿德莱德大学举办的地球同步静止轨道及附近的目标检测SpotGEO Challenge竞赛,实现“太空保卫战士”——太空空间目标检测系统,从而检测低成本望远镜采集图像中的微弱空间目标...目标特性:在图像中,我们关注的目标在图像里大多以斑点或短条纹的形态出现,而非完全以点目标的形式存在,目标整体亮度也较暗,这是由于较长的曝光时间和大气畸变、传感器缺陷等原因产生的像素弥散现象。...左上角的坐标和右下角的坐标值根据长宽偏移量计算得到,这样将问题转化为类别数为2的目标检测问题。 标注图示 整体开发流程 本项目使用飞桨全流程开发工具PaddleX。...在Jetson NANO开发板上进行飞桨模型部署,从前期准备到推理程序验证的全流程主要包括以下几部分。 软件部分,端侧推理程序主要是以下三部分,不得不再次赞叹API是真香!

    47840

    PPDet:减少Anchor-free目标检测中的标签噪声,小目标检测提升明显

    在此基础上,开发了一种新的单阶段anchor-free目标检测器PPDet,以在训练过程中采用这种标记策略,并在推理过程中采用类似的预测合并方法。...另一方面,应该将它们的数量保持在最小,以减少推理时间和在训练中造成的不平衡问题。 目前主要有两类突出的方法来进行anchor-free的目标检测。...第一类是基于关键点的、自下而上的方法,在开创性工作CornerNet之后流行起来。这类方法首先检测物体的关键点(如角点、中心点和极点),然后对它们进行分组得到整体物体的检测。...为了得到一个目标实例的最终检测分数,本文将所有分配给该目标对象的特征的分类分数集中起来,将它们加在一起,得到一个最终的C维向量,C表示目标的类别数。...在这些检测中,将消除使用背景类标记的检测,并将在此阶段剩余的每个检测都视为对其所属目标类别的投票,其中方框是目标位置的假设,置信度得分是投票的强度。

    1.7K30

    MMDetection学习系列(3)——RetinaNet深度探索与实战指南

    引言目标检测是计算机视觉领域的一个重要任务,它要求算法能够识别图像中的不同目标并进行精确定位。...与传统的目标检测算法不同,RetinaNet特别关注类别不平衡问题,尤其是在面对背景和前景类别数量差异巨大的场景时,表现尤为突出。...Focal Loss的提出,主要是为了缓解目标检测中类别不平衡问题,提高模型对难分类样本的关注度,尤其是在背景样本占比极高的情况下。...传统的目标检测方法(如交叉熵损失)会对所有样本给予相等的损失,这使得背景样本对整体损失的影响过大,导致模型过度关注背景,从而忽视了前景的检测。...Focal Loss通过一种加权机制来抑制易分类样本的影响,避免背景类样本过多地影响模型训练。

    1.2K10

    动态 | HCP Lab 12篇论文入选世界顶级计算机视觉会议CVPR 2019

    作为代替,我们利用深度无监督聚类算法(Unsupervised Meta Learner)对混合目标域进行划分,将每一个聚类结果看作子目标域的替代。...与普通检测问题不同的是,大规模目标检测意味着同时定位并识别数千个类别,面临严重的长尾效应,目标间相互遮挡,以及更多模糊不清的目标。...众所周知,目标之间复杂的语义和空间关系有助于提高检测精度。而当前的多数研究工作通常单独地对目标进行定位和识别,当这些方法面对大规模类别数据集时,性能会大幅下降。...在没有任何外部知识的情况下,如何正确编码检测系统中对象之间的高阶关系?如何利用对象间的伴随关系和相对位置之间的信息进行更好的推理?这些问题是当今大规模目标检测框架面临的主要挑战。...因此,本文的工作目标是设计一个基于图卷积神经网络的检测框架,它可以同时利用语义和空间关系,直接从训练集中有效地学习到可解释的稀疏图结构,并根据学到的图结构进行推理和特征传播,增强小目标、罕见类和模糊遮挡目标的特征相应提高检测结果

    79720

    面向蜜蜂种群监测的深度学习数据集:构建与解析

    数据集中使用了以下标签:类别数(nc):1类别名称(names):['bees']数据集特点八千张图像:数据集包含了丰富的蜜蜂图像,适用于训练深度学习模型。...数据集支持的标签如下:类别数(nc):1类别名称(names):['bees']数据格式采用了标注框(boundingbox)方式,确保了数据在不同深度学习框架(如YOLO、Detectron2、TensorFlow...适用场景本数据集广泛适用于以下领域:1.农业监控在农业中,蜜蜂作为重要的授粉昆虫,直接影响农作物的产量和质量。...2.模型选择YOLO:YOLO系列模型非常适合目标检测任务,训练速度快,检测精度高,且支持实时推理。使用YOLO框架进行训练时,可以直接加载YOLO格式的标注数据集。...早停机制:设置早停机制,防止过拟合,并减少训练时间。结语蜜蜂目标检测数据集是一个高质量、丰富多样的数据集,适用于各类目标检测任务,特别是蜜蜂行为分析、农业监控和生态保护等领域。

    11900

    YOLO-Z | 记录修改YOLOv5以适应小目标检测的实验过程

    本研究探索了如何对YOLOv5进行修改,以提高其在检测较小目标时的性能,并在自动赛车中进行了特殊应用。为了实现这一点,作者研究了替换模型的某些结构会如何影响性能和推理时间。...在这一过程中在不同的尺度上提出一系列的模型YOLO-Z,并得到高达6.9%的改善,相比原YOLOv5推理时间检测更小的目标时的成本就增加3ms。...然后分别测试这些网络的变化,以便观察它们对Baseline结果的影响。在进入下一阶段时,似乎对提高准确性或推理时间没有贡献的技术和结构被过滤掉。然后,尝试将选定的技术组合起来。...使用更高分辨率的特征图通常可以提高对较小目标的性能,但需要耗费推理时间和潜在的对较大目标的检测,这与增加输入图像大小的效果类似。...所应用的技术,即自动赛车技术,可以从这样的改进中获益良多。正如在图8中看到的,这样的变化确实对检测有可量化的影响。

    3.2K40

    基于PaddleX构建专属行车助手,为交通安全保驾护航

    其中,驾驶员“三超一疲劳”也是造成事故的重要原因之一。 本项目主要为了解决驾驶人由于疲劳或产生幻觉或忽视交通路标的问题,通过对交通路标的检测,从而对驾驶员进行提醒。...contributionType=1&shared=1 数据集说明 本项目使用的数据集是:目标检测数据集合集,包含口罩识别数据 、交通标志识别数据、火焰检测数据、锥桶识别数据以及中秋元素识别数据等。...tree objDataset -L 2 我们可以看到这样的效果: 数据准备 本项目使用的数据格式是PascalVOC格式,开发者基于PaddleX开发目标检测模型时,无需对数据格式进行转换,开箱即用...数据预处理 在训练模型之前,对目标检测任务的数据进行预处理,从而提升模型效果。...可用于数据处理的API有: Normalize:对图像进行归一化 ResizeByShort:根据图像的短边调整图像大小 RandomHorizontalFlip:以一定的概率对图像进行随机水平翻转 RandomDistort

    47920

    资源 | 1460万个目标检测边界框:谷歌开源Open Images V4数据集

    对于图像中的每个标签,我们都详尽地标注了图像中从属于该目标类的每个实例。我们一共标注了 1460 万个边界框。平均每个图像有 8.4 个带有边界框的目标。...我们标注了它们之间的视觉关系,用来支持视觉关系检测,这是一个需要结构化推理的新兴任务。...图 1:Open Image 中用于图像分类、目标检测和视觉关系检测的标注示例。对于图像分类任务,正类标签(出现在图像中)是绿色的,而负类标签(没有出现在图像中)是红色的。...对于视觉关系检测任务,带有虚线轮廓的边界框将两个具有特定视觉关系的目标圈在一起。 ? 图 17:每类边界框的数量。横轴是按边界框数量对各类进行排序的结果,为了提高可读性,我们将该结果用对数刻度表示。...我们还标明了最常见的类的名称。 ? 图 18:每张图像中的类别数量。每张图像不同类别数量归一化(左)和非归一化(右)直方图。 ?

    1.9K30

    AR眼镜在巡检业务中的软件架构设计|阿法龙 XR 云平台

    在工业、电力、能源日常巡检运维工作中引入 AR 眼镜,不是简单换个终端,而是需要一套端(AR 眼镜)+边(本地服务器/网关)+云(企业系统/AI) 的软件方案: 软件功能模块如下: 1....AR眼镜引入AI识别,对设备、仪表仪器状态进行自动判断并录入系统,能够大大提升巡检效率,下面是实现的具体方案: AI 识别是核心能力之一,主要包括 OCR 表计读数识别、设备异常检测、物体定位识别 三类场景...边缘侧负责实时、低延迟的识别,例如读数、阀门状态检测;云端侧负责大模型推理、知识问答和复杂图像分析。 1. OCR 表计识别 可基于 PaddleOCR、Tesseract 或自训练的 OCR 模型。...设备异常检测 常用目标检测模型(如 YOLOv8、Detectron2),在边缘侧部署 TensorRT/ONNX Runtime 加速。典型应用是识别 油污泄漏、锈蚀、裂纹。 3....在架构上,AR 眼镜通过 SDK 调用边缘 AI 模型推理接口,返回识别结果后实时叠加在画面中。同时,云端可对存储的巡检影像做离线大模型分析,用于趋势预测和知识库更新。

    35810

    远超YOLOP | 超轻超快的TwinLiteNet实现多任务自动驾驶感知

    推荐这种多输出设计的原因如下: 独立性能优化:通过两个专用的输出块,可以独立优化每个类别的分割性能。这种方法允许单独对可行驶区域和车道进行微调和改进,而不受其他类别的影响。...Focal Loss的目标是减少像素间的分类错误,并解决易于预测样本的影响以及严重惩罚难以预测样本的问题,如方程式1所示。...这是可以理解的,因为TwinLiteNet的开发重点是优化推理时间而不是准确性。 图4a展示了一些模型的分割结果。...这一观察结果强调了该模型的准确性和对车道配置的准确预测能力,不受光照条件的影响。 3.4、消融研究 在本节中,作者进行了消融研究。提出了不同消融选项并展示了它们对应的结果,如表IV所示。...这表明在优化推理速度的同时,模型的准确性也受到了影响。

    1.8K20

    YOLOv8深度解析:从架构革新到应用实践

    YOLOv8的无锚框设计通过直接回归目标的中心点和边界框参数,实现了更直接、更高效的检测方式。这种设计的核心思想是将每个网格点视为潜在的目标中心,通过学习偏移量和尺度信息来定位目标。...这种方法不仅简化了后处理流程,还提升了检测的精度,特别是在密集目标场景下表现更为出色。三、多任务统一框架的构建1. 任务多样性的支持YOLOv8最令人印象深刻的特点之一是其对多种视觉任务的统一支持。...从基础的目标检测到复杂的实例分割,从人体姿态估计到有向目标检测,YOLOv8通过模块化设计实现了一套代码支持多种任务的目标。这种设计理念的实现依赖于共享的特征提取器和任务特定的输出头。...实例分割的技术实现在实例分割任务中,YOLOv8采用了掩码分支设计,通过在检测头的基础上增加分割预测模块,实现像素级的目标分割。...姿态估计的关键点检测在人体姿态估计任务中,YOLOv8通过关键点回归的方式实现人体骨架的检测。模型不仅需要定位人体目标,还需要准确预测关键关节点的位置,这对特征表示能力提出了更高的要求。

    1.2K10

    蚂蚁集团联手上海财经大学:揭开AI大模型在金融领域的神秘面纱 读书笔记 - 9

    3.1.4 可溯源性 可溯源性的概念是指对于模型推理阶段所生成的文本,能够追溯文本来源。追溯源头,可以提升大模型的安全性质。 01 分类 1.二分类。...二分类检测目标为判断文本是由人类还是指定模型生成。大多数模型是这类。 2.多分类。检测目标除了判断文本是由人类还是模型生成之外,还需要进一步识别出生成该文本的具体模型。...然而此方法的性能在很大程度上取决于训练和测试时的数据分布相似性,容易受到分布外问题的影响。 待检测的文本(也是数据集),分为真实文本、生成文本,训练二分类器进行区分。...1-1-2 RoBERTa 文章工作: 用更长的时间,更大的batch size,更多的数据进行训练 去掉BERT中的NSP目标(next sentence prediction) 在更长的句子上进行训练...用于确定训练数据与大模型输出的关联度,量化训练样本对大模型输出的影响程度。其包括影响函数验证、数据模拟器验证以及数据模型验证。

    35210
    领券