Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >多尺度深度特征(下):多尺度特征学习才是目标检测精髓(论文免费下载)

多尺度深度特征(下):多尺度特征学习才是目标检测精髓(论文免费下载)

作者头像
计算机视觉研究院
发布于 2022-04-18 04:14:42
发布于 2022-04-18 04:14:42
8700
举报

计算机视觉研究院专栏

作者:Edison_G

深度特征学习方案将重点从具有细节的具体特征转移到具有语义信息的抽象特征。它通过构建多尺度深度特征学习网络 (MDFN) 不仅考虑单个对象和局部上下文,还考虑它们之间的关系。

公众号ID|ComputerVisionGzq

学习群|扫码在主页获取加入方式

论文获取|回复”MDFN“获取论文

1

前景回顾

如果想详细知道上集我们具体说了多尺度特征的重要性及其发展,请点击下方链接,查阅相关内容:

多尺度深度特征(上):多尺度特征学习才是目标检测精髓(干货满满,建议收藏)

SSD框架

ASPP网络

Cascaded

我们“计算机视觉研究院”还分享了更多与目标检测相关的干货及实践内容,有兴趣的同学可以查看历史消息,也可以从下方部分链接中进入:

2

新框架

那我们现在接着上一期的继续说多尺度深度特征学习。

上一期我们得出的结论是:浅层和深层的特征对于目标识别和定位起着必不可少的作用。为了有效地利用检测到的特征信息,应考虑另一约束条件,以防止特征被改变或覆盖。

新框架提出了一种创新的目标检测器,它利用在高级层中学习到的深层特征。与较早层产生的特征相比,深层特征更擅长表达语义和上下文信息。所提出的深度特征学习方案将重点从具有细节的具体特征转移到具有语义信息的抽象特征。它通过构建多尺度深度特征学习网络 (MDFN) 不仅考虑单个目标和局部上下文,还考虑它们之间的关系。MDFN通过将信息平方和立方初始模块引入高层来有效地检测目标,它采用参数共享来提高计算效率。

MDFN通过集成多边界框、多尺度和多层次技术提供多尺度目标检测器。尽管MDFN采用了一个具有相对较小基础网络(VGG-16)的简单框架,但与具有更深或极宽的宏观层次结构的具有更强特征提取能力的那些相比,它获得了更好或具有竞争力的检测结果。所提出的技术在KITTI、PASCAL VOC和COCO数据集上进行了广泛的评估,在KITTI上取得了最佳结果,在PASCAL VOC和COCO上取得了领先的性能。这项研究表明,深层特征提供了突出的语义信息和各种上下文内容,这有助于其在检测小目标或被遮挡目标方面的卓越性能。此外,MDFN 模型计算效率高,在精度和速度之间取得了很好的平衡。

Deep feature learning inception modules

深度特征学习初始模块捕获来自基础网络的直接输出。新框架的基本初始模块通过激活多尺度感受野来充分利用深度特征图。在每个模块中,通过1×1过滤直接利用来自前一层的输出特征信息。然后进行3×3、5×5和7×7过滤以激活特征图上的各种感受野,从而在相应的输入图像上捕获不同范围的场景。 

研究者在实践中仅使用1×1和3×3滤波器实现多尺度滤波,以尽量减少参数数量。为高层构建了两种类型的幂运算初始模块:一种是信息方初始模块,另一种是信息立方初始模块,如上图所示。通过为不同的过滤器分配权重来构建这两个模块:在以下等式中给出:

上表达式实际上可以分别通过以下信息平方和三次运算来近似。

Parameter Sharing:

通过共享参数,可以有效地实现所提出的信息平方和立方初始模块。例如,通过从5×5单元的第一个3×3过滤器中提取输出并将其与3×3过滤单元的并行输出连接起来,在3×3和5×5过滤单元之间共享参数。然后,3×3过滤操作的输出通道数量隐式加倍,而过滤器集仅使用一次,如上图(b)中的红色箭头所示。这种参数共享可以进一步用于cubic inception模块,如上图(c)所示。3×3滤波操作的输出分别来自3×3、5×5和7×7滤波单元,如上图(c)中三个红色箭头所示。同样,5×5滤波操作的输出分别来自5×5和7×7滤波单元,如两个绿色箭头所示。

Multi-Scale object detection scheme

在新框架模型中,给每个给定位置k个边界框,计算c类分数和每个边界框四个顶点相对于默认边界框的四个偏移量。最终,为特征图内的每个位置提供了总共k(c + 4)个过滤器。因此,每个尺寸为m×n的特征图的输出数量应为k(c + 4)mn。已证实,使用各种默认的框形状将有助于为单发网络预测框的任务,从而提高了目标定位和分类的准确性。 研究者采用这种多边界框技术作为多尺度方案的第一个属性。

深度特征学习起始模块被应用在四个连续的高级层单元中。这四个层单元将其输出深度特征直接传输到最终预测层,这将信息传输完全缩短。

从训练的角度来看,这些缩短的连接使网络的输入和输出彼此更接近,这有益于模型的训练。高级层和最终预测层之间的直接连接缓解了梯度消失的问题,并增强了特征传播。另一方面,四个高级层单元的序列通过语义和上下文信息获取两种方式最大化了深度特征提取和表示的能力。首先,它使后三个高层从先前的较低层获取上下文信息。其次,同一级别的层可以提供不同范围的上下文信息,以及可以在当前层输出中自然构建的更精确的语义表达。这个过程是多尺度方案的第二个特性。

研究者使用多尺度过滤器来激活各种大小的感受野,以增强语义和上下文信息的提取。要注意的另一个方面是要素图的大小。在大多数网络中,特征图的大小会随着深度的增加而逐渐减小。这考虑到系统的内存有限以及功能的比例不变。因此,由于其输入特征图的分辨率比在较早的层中产生的分辨率小得多,因此在网络深处接受的多尺度滤波器将具有较少的计算负担。这抵消了滤波操作增加带来的计算负担。这是拟议的多尺度方案的第三个特性。

Layer structure of deep inception module

提出了两种深度特征学习网络体系结构,分别成为MDFN-I1和MDFN-I2. 它们都具有四个high-level deep feature Inception单元。 

3

实验及可视化

Average precision(%) on KITTI validation set

from left to right, represent the results from SSD, MDFN-I1 and MDFN-I2

PASCAL VOC2007 test detection results

Detection results on COCO test-dev

从上往下分别是SSD、MDFN-I1和MDFN-I2检测结果

基于作者提出的框架,在pytorch框架中实现了作者的基本思想,在COCO数据集中简单训练,最终结果比SSD结果好一点,具体效果如下:

© THE END 

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入!

计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

扫码关注

计算机视觉研究院

公众号ID|ComputerVisionGzq

学习群|扫码在主页获取加入方式

源代码|关注回复“最佳检测”获取

 往期推荐 

🔗

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 计算机视觉战队 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
自己觉得挺有意思的目标检测框架,分享给大家(源码论文都有)
计算机视觉研究院专栏 作者:Edison_G 最近“计算机视觉研究院”有一段时间没有分享最新技术,但是最近我看了一些之前的检测框架,发现有两个很有意思,不错的框架,接下来我给大家简单分析下,希望给大家带来创新的启示! 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文获取|回复”PRN“获取论文 检测是视觉的基底,不管你应用在什么领域,检测识别是最基础也是最重要的技术之一,就好比人类的眼睛,只要你看到了,才传输到大脑更新迭代学习,促使我们认识世界万物。所以,我们一定
计算机视觉研究院
2022/03/25
4880
多尺度深度特征(下):多尺度特征学习才是目标检测精髓
如果想详细知道上集我们具体说了多尺度特征的重要性及其发展,请点击下方链接,查阅相关内容:
计算机视觉研究院
2022/01/26
5870
多尺度深度特征(下):多尺度特征学习才是目标检测精髓
多尺度深度特征(上):多尺度特征学习才是目标检测精髓(干货满满,建议收藏)
下采样倍数小(一般是浅层)的特征感受野小,适合处理小目标,小尺度特征图(深层)分辨率信息不足不适合小目标。在yolov3中对多尺度检测的理解是,1/32大小的特征图(深层)下采样倍数高,所以具有大的感受野,适合检测大目标的物体,1/8的特征图(较浅层)具有较小的感受野,所以适合检测小目标。FPN中的处理在下面。对于小目标,小尺度feature map无法提供必要的分辨率信息,所以还需结合大尺度的feature map。还有个原因是在深层图做下采样损失过多信息,小目标信息或许已经被忽略。
计算机视觉研究院
2022/01/26
2.4K0
多尺度深度特征(上):多尺度特征学习才是目标检测精髓(干货满满,建议收藏)
Fast YOLO:用于实时嵌入式目标检测(附论文下载)
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 计算机视觉研究院专栏 作者:Edison_G 目标检测被认为是计算机视觉领域中最具挑战性的问题之一,因为它涉及场景中对象分类和对象定位的组合。今天分享这个框架有点陈旧,但精髓! 一、前言 目标检测被认为是计算机视觉领域中最具挑战性的问题之一,因为它涉及场景中对象分类和对象定位的组合。最近,与其他方法相比,深度神经网络 (DNN) 已被证明可以实现卓越的目标检测性能,其中YOLO
计算机视觉研究院
2022/05/16
4490
Fast YOLO:用于实时嵌入式目标检测(附论文下载)
CLCNet:用分类置信网络重新思考集成建模(附源代码下载)
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/pdf/2205.09612.pdf 链接: https://pan.baidu.com/s/1oUjAOOzP6CEuZYkLqi5Zsg  密码: 4pja 计算机视觉研究院专栏 作者:Edison_G 分类置信网络(CLCNet),可以确定分类模型是否正确分类输入样本。 1 概括 分类置信网络(CLCNet)可以获取任意维度的
计算机视觉研究院
2022/05/23
4260
CLCNet:用分类置信网络重新思考集成建模(附源代码下载)
CVPR小目标检测:上下文和注意力机制提升小目标检测(附论文下载)
计算机视觉研究院专栏 作者:Edison_G CVPR21文章我们也分享了很多最佳的框架,在现实场景中,目标检测依然是最基础最热门的研究课题,尤其目前针对小目标的检测,更加吸引了更多的研究员和企业去研究,今天我们“计算机视觉研究院”给大家分享一个小目标检测精度提升较大的新框架! 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文: https://arxiv.org/pdf/1912.06319.pdf 1 简要 在各种环境中应用目标检测算法有很多局限性。特别是检
计算机视觉研究院
2022/06/27
7.8K0
CVPR小目标检测:上下文和注意力机制提升小目标检测(附论文下载)
小样本检测:蒸馏&上下文助力小样本检测(代码已开源)
传统的基于深度学习的目标检测方法需要大量的边界框标注数据进行训练,获得如此高质量的标注数据成本很高。少样本目标检测,学习适应只有少数带注释的例子的新类,非常具有挑战性,因为新目标的细粒度特征很容易被忽略,而只有少数可用数据。
计算机视觉研究院
2023/08/24
6230
小样本检测:蒸馏&上下文助力小样本检测(代码已开源)
CVPR小样本检测:蒸馏&上下文助力小样本检测(代码已开源)
计算机视觉研究院专栏 作者:Edison_G 目标检测现在的框架越来越多,我们“计算机视觉研究院”最近也分享了众多的目标检测框架!今天我们继续分享一个最新的检测框架——YOLOR。 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文:https://arxiv.org/pdf/2103.17115.pdf 开源代码: https://github.com/hzhupku/DCNet 1 前言 传统的基于深度学习的目标检测方法需要大量的边界框标注数据进行训练,获得
计算机视觉研究院
2022/03/14
1.4K0
CVPR21小目标检测:上下文和注意力机制提升小目标检测(附论文下载)
在各种环境中应用目标检测算法有很多局限性。特别是检测小目标仍然具有挑战性,因为它们分辨率低,信息有限。
计算机视觉研究院
2021/07/09
7.2K0
目标检测干货 | 多级特征重复使用大幅度提升检测精度(文末附论文下载)
计算机视觉研究院专栏 作者:Edison_G 近年来,在利用深度卷积网络检测目标方面取得了显著进展。然而,很少有目标检测器实现高精度和低计算成本。 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 一、简要 近年来,在利用深度卷积网络检测目标方面取得了显著进展。然而,很少有目标检测器实现高精度和低计算成本。今天分享的干货,就有研究者提出了一种新的轻量级框架,即多级特性重用检测器(MFRDet),它可以比两阶段的方法达到更好的精度。它还可以保持单阶段方法的高效率,而且不使用非
计算机视觉研究院
2022/03/04
4800
霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/ftp/arxiv/papers/2205/2205.00908.pdf 链接: https://pan.baidu.com/s/1ar2BN1p2jJ-cZx1J5dGRLg  密码: 2lah 计算机视觉研究院专栏 作者:Edison_G 目前霸榜第一,99.56%,一秒31.34张图片。 1 概括 半监督框架下,研究者提出了一
计算机视觉研究院
2022/05/20
1K0
霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测
目标检测综述:基于至今先进深度学习的目标检测模型综述(附综述论文及代码下载)
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/pdf/2104.11892.pdf 计算机视觉研究院专栏 作者:Edison_G 目标检测是对图像或视频中的目标进行分类和定位的任务。 由于其广泛的应用,近年来它已获得突出地位。  01 概述 今天分享中我们调查了基于深度学习的目标检测器的最新发展。还提供了检测中使用的基准数据集和评估指标的简明概述,以及检测任务中使用的一些突出的
计算机视觉研究院
2022/08/29
2.7K0
目标检测综述:基于至今先进深度学习的目标检测模型综述(附综述论文及代码下载)
一周干货回顾&总结(附论文、源码、链接)
优于FCOS:在One-Stage和Anchor-Free目标检测中以最小的成本实现最小的错位(代码待开源)
计算机视觉研究院
2022/01/27
4380
一周干货回顾&总结(附论文、源码、链接)
工业检测:基于密集尺度特征融合&像素级不平衡学习框架(论文下载)
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/pdf/2203.09387v1.pdf 计算机视觉研究院专栏 作者:Edison_G 知识蒸馏已成功应用于图像分类。然而目标检测要复杂得多,大多数知识蒸馏方法都失败了。 01 前言 边缘检测是计算机视觉领域的一项基本任务,是视觉场景识别和理解的重要预处理操作。在常规模型中,生成的边缘图像模糊不清,边缘线也很粗,这通常需要使用非
计算机视觉研究院
2022/04/13
3300
工业检测:基于密集尺度特征融合&像素级不平衡学习框架(论文下载)
半监督辅助目标检测:自训练+数据增强提升精度(附源码下载)
计算机视觉研究院专栏 作者:Edison_G 近年来,半监督学习(SSL)受到越来越多的关注。在当没有大规模注释数据时,SSL提供了使用unlabel data来改善模型性能的方法。 公众号ID|ComputerVisionGzq学习群|扫码在主页获取加入方式 论文: https://arxiv.org/pdf/2005.04757.pdf 1 简要 半监督学习 (SSL) 有可能提高使用未标记数据的机器学习模型的预测性能。尽管最近取得了显着进展,但SSL的演示范围主要是图像分类任务。  在今天
计算机视觉研究院
2022/03/04
9940
目标检测干货 | 多级特征重复使用大幅度提升检测精度
近年来,在利用深度卷积网络检测目标方面取得了显著进展。然而,很少有目标检测器实现高精度和低计算成本。今天分享的干货,就有研究者提出了一种新的轻量级框架,即多级特性重用检测器(MFRDet),它可以比两阶段的方法达到更好的精度。它还可以保持单阶段方法的高效率,而且不使用非常深的卷积神经网络。该框架适用于深度和浅层特征图中包含的信息的重复利用,具有较高的检测精度。
计算机视觉研究院
2022/01/26
6080
目标检测干货 | 多级特征重复使用大幅度提升检测精度
2022年,PyTorch在AI顶会的占比已经上80%了
欢迎关注“ 计算机视觉研究院 ” 计算机视觉研究院专栏 作者:Edison_G 扫描二维码 关注我们 微信公众号 : 计算机视觉研究院 机器之心报道 编辑:蛋酱 在2021年的各大顶会中,使用PyTorch的论文数量已经是使用TensorFlow的至少3倍以上,而这一差距还在持续扩大。 从早期的学术框架 Caffe、Theano,到后来的PyTorch、TensorFlow,自 2012 年深度学习再度成为焦点以来,很多机器学习框架成为研究者和业界工作者的新宠。 2018 年底,谷歌推出了全新的J
计算机视觉研究院
2022/03/16
5630
炼丹师的福音,训练更快收敛的绝佳方案(附源代码)
计算机视觉研究院专栏 作者:Edison_G 目标检测是现在最热门的研究课题,现在的框架越来越多,但是技术的新颖性到了瓶颈,目前开始流行Transformer机制,而且在目标检测领域也能获得较大的提升,也是目前研究的一个热点。 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 开源代码:https://github.com/gaopengcuhk/SMCA-DETR 1 前言&背景 目标检测是现在最热门的研究课题,现在的框架越来越多,但是技术的新颖性到了瓶颈,目前开始流行
计算机视觉研究院
2022/03/04
3330
基于分层自监督学习将视觉Transformer扩展到千兆像素图像
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/pdf/2206.02647.pdf 计算机视觉研究院专栏 作者:Edison_G Vision Transformers (ViT) 及其多尺度和分层变体已成功地捕获图像表示,但它们的使用通常被研究用于低分辨率图像(例如256×256、384×384)。 1 概括 对于计算病理学中的千兆像素全玻片成像 (WSI),WSI在20倍放
计算机视觉研究院
2022/06/09
1K0
基于分层自监督学习将视觉Transformer扩展到千兆像素图像
大年初一也不忘检测新框架!CBNetV2:复合主干网络的目标检测(附源代码)
计算机视觉研究院专栏 作者:Edison_G 现代性能最佳的目标检测器在很大程度上依赖于主干网络,其进步通过探索更有效的网络结构带来一致的性能提升。然而,设计或搜索新的主干并在ImageNet上对其进行预训练可能需要大量的计算资源,这使得获得更好的检测性能成本很高。 公众号ID|ComputerVisionGzq学习群|扫码在主页获取加入方式 论文: https://arxiv.org/pdf/2107.00420.pdf 1 简要 现代性能最佳的目标检测器在很大程度上依赖于主干网络,其进步通过探
计算机视觉研究院
2022/03/04
4850
推荐阅读
自己觉得挺有意思的目标检测框架,分享给大家(源码论文都有)
4880
多尺度深度特征(下):多尺度特征学习才是目标检测精髓
5870
多尺度深度特征(上):多尺度特征学习才是目标检测精髓(干货满满,建议收藏)
2.4K0
Fast YOLO:用于实时嵌入式目标检测(附论文下载)
4490
CLCNet:用分类置信网络重新思考集成建模(附源代码下载)
4260
CVPR小目标检测:上下文和注意力机制提升小目标检测(附论文下载)
7.8K0
小样本检测:蒸馏&上下文助力小样本检测(代码已开源)
6230
CVPR小样本检测:蒸馏&上下文助力小样本检测(代码已开源)
1.4K0
CVPR21小目标检测:上下文和注意力机制提升小目标检测(附论文下载)
7.2K0
目标检测干货 | 多级特征重复使用大幅度提升检测精度(文末附论文下载)
4800
霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测
1K0
目标检测综述:基于至今先进深度学习的目标检测模型综述(附综述论文及代码下载)
2.7K0
一周干货回顾&总结(附论文、源码、链接)
4380
工业检测:基于密集尺度特征融合&像素级不平衡学习框架(论文下载)
3300
半监督辅助目标检测:自训练+数据增强提升精度(附源码下载)
9940
目标检测干货 | 多级特征重复使用大幅度提升检测精度
6080
2022年,PyTorch在AI顶会的占比已经上80%了
5630
炼丹师的福音,训练更快收敛的绝佳方案(附源代码)
3330
基于分层自监督学习将视觉Transformer扩展到千兆像素图像
1K0
大年初一也不忘检测新框架!CBNetV2:复合主干网络的目标检测(附源代码)
4850
相关推荐
自己觉得挺有意思的目标检测框架,分享给大家(源码论文都有)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档