本期我们提供 MMTracking 里视频目标检测（VID）任务的食用指南，以及 AAAI2021 论文《Temporal RoI Align for Video Object Recognition》的论文解读以及其在 MMTracking 下的实现细节。
1.输入一张图片，进行数据预处理（尺寸，归一化等等） 2.将处理好的图片传入预训练的神经网络中(ResNet等，优秀的主干特征提取网络)获得相应的feature map。3.通过feature map中的每一点设定ROI，获得多个ROI候选框 4.对这些多个ROI候选框送到RPN中进行二值分类（前景或后景）和BB回归(Bounding-box regression),过滤掉一部分候选的ROI。5.对剩下的ROI进行ROI Align操作（即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来） 6.对这些ROI进行分类（N类别分类），BB回归和Mask生成（在每一个ROI里面进行FCN操作）。
哈喽，大家好，今天我们一起学习一下三个重要的概念：RoI，RoI pooling 和 RoI Align
实例分割是一种在像素层面识别目标轮廓的任务，相比其他相关任务，实例分割是较难解决的计算机视觉任务之一：
https://openaccess.thecvf.com/content/CVPR2021/papers/Han_ReDet_A_Rotation-Equivariant_Detector_for_Aerial_Object_Detection_CVPR_2021_paper.pdf
Mask RCNN是何凯明大神以及Faster RCNN作者Ross B. Girshick等多人发表于ICCV 2017。我们知道对于图像分类来说
RoI(Region of Interest)是通过不同区域选择方法，从原始图像(original image)得到的候选区域(proposal region)。
计算机视觉研究院专栏 作者：Edison_G 有些目标往往具有任意方向的分布。因此，检测器需要更多的参数来编码方向信息，这往往是高度冗余和低效的... 公众号ID｜ComputerVisionGzq 学习群｜扫码在主页获取加入方式 论文： https://openaccess.thecvf.com/content/CVPR2021/papers/Han_ReDet_A_Rotation-Equivariant_Detector_for_Aerial_Object_Detection_CVPR_2021
目标检测系列之二（R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN）
最近在做一个目标检测项目，用到了Mask RCNN。我仅仅用了50张训练照片，训练了1000步之后进行测试，发现效果好得令人称奇。就这个任务，很久之前用yolo v1训练则很难收敛。不过把它们拿来比当然不公平，但我更想说的是，mask RCNN效果真的很好。
Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明，在该篇论文发表的时候，何凯明已经去了FaceBook。我们先来看一下，Mask R-CNN取得了何等的成果。
科研人员除了科研能力，如果能具备优秀的工程能力，将是非常棒的。本文记录了detectron pytorch版本的代码结构笔记，一起来学习一下大神优美的工程架构。 detection pytorch link: https://github.com/roytseng-tw/Detectron.pytorch
依然要感激如此美丽的封面图片。 在“基于深度学习的图像目标检测(上)”里面， 我们详细介绍了R-CNN走到端到端模型的Faster R-CNN的进化流程。 这里， 我们介绍， 后续如何变得更快、更强！ 前言 天下武功唯快不破！ 所以在如何让检测更快？ 主要有两种思路： 1. 把好的方法改进的更快！ 前面我们提到了从R-CNN到Faster R-CNN主要的技术思想就是避免特征计算浪费。 所以要把ConvNet特征计算前移，只做一次计算。 而把区域操作后移。 我们也提到Faster R-CNN在RoI之
1 导读 本文详细讲解了 RoIPooling 、RoIAlign 和 RoIWarp ，用非常的图来帮助理解，相信通过本文阅读能让你对这三者有更加深刻的理解 如果对你有所帮助请点个在看、点或分享，鼓励一下小编
PANet是CVPR 2018的一篇实例分割论文，作者来自港中文，北大，商汤和腾讯优图。论文全称为：Path Aggregation Network for Instance Segmentation ，即用于实例分割的路径聚合网络。PANet在Nask RCNN的基础上做了多处改进，充在COCO 2017实例分割比赛上夺冠，同时也是目标检测比赛的第二名。接下来就一起来看看吧。
论文: Acquisition of Localization Confidence for Accurate Object Detection
目前主流的高精度实例物体分割框架都是基于很强的物体检测方法，如 Fast/Faster R-CNN, YOLO 等。虽然不同的方法设计了不同的结构，但是这些方法都遵循着一个基本的规则：首先从图像中生成大量的候选区域，然后用非极大值抑制（NMS）算法从这些数以千计的候选区域中剔除那些重复的候选区域。
哈喽，大家好，今天我们一起来研读一篇CV（计算机视觉）领域的重量级论文《Mask RCNN》，这篇论文由大神RGB和何凯明于2018年发表。距今已有3年之久，虽然CV领域的技术日新月异，但是，这篇论文中的很多创新之处仍然是后续理论发展的基石，我们有必要阅读、理解、掌握。
对RoI进行pooling的操作最早由SPPNet中的SPP layer提出：
backbone 为 vgg16 的 faster rcnn 网络结构如下图所示，可以清晰的看到该网络对于一副任意大小 PxQ 的图像，首先缩放至固定大小 MxN，然后将 MxN 图像送入网络；而 Conv layers 中包含了 13 个 conv 层 + 13 个 relu 层 + 4 个 pooling 层；RPN 网络首先经过 3×3 卷积，再分别生成 positive anchors 和对应 bounding box regression 偏移量，然后计算出 proposals；而 Roi Pooling 层则利用 proposals 从 feature maps 中提取 proposal feature 送入后续全连接和 softmax 网络作 classification（即分类： proposal 是哪种 object）。
目标检测是计算机视觉和模式识别的重要研究方向，主要是确定图像中是否有感兴趣的目标存在，并对其进行探测和精确定位。传统的目标检测流程采用滑动窗口进行区域选择，然后采用 SIFT、HOG 等方法进行特征提取，最后采用 SVM、Adaboost 进行类别判断。但是传统的目标检测方法面临的主要问题有：特征提取鲁棒性差，不能反应光照变化、背景多样等情况；区域选择没有针对性，时间复杂度高，窗口冗余。基于深度学习的目标检测模型有 Faster RCNN，Yolo 和 Yolo2，SSD 等，对图片中的物体进行目标检测的应用示例如下所示：
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 17 个在目标检测任务上曾取得 SOTA 的经典模型。 第 1 期：R-CNN、SPP-Net、Fast R-CNN、Faster R-C
首先进行数据处理，然后输入backbone得到特征图，然后进入RPN中提取候选区域roi，然后再ROI Align提取特争，然后送入BBox Head进行进一步的回归和分类。 主要介绍方面
推荐参考facebook的开源代码加深理解：https://github.com/facebookresearch/maskrcnn-benchmark
最近在看Mask R-CNN，了解到其边框包裹紧密的原因在于将 Roi Pooling 层替换成了 RoiAlign 层，后者舍去了近似像素取整数的量化方法，改用双线性插值的方法确定特征图坐标对应于原图中的像素位置。本文整理了双线性插值的一些知识，便于更好的理解其中的操作。
论文：Acquisition of Localization Confidence for Accurate Object Detection
本文首发于 【集智书童】，白名单账号转载请自觉植入本公众号名片并注明来源，非白名单账号请先申请权限，违者必究。
RCNN全称为Regions with CNN Features，是将深度学习应用到物体检测领域的经典之作，并凭借卷积网络出色的特征提取能力，大幅度提升了物体检测的效果。而随后基于RCNN的Fast RCNN及Faster RCNN将物体检测问题进一步优化，在实现方式、速度、精度上均有了大幅度提升。
AAAI2021录取论文 “Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection“，作者来自中科大和香港中文大学。
假设一个团队有一个项目经理和三个程序员，甲方正在疯狂地提各种需求，然后项目经理要做的就是根据每位程序员的专长，将不同的需求分配给不同的程序员来做，但是项目经理自己不会去实现需求，此时我们可以说，项目经理就是一个 Dispatcher。
图片分类任务我们已经熟悉了，就是算法对其中的对象进行分类。而今天我们要了解构建神经网络的另一个问题，即目标检测问题。这意味着，我们不仅要用算法判断图片中是不是一辆汽车， 还要在图片中标记出它的位置， 用边框或红色方框把汽车圈起来， 这就是目标检测问题。 其中“定位”的意思是判断汽车在图片中的具体位置。
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记，对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
物体检测（Object Detection）的任务是找出图像或视频中的感兴趣目标，同时实现输出检测目标的位置和类别，是机器视觉领域的核心问题之一，学术界已有将近二十年的研究历史。随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初 2013 年提出的 R-CNN、OverFeat，到后面的 Fast/Faster R-CNN、SSD、YOLO 系列，以及Mask R-CNN、RefineDet、RFBNet等(图 1,完整论文列表参见[1])。短短不到五年时间，基于深度学习的目标检测技术，在网络结构上，从 two stage 到 one stage，从 bottom-up only 到 Top-Down，从 single scale network 到 feature pyramid network，从面向 PC 端到面向移动端，都涌现出许多好的算法技术，这些算法在开放目标检测数据集上的检测效果和性能都很出色。
ABCNet（Adaptive Bezier Curve Network）是一个端到端的可训练框架，用于识别任意形状的场景文本。直观的pipeline如图所示。采用了单点无锚卷积神经网络作为检测框架。移除锚定箱可以简化我们任务的检测。该算法在检测头输出特征图上进行密集预测，检测头由4个步长为1、填充为1、3×3核的叠层卷积层构成。
2D测量，顾名思义，是在两个方向的测量即x、y（行、列）方向，最常见是直线、圆、椭圆的相关几何参数测量，其测量流程与1D测量类似的。
来源丨https://zhuanlan.zhihu.com/p/145842317
比起图像分类任务的数据扩增，目标检测的难点在于，要保持边界框和发生形变的图像之间的一致性 (Consistency) 。
旋转目标检测是一项有挑战性的任务，因为难以定位多角度物体并且与背景准确和快速的分离。虽然已经取得了长足的进步，但在实际设置中，对于大宽高比，密集分布和类别不平衡的旋转目标检测仍然存在困难。
目前的主流算法也可以分成单阶段和两阶段两大类两阶段的方法都是基于目标检测和实例分割中常用的算法Faster R-CNN 和Mask R-CNN。Li 等人(2017a)提出了第1个基于深度学习的端到端自然场景文本检测和识别算法，该方法基于Faster R-CNN 进行检测，将通过RoI-Pooling 提取的共享特征送入基于注意力机制(Attention)的识别器进行文本识别，但该方法只能检测识别水平方向的文本。Lyu 等人(2018b) 基于Mask R-CNN 提出了MaskTextSpotter，该方法在RoI-Align 之后额外增加了一个单字实例分割的分支，对文本的识别也是依赖于该分支的单字符分类。
最近涉猎了些扩增子甲基化的测序的内容，发现单就分析方面，就有不少的分析流程呢，一一列举一下！
对于一张图片，R-CNN基于selective search方法大约生成2000个候选区域，然后每个候选区域被resize成固定大小（227×227）并送入一个CNN模型中，使用AlexNet来提取图像特征，最后得到一个4096维的特征向量。然后这个特征向量被送入一个多类别SVM分类器中，预测出候选区域中所含物体的属于每个类的概率值。每个类别训练一个SVM分类器，从特征向量中推断其属于该类别的概率大小。为了提升定位准确性，R-CNN最后又训练了一个边界框回归模型。训练样本为(P,G)，其中P=(Px,Py,Pw,Ph)为候选区域，而G=(Gx,Gy,Gw,Gh)为真实框的位置和大小。G的选择是与P的IoU最大的真实框，回归器的目标值定义为：
图片分类任务我们已经熟悉了，就是算法对其中的对象进行分类。而今天我们要了解构建神经网络的另一个问题，即目标检测问题。这意味着，我们不仅要用算法判断图片中是不是一辆汽车， 还要在图片中标记出它的位置， 用边框或红色方框把汽车圈起来， 这就是目标检测问题。其中“定位”的意思是判断汽车在图片中的具体位置。
从 2006 年以来，在 Hilton、Bengio、LeChun 等人的引领下，大量深度神经网络的论文被发表，尤其是 2012 年，Hinton课题组首次参加 ImageNet图像识别比赛，其通过构建的 CNN 网络AlexNet[1]一举夺得冠军，从此神经网络开始受到广泛的关注。深度学习利用多层计算模型来学习抽象的数据表示，能够发现大数据中的复杂结构，目前，这项技术已成功地应用在包括计算机视觉领域在内的多种模式分类问题上。计算机视觉对于目标运动的分析可以大致分为三个层次:运动分割，目标检测；目标跟踪；动作识别，行为描述[2]。其中，目标检测既是计算机视觉领域要解决的基础任务之一，同时它也是视频监控技术的基本任务。由于视频中的目标具有不同姿态且经常出现遮挡、其运动具有不规则性，同时考虑到监控视频的景深、分辨率、天气、光照等条件和场景的多样性，而且目标检测算法的结果将直接影响后续的跟踪、动作识别和行为描述的效果。故即使在技术发展的今天，目标检测这一基本任务仍然是非常具有挑战性的课题，存在很大的提升潜力和空间。
这个系统是一个计算京津冀地区的生态宜居性评价的系统，而且是四季性的，整体上代码中，首先是加载数据和加载研究区，然后定义常量参数（定义图层和可视化参数以及图例变量），然后定义指定的研究区数据，这个系统中有一个小的差异加载的全国县级尺度、市级尺度和省级尺度因为研究区的面积大小不同，所用的统计的scale的统计是不同的分别是1000，2000，3000的，以此来提升运算速度同时嵌套了条件函数的与设定一次来返回给研究区，再预设过程中，还包括地表温度、MNDWI、植被覆盖度、NDBI、去云函数以及其它函数（NO2\O3\SO2\CO\），最终合成AQI空气质量的计算函数。接下来是主函数，用于整体流程的控制。最后一个部分是UI部分的设定和统计数据的结果，这里是指定年份通过循环函数计算出的季节性结果。
作者灯会为21届中部985研究生，凭借自己整理的面经，去年在腾讯优图暑期实习，七月份将入职百度cv算法工程师。在去年灰飞烟灭的算法求职季中，经过30+场不同公司以及不同部门的面试中积累出了CV总复习系列，此为目标检测篇。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
翻 译 | 天字一号（郑州大学）、李美丽（华南师范大学）、had_in（电子科技大学）、nengdaiper（北京科技大学）
实例分割（Instance Segmentation）是视觉经典四个任务中相对最难的一个，它既具备语义分割（Semantic Segmentation）的特点，需要做到像素层面上的分类，也具备目标检测（Object Detection）的一部分特点，即需要定位出不同实例，即使它们是同一种类。因此，实例分割的研究长期以来都有着两条线，分别是自下而上的基于语义分割的方法和自上而下的基于检测的方法，这两种方法都属于两阶段的方法，下面将分别简单介绍。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
