首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

在实践中,为什么我们需要一种从粗到细的策略来解决光流问题(特征跟踪)?

在实践中,我们需要一种从粗到细的策略来解决光流问题(特征跟踪),主要是因为以下几个原因:

  1. 复杂度控制:光流问题是计算机视觉中的一个重要问题,涉及到对图像序列中像素的运动进行估计。由于图像中的像素数量庞大,直接对所有像素进行光流估计会导致计算复杂度非常高,难以实时处理。因此,采用从粗到细的策略可以有效控制计算复杂度,提高算法的实时性能。
  2. 特征提取:从粗到细的策略可以帮助我们在光流估计过程中选择合适的特征点进行跟踪。在图像中,不同的区域具有不同的纹理和结构,某些区域更容易提取出稳定的特征点,而某些区域可能没有明显的特征点可供跟踪。通过从粗到细的策略,我们可以先对整个图像进行初步的特征提取,然后在更细的尺度上选择更具代表性的特征点进行跟踪,从而提高光流估计的准确性和稳定性。
  3. 鲁棒性增强:光流问题在实际应用中常常面临各种挑战,如图像噪声、运动模糊、遮挡等。通过从粗到细的策略,我们可以逐步优化光流估计的结果,从而提高算法的鲁棒性。在粗粒度的尺度上,我们可以通过全局的运动模型来估计光流;而在细粒度的尺度上,我们可以通过局部的运动模型来进一步优化光流估计结果,从而应对各种复杂情况。

总之,从粗到细的策略在解决光流问题(特征跟踪)中起到了关键作用,它可以控制复杂度、提取合适的特征点、增强算法的鲁棒性。在实践中,我们可以根据具体的应用场景和需求选择适合的从粗到细的策略来解决光流问题。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

17篇入选CVPR 2020,腾讯优图 9 篇精选论文详解

该模型以一种由粗到细的层次方式学习具有判别力的特征。 此外,采用非对称的策略来增加多尺度特征提取,增强样本的区分性特征表示。采用SGD优化方法以端到端的方式训练整个网络。...这些训练样本需要大量的人力物力进行标注,往往无法快速获得,所以无法将目标检测模型快速部署到新样本的检测中,而小样本目标检测方法可以很好地解决这一问题。...联合团队的工作主要有以下贡献: 第一、我们观察到,以前网络学习到的显著性特征可能会阻碍网络学习其他重要信息。...为了解决这一局限性,引入了级联抑制策略,该策略使网络能够逐级挖掘被其他显著特征掩盖的各种潜在的、有用的特征,并融合各级提取的特征作为最后的特征表示; 第二、提出一个显著特征提取(SFE)单元,该单元可以抑制在上一级联阶段学习到的显著特征...因此,文章中提出了一种新颖的机制来减轻过度拟合的问题,从而增强黑盒攻击的可迁移性。

1.1K20

论文简述 | Line Flow Based SLAM

1 摘要 我们提出了一种通过预测和更新代表3D线段的连续2D投影的线流的可视化SLAM方法.虽然使用点和线段的间接SLAM方法取得了优异的效果,但它们在具有挑战性的场景中仍然面临问题,例如遮挡、图像模糊和重复纹理...为了解决这些问题,我们利用对空间和时间域中的2D和3D线段的相干性进行编码的线流作为对应于特定3D线段的所有2D线段的序列.得益于线流表示,可以基于2D和3D线段运动来预测新帧中的相应2D线段.我们创建...如图14的a-d所示, 尽管有类似的纹理、光照变化和反射光等挑战,2D还是成功地从图像中分割出了线段. ?...此外,LF-SLAM可以动态生成精确的3D线图,line flow通过充分利用时空约束来维护2D线段,当相机运动打破限制时,我们的系统会失效,尤其是当相机处于长期突然运动时.解决这个问题的一个可能的解决方案是采用由粗到细的策略...,从图像金字塔中提取线段,可以基于从小到大的图像尺度来执行姿态估计.目前我们的线流模型是基于单目序列中线段的一致性.将来,我们把这种表示扩展到带有立体和RGBD摄像机的SLAM系统.此外,我们计划对例如线和平面进行复合建模

79720
  • ECCV 2020最佳论文讲了啥?作者为ImageNet一作、李飞飞高徒邓嘉

    1、传统方法:稀疏光流估计算法 求解光流预测算法前,首先要知道孔径问题。 如图,从圆孔中观察移动条纹的变化,发现条纹无论往哪个方向移动,从圆孔来看,移动的变化都是一致的。 ?...其中一种传统的Lucas-Kanade算法,是求解稀疏光流的方法,选取了一些可逆的像素点估计光流,这些像素点是亮度变化明显(特征明显)的角点,借助可逆相关性质,预测光流方向。...但在RAFT,这个全称光流循环全对场变换的框架中,过往的3大缺点都被一一解决了: 突破局限,三点创新 第一,先前的框架普遍采用从粗到细的设计,也就是先用低分辨率估算流量,再用高分辨率采样和调整。...高性能端到端光流网络架构 从图中可见,RAFT框架主要由三个部分构成:特征编码器、相关联层(correlation layer)和基于GRU的更新运算器。 ?...下图是构建相关联向量的方法,从图中可见,作者将用了几个2D片段来描述一整个4D向量。

    2K20

    ICCV2019 | 腾讯优图13篇论文入选,其中3篇被选为Oral

    除了合成视图与监督信息之间的损失函数之外,本文提出使用一种基于循环生成的重建损失函数,来提升合成视图的准确性;同时借鉴目前的对抗生成技术,从图像本身的生成分布,与图像的姿态准确性保证两方面出发,提出两个不同作用的对抗学习损失...本论文提出了SPM(自光流模块),希望通过学习不同图像域间的光流解决图像的几何变换问题。...扩展后的生成器包含两个主要模块,自光流模块SPM和微调模块R。此外,该论文还引入了从低分辨率图像到高分辨率的生成方案。...同时,为了产生更高分辨率的图像,该论文采用了一种新颖的粗到细的神经网络训练策略。 在训练好低分辨的神经网络后会有许多中间结果的低分辨率表示。...这一框架也给解决图像转换中的几何变换问题提供了新的解决思路。 论文下载: 上两篇论文可在我爱计算机视觉公众号后台回复优图CV,即可收到百度云下载地址。 本文转载自腾讯优图。

    49010

    CVPR 2020 满分 | 挖坑等跳,FineGym,一个面向细粒度动作分析的层级化高质量数据集

    3) 基于FineGym, 我们从粗粒度到细粒度对现有的SOTA方法进行了多角度分析,体现了粗粒度和细粒度动作理解的区别,研究了采样方法、时域信息整合、模型预训练等在细粒度动作理解方面的问题和特性,开放性地指出了现有方法的局限性和未来可能的研究方向...Flow(光流)特征,并且准确率已经趋于饱和。...然而一旦往更细的粒度(set)前进,光流特征的作用则开始逐渐凸显。 这说明更细粒度的动作识别需要模型的关注点逐渐回到动作本身,而不能通过仅仅学习一些场景和物体信息就能很好地对动作进行分类。...我们在文中用三个不同的实验分析证明了这一观点, a) 对TSN而言,在给定不同的组类别进行元素类别识别时,光流信息相比于RGB特征对结果贡献显著更多; b) TRN学习了帧间关系来建模时域信息,然而一旦将输入的帧的顺序打乱...我们认为,一个可能的原因是细粒度与粗粒度动作的时域模式可能有较大的差异,因此预训练所学难以迁移。 4、现有方法尚难解决的问题。

    1.8K30

    Fast ORB-SLAM

    为了克服这些问题,本文提出了一种轻量型、高效率的fast orb-slam,可以在不需要计算描述子的情况下跟踪相邻帧之间的关键特征点。为此,提出了一种基于稀疏光流的由粗到细关键点描述子匹配方法。...提出了一种新的由粗到精的关键点匹配方法,该方法可以在不需要描述子的情况下,在相邻帧之间建立可靠的关键点对应关系。...相应地,我们的方法建立关键点对应关系,并通过显式的由粗到细的关键点匹配方法处理异常值问题,然后通过最小化对应点之间的重投影误差来恢复相机运动。 ? Fast ORB SLAM系统概述。...在这个序列中,Fast ORB SLAM比ORB-SLAM2具有更好的定位精度,计算时间更少。 由粗到细关键点描述子的匹配方法 ? 通过将三维地标投影到当前帧来预测特征点之间对应关系的图示。 ?...运动模型预测匹配初始值的伪代码 观察到时变序列中相邻两帧具有较小基线距离和亮度不变的特征点,在此基础上,提出了一种由粗到细、与独特描述子的两阶段特征点匹配方法来建立可靠的关键点对应关系。

    1.1K30

    PV-RAFT:用于点云场景流估计的点体素相关场(CVPR2021)

    在本文中,作者提出了一种Point-Voxel Recurrent All-Pairs Field Transforms (PV-RAFT)方法来估计来自点云的场景流。...作者的出发点是认为与从粗到细的策略相比,all-pairs场同时保留了局部相关性和远距离的全局关系。...现有的方法试图通过由粗到细的策略来解决这个问题,但是如果粗阶段的估计不准确,误差往往会累积。 体素分支:为了解决上述问题,作者又提出了一个体素分支来捕获远程的全局相关特征。...: (1)特征提取:分层点云特征学习。 (2)相关场构建:我们基于主特征E (P1)、E (P2) 构建全对相关场C。用于后续迭代更新。 (3)迭代场景流估计:迭代流估计从初始化状态f0 = 0开始。...备注:作者也是我们「3D视觉从入门到精通」特邀嘉宾:一个超干货的3D视觉学习社区

    1.1K70

    数字文艺复兴来了:英伟达造出「AI版」米开朗基罗,实现高保真3D重建

    但是,这样的教师 - 学生损失的解析梯度仍然只会反向传播给局部网格单元。相较而言,数值梯度无需添加网络便能够解决局部性问题。 要使用数值梯度计算表面法线,还需要额外的 SDF 样本。...给定一个采样过的点,还需要在该点周围一定步长内沿正则坐标的每个轴额外采样两个点。 渐进式的细节水平 为了避免陷入错误的局部最小值,从粗到细的优化可以更好地塑造损失图景。...这样的策略已被用于许多计算机视觉应用。Neuralangelo 也采用了一种从粗到细的优化方案来在细节上渐进式地重建表面。...使用高阶导数的数值梯度能自然地让 Neuralangelo 执行从粗到细的优化,这需要考虑两个方面。 步长:前面已经提到,数值梯度可被解释成一种平滑化操作,其中步长控制着分辨率及重建的细节量。...图 4:定性比较不同的从粗到细优化方案 当使用解析梯度时(AG 和 AG+P),粗粒度的表面通常带有伪影。当使用数值梯度时(NG),可以得到更好的粗粒度形状,细节也更为平滑。

    21630

    光流估计综述:从传统方法到深度学习

    随着计算机视觉学界从图像理解转向视频理解,互联网用户从发布图片朋友圈转向发布短视频,人们对视频的研究和应用的关注不断增强。 光流估计作为视频理解的隐形战士,等着我们去寻找其踪迹。...最终,Lucas-Kanade方法给出了一种求解稀疏(明显特征的角点)光流的方法。...我们从Loss的设计,训练数据集和网络设计来分析FlowNet。 ?...从而融合了高层和低层的信息,也引入了coarse-to-fine(由粗到细)的机制。 ?...因此,最为直接而自然的应用就是视频中物体的跟踪,在物体跟踪领域知名的TLD算法便借助了光流估计,图2中展示了在车辆上的特征点光流跟踪的效果。

    3.7K50

    Deblurring with Parameter Selective Sharing and Nested Skip Connections

    参数选择共享:Nah等人首先提出了“由粗到细”的模糊神经网络,通过逐步地由粗到细的方式恢复清晰图像。该方法建立了具有独立参数的深度神经网络。它没有考虑跨尺度的参数关系。...Kim等人利用图像超分辨率网络中的深度递归层来增加接收域。Taoetal。利用尺度递归网络,[33]逐步地将潜像从粗尺度恢复到细尺度。...3.1、参数选择共享虽然这两种方法[19,33]都是从粗到精逐步恢复清晰图像,但它们利用不同的参数策略来达到目的。[19]中的参数独立方案为每个量表分配独立的参数。但是,它缺乏处理不同规模的约束。...参数独立:图2是动态场景中典型的模糊图像。背景建筑大致清晰,但前景人物模糊不清。当我们使用“从粗到细”的框架来执行模糊处理时,应该处理不同的特性。...3.3、网络结构在[19]和[33]之后,我们利用3种尺度来追求“从粗到细”的策略。因此,三个编译码子网络由独立的特征提取和重构、共享的非线性变换模块构成。

    1.9K10

    深度揭秘京东全景主图背后的技术

    对视频的分类等处理过程中,由于视频素材种类千差万别、同种类素材较少,因此我们不采用广为使用、但需要大量数据训练的深度学习方法,我们采用的是光流算法,通过提取光流直方图特征,然后训练支持向量机分类器,对未知类别的样本进行分类...光流法---从图像分析运动的基本工具 光流场是指两幅图像之间像素点的运动速度场,也简称为光流,它是对物理世界中物体上各点实际运动速度的估计,因此计算光流场的问题就被称为光流估计问题,解决光流估计问题的方法统称为光流法...前一种解释代表理论是quasi-stereoscopic理论,该理论派尝试通过2个步骤来解决视觉运动的感知问题,第一步是找出两幅图像各像素点之间的对应关系,第二步是从对应关系中计算出物体的结构。...在针对运动过快的问题中,诸多学者提出了由粗到精(coarse-to-fine)策略或金字塔方法, 尺度较大的图像上像素的位移超过了30个单位,但经过图像缩放后,位移就可以少于5个像素单位了,这其中必然丢失许多细节信息...FlowNet的refinement部分按照由粗到精的策略,以CNN卷积过程的中间层特征作为指导,把以上输出的特征图向上卷积(upconvolution)得到与W x H x 13的光流场。 ?

    91430

    【SLAM】 轻量级和高效的视觉SLAM算法,通过优化关键点跟踪和匹配提高ORBSLAM2算法性能!

    为了克服这些问题,我们提出了FastORB-SLAM,它是轻量级和高效的,因为它是通过跟踪相邻帧的关键点,而不需要计算描述符。...为此,本文提出了一种基于稀疏光流的关键点匹配方法,通过两步实现从粗到细的描述子独立关键点匹配。...在第一阶段,我们先用均匀加速度运动模型对关键点的初始位置进行预测,然后用基于金字塔的稀疏光流跟踪方法稳健地建立初始关键点的对应关系。在第二阶段,我们利用运动平滑性和对极约束来细化对应关系。...特别地,我们的方法只计算关键帧的描述符。我们用TUM和ICL-NUIM数据集上的RGBD数据集测试FastORBSLAM,并且在准确性和效率方面与当前已有的9种基于RGBD的 SLAM方法进行比较。...试验结果表明,我们的方法在精确度上达到了最先进的水平,而且速度大约是ORB-SLAM2的两倍。 主要框架及实验结果 ? ? ? ? ? ? ? ? ? ?

    2.1K32

    微软亚研院:CV领域2019年重点论文推荐

    RPN的物体检测算法来解决经典RPN算法无法有效预测任意方向文本框的问题。...SPM跟踪器在粗匹配阶段侧重语义理解,在细匹配阶段侧重外观表达,并通过不同训练方式获得了理想的平衡。 18....与传统的图像重建信号相比,针对纹理缺失严重的室内场景,利用稀疏到稠密的光流估计方法获取稳定的光流估计,并将光流信息输入相机估计网络克服相机运动复杂的难题,从而实现了深度布局更为复杂多样的室内场景下的稳定的深度估计...,有效地解决了遮挡问题。...,获取更全面的对该目标的特征表达,并利用Teacher-Student网络来针对性地将学到的更全面的信息传递给学生网络(单张图像为输入),实现了测试阶段仅需要单张图片作为输入,但更全面和高判别力的特征提取

    1.1K20

    CNN再助力!CoaT:Co-Scale卷积-注意力图像Transformer

    本文工作贡献总结如下: 引入了一种co-scale机制,开发了串行块和并行块2种co-scale块,实现了从细到粗、从粗到细和跨尺度的注意力图像建模。...比如U-Net除了标准的细到粗路径之外,还强制执行额外的粗到细路径; HRNet通过在整个卷积层中同时保持细尺度和粗尺度,进一步增强了模型表征能力。...在Pyramid ViT就是一个类似的工作,将不同尺度层做相互融合,但Pyramid ViT只是执行一种从细到粗的策略。...这里提出的co-scale机制不同于现有的方法:CoaT由一系列高度模块化的串行和并行块组成,可以对标记化表示进行从细到粗、从粗到细以及跨尺度的关注。...为了实现从细到粗、从粗到细和跨尺度的attention,本文提出了2种策略: direct cross-layer attention; attention with feature interpolation

    1.3K40

    腾讯优图13篇论文入选ICCV2019,涉及2D图像多视图生成等研究

    除了合成视图与监督信息之间的损失函数之外,本文提出使用一种基于循环生成的重建损失函数,来提升合成视图的准确性;同时借鉴目前的对抗生成技术,从图像本身的生成分布,与图像的姿态准确性保证两方面出发,提出两个不同作用的对抗学习损失...本论文提出了SPM(自光流模块),希望通过学习不同图像域间的光流解决图像的几何变换问题。...扩展后的生成器包含两个主要模块,自光流模块SPM和微调模块R。 最后,该论文还引入了从低分辨率图像到高分辨率的生成方案。...同时,为了产生更高分辨率的图像,该论文采用了一种新颖的粗到细的神经网络训练策略。 在训练好低分辨的神经网络后会有许多中间结果的低分辨率表示。...这一框架也给解决图像转换中的几何变换问题提供了新的解决思路。

    41820

    85.4% mIOU!NVIDIA:使用多尺度注意力进行语义分割,代码已开源!

    NVIDIA Research正在研究语义分割,因为它是一项广泛适用的技术。我们还相信,改进语义分割的技术也可能有助于改进许多其他密集预测任务,如光流预测(预测物体的运动),图像超分辨率,等等。...我们的解决方案在这两个问题上的性能都能好得多,类混淆几乎没有发生,对细节的预测也更加平滑和一致。...为了进一步解决主要的错误模式,我们创新了两种方法:多尺度注意力和自动标记。 多尺度注意力 在计算机视觉模型中,通常采用多尺度推理的方法来获得最佳的结果。...学习如何在像素级结合多尺度预测可以帮助解决这个问题。之前就有关于这一策略的研究,Chen等人的Attention to Scale是最接近的。在这个方法中,同时学习所有尺度的注意力。...我们使用硬阈值方法而不是软阈值方法来将生成的标签占用空间从2TB大大减少到600mb。在这个方法中,教师预测概率 > 0.5是有效的,较低概率的预测被视为“忽略”类。

    48630

    行为识别综述

    作者还将RGB和光流作为输入选择进行比较,发现基于两种输入的预测加权平均最佳。 在训练期间,从视频中采样16帧剪辑。该架构以端到端的方式进行训练,输入为RGB或16帧剪辑的光流。...且性能和当时最优的基于光流算法相当。 OFF可以端到端的训练,也就是说在一个网络里可以学习到时域和空域的特征表达,而不需要像two stream 一样分支训练了。...最好的策略是: 1.通过对snippets平均来分别结合时间流和空间流的得分 2.在所有类别上使用加权平均值和应用Softmax来结合最终空域和时域分数的得分 这项工作的另外一个部分是解决过拟合的问题...本文提倡使用无监督的架构来为所有的帧生成光流。 光流可认为是一个图像重建问题。给定一对相邻的帧L1和L2作为输入,文中的CNN生成流场V。...在通用 GCN 的基础上,我们还基于图像模型的灵感设计了图卷积核的新策略。

    2.3K32

    29篇计算机视觉领域论文,篇篇惊艳!内附链接!

    anchor-free RPN的物体检测算法来解决经典RPN算法无法有效预测任意方向文本框的问题。...,来解决光学字符识别(OCR)中的集外词(Out of Vocabulary, OOV)问题。...SPM跟踪器在粗匹配阶段侧重语义理解,在细匹配阶段侧重外观表达,并通过不同训练方式获得了理想的平衡。 18....与传统的图像重建信号相比,针对纹理缺失严重的室内场景,利用稀疏到稠密的光流估计方法获取稳定的光流估计,并将光流信息输入相机估计网络克服相机运动复杂的难题,从而实现了深度布局更为复杂多样的室内场景下的稳定的深度估计...,通过将“容易”视角的特征融合到“困难”视角,有效地解决了遮挡问题。

    80510

    基于空洞补全的动态SLAM方法

    为解决上述问题,本文通过语义分割网络和运动一致性检测来处理潜在的动态对象,随后逐帧对剔除动态对象的空洞进行补全,获取被动态物体遮挡的特征信息,最后逐帧输入到ORB-SLAM2系统中从而得到更为精确的位姿估计结果...对于缺失的区域,计算该区域的光流场比直接用像素填充该区域容易的多,并且光流引导像素传播可以很自然地保持时间上的相干性。此外,由于场景中大多数的物体具有可跟踪的运动,其光流可以很容易得到。...该方法首先提出一种粗到细的光流补全网络(DFC-Net),该网络由3个类似的子网络(DFC-S),通过第一子网络得到相对粗糙的估计流场,随后被送到第二和第三子网络进一步细化;随后在获得比较细的光流场后,...其中核心主要包括光流引导像素传播、硬流挖掘机制,下面将逐一介绍。光流引导像素传播\varepsilon由于估计的光流在某些位置可能是不准确的,故首先需要检查光流的有效性。...精彩推荐未来自动驾驶必须解决哪些感知问题视觉3D目标检测,从视觉几何到BEV检测两万字 | 视觉SLAM研究综述与未来趋势讨论一文聊聊自动驾驶系统的传感器标定方法基于SLAM的机器人自主定位导航全流程ECCV

    1.8K40
    领券