前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >基于背景预测的提案分割自监督训练

基于背景预测的提案分割自监督训练

原创
作者头像
Jarvis Cocker
发布于 2019-07-19 10:15:38
发布于 2019-07-19 10:15:38
5070
举报

原文题目:Self-supervised Training of Proposal-based Segmentation via Background Prediction

摘要:虽然有监督的目标检测方法取得了令人印象深刻的精度,但它们对外观与训练数据有显著差异的图像的概括能力较差。为了在注释数据昂贵得令人望而却步的场景中解决这一问题,我们引入了一种自我监督的目标检测和分割方法,能够处理用移动摄像机捕获的单目图像。我们的方法的核心在于观察到分割和背景重建是相互关联的任务,并认为由于我们观察到一个结构化的场景,背景区域可以从其周围重新合成,而描述对象的区域则不能。因此,我们将这种直觉编码为一个自我监督的损失函数,我们利用它来训练基于提案的分割网络。为了考虑对象方案的离散性,我们提出了一种基于蒙特卡罗的训练策略,使我们能够探索对象提案的大空间。我们的实验表明,我们的方法能够在视觉上偏离标准基准的图像中产生精确的检测和分割,优于现有的自我监督方法,并接近利用大型注释数据集的弱监督方法。

原文作者:Isinsu Katircioglu, Helge Rhodin, Victor Constantin, Jörg Spörri, Mathieu Salzmann, Pascal Fua

原文地址:https://arxiv.org/abs/1907.08051

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
计算机视觉最新进展概览2021年10月31日到2021年11月6日
为了促进多智能体感知中更好的性能带宽权衡,我们提出了一种新的蒸馏协作图(DiscoGraph),用于建模智能体之间的可训练、姿态感知和自适应协作。 我们的创新主要体现在两个方面。 首先,我们提出了一个通过知识蒸馏训练DiscoGraph的师生框架。 教师模式采用了早期协作的整体观点输入; 学生模型是基于具有单视图输入的中间协作。 我们的框架通过约束学生模型中的协作后特征映射来匹配教师模型中的对应关系来训练DiscoGraph。 其次,我们在DiscoGraph中提出了一个矩阵值边权。 在这样的矩阵中,每个元素都反映了特定空间区域的主体间注意力,允许主体自适应地突出信息区域。 在推理过程中,我们只需要使用名为蒸馏协作网络(DiscoNet)的学生模型。 由于教师-学生框架,多个具有共享DiscoNet的agent可以以整体的观点协作地接近一个假设的教师模型的性能。 我们利用CARLA和SUMO联合仿真合成了一个大型多智能体感知数据集V2X-Sim 1.0,并对该方法进行了验证。 我们在多智能体三维物体检测中的定量和定性实验表明,DiscoNet不仅可以实现比最先进的协同感知方法更好的性能和带宽权衡,而且带来了更直观的设计原理。
狼啸风云
2021/11/10
7680
简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024
本论文作者王语霖是清华大学自动化系 2019 级直博生,师从吴澄院士和黄高副教授,主要研究方向为高效深度学习、计算机视觉等。他曾以第一作者在 TPAMI、NeurIPS、ICLR、ICCV、CVPR、ECCV 等期刊、会议上发表论文,曾获百度奖学金、微软学者、CCF-CV 学术新锐奖、字节跳动奖学金等荣誉。个人主页:wyl.cool
机器之心
2024/05/22
1740
简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024
计算机视觉最新进展概览(2021年7月11日到2021年7月17日)
自动驾驶汽车的目标检测通常基于摄像头图像和激光雷达输入,通常用于训练深度人工神经网络等预测模型,用于目标识别决策、速度调节等。 这种决策中的一个错误可能是破坏性的; 因此,通过不确定性测度来衡量预测模型决策的可靠性至关重要。 在深度学习模型中,不确定性通常用于衡量分类问题。 然而,自动驾驶中的深度学习模型往往是多输出回归模型。 因此,我们提出了一种新的方法,即预测表面不确定度(PURE)来测量这类回归模型的预测不确定度。 我们将目标识别问题表述为一个具有多个输出的回归模型,用于在二维摄像机视图中寻找目标位置。 为了进行评估,我们修改了三个广泛应用的目标识别模型(即YoLo、SSD300和SSD512),并使用了KITTI、Stanford Cars、Berkeley DeepDrive和NEXET数据集。 结果显示,预测面不确定性与预测精度之间存在显著的负相关关系,表明不确定性对自动驾驶决策有显著影响。
狼啸风云
2021/07/20
5730
学界 | 何恺明等人提出新型半监督实例分割方法:学习分割Every Thing
选自arXiv 作者:Ronghang Hu 等 机器之心编译 参与:路雪、蒋思源 伯克利和 FAIR 研究人员提出一种新型实例分割模型,该模型能利用目标检测边界框学习对应的分割掩码,因此大大加强了实例分割的目标数量。这种将目标检测的知识迁移到实例分割任务的方法可能是我们以后需要关注的优秀方法,机器之心对这篇论文进行了简要地介绍,更详细的内容请查看原论文。 近来目标检测器准确度显著提升,获得了很多重要的新能力。其中最令人兴奋的一项是为每个检测目标预测前景分割掩码,即实例分割(instance segment
机器之心
2018/05/09
1.5K0
学界 | 何恺明等人提出新型半监督实例分割方法:学习分割Every Thing
VideoMAE:简单高效的视频自监督预训练新范式|NeurIPS 2022
代码和预训练权重已经在Github开源:https://github.com/MCG-NJU/VideoMAE
新智元
2023/01/08
8520
VideoMAE:简单高效的视频自监督预训练新范式|NeurIPS 2022
10亿参数,10亿张图!Facebook新AI模型SEER实现自监督学习,LeCun大赞最有前途
刚刚,Facebook宣布了一个在10亿张图片上训练的AI模型——SEER,是自监督(Self-supervised)的缩写。
新智元
2021/03/10
7400
10亿参数,10亿张图!Facebook新AI模型SEER实现自监督学习,LeCun大赞最有前途
Plain-Det:同时支持多数据集训练的新目标检测 | ECCV'24
论文: Plain-Det: A Plain Multi-Dataset Object Detector
VincentLee
2024/10/21
800
Plain-Det:同时支持多数据集训练的新目标检测 | ECCV'24
超越传统自监督学习,NeCo在语义分割任务中的性能提升 !
密集自我监督学习训练特征提取器,以在没有监督的情况下为图像中的每个像素或块产生表示。近年来,该领域取得了显著的进展,主要改善了无监督语义分割 ,以图像为中心的代表学习 ,以及其他密集的下游任务,如物体追踪和目标检测。
AIGC 先锋科技
2024/09/10
1590
超越传统自监督学习,NeCo在语义分割任务中的性能提升 !
CVPR2020 | SEAM:弱监督语义分割的自监督等变注意力机制
论文地址:https://arxiv.org/pdf/2004.04581.pdf
AI算法修炼营
2020/05/09
2.8K0
CVPR2020 | SEAM:弱监督语义分割的自监督等变注意力机制
【NeurIPS】四篇好文简读-专题6
Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation
智能生信
2022/05/23
5430
【NeurIPS】四篇好文简读-专题6
【目标检测】开源 | 结合few-shot和自我监督在目标检测任务中应用的综述文章
论文地址: http://arxiv.org/pdf/2110.14711v2.pdf
CNNer
2022/02/09
7700
【目标检测】开源 | 结合few-shot和自我监督在目标检测任务中应用的综述文章
Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
 对于许多任务来说,收集注释良好的图像数据集来训练现代机器学习算法的成本高得令人望而却步。一个吸引人的替代方案是渲染合成数据,其中地面实况注释是自动生成的。不幸的是,纯基于渲染图像训练的模型往往无法推广到真实图像。为了解决这一缺点,先前的工作引入了无监督的领域自适应算法,该算法试图在两个领域之间映射表示或学习提取领域不变的特征。在这项工作中,我们提出了一种新的方法,以无监督的方式学习像素空间中从一个域到另一个域的转换。我们基于生成对抗性网络(GAN)的模型使源域图像看起来像是从目标域绘制的。我们的方法不仅产生了合理的样本,而且在许多无监督的领域自适应场景中以很大的优势优于最先进的方法。最后,我们证明了适应过程可以推广到训练过程中看不到的目标类。
狼啸风云
2023/10/07
4000
Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
用AI取代SGD?无需训练ResNet-50,AI秒级预测全部2400万个参数,准确率60% | NeurIPS 2021
一次前向传播便可预测几乎任何神经网络的参数,我们离用单一元模型取代手工设计的优化器又近了一步。
AI科技评论
2021/11/05
3300
用AI取代SGD?无需训练ResNet-50,AI秒级预测全部2400万个参数,准确率60% | NeurIPS 2021
AAAI2020 | SNERL:抛开mention级别的监督,实体链接、关系抽取我都行
今天为大家介绍的是马萨诸塞大学阿默斯特分校Trapit Bansal等学者和谷歌研究院合作在AAAI2020上发表的一篇关于实体链接和关系抽取的文章。虽然关系提取通常可以用现成的弱的或远距离的监督来训练,但实体链接器通常需要昂贵的mention级别的监督—这在许多领域是不可用的。因此作者提出了一个模型SNERL,该模型经过训练,可以同时产生实体链接和关系决策,而不需要mention级别的注释。这种方法避免了由管道方法引起的级联错误,并且更准确地预测了文本中的实体关系。
DrugAI
2021/02/01
7500
AAAI2020 | SNERL:抛开mention级别的监督,实体链接、关系抽取我都行
论文推荐:ReLICv2 ,新的自监督学习能否在ResNet 上超越监督学习?
自监督 ResNets 能否在 ImageNet 上没有标签的情况下超越监督学习?
deephub
2022/03/12
4020
论文推荐:ReLICv2 ,新的自监督学习能否在ResNet 上超越监督学习?
Self-Supervision & Meta-Learning for One-ShotUnsupervised Cross-Domain Detection
深度检测模型在受控环境下非常强大,但在不可见的领域应用时却显得脆弱和失败。 所有改进该问题的自适应方法都是在训练时获取大量的目标样本,这种策略不适用于目标未知和数据无法提前获得的情况。 例如,考虑监控来自社交媒体的图像源的任务:由于每一张图像都是由不同的用户上传的,它属于不同的目标领域,这在训练期间是不可能预见到的。 我们的工作解决了这一设置,提出了一个目标检测算法,能够执行无监督适应跨领域,只使用一个目标样本,在测试时间。 我们引入了一个多任务体系结构,它通过迭代地解决一个自我监督的任务,一次性适应任何传入的样本。 我们进一步利用元学习模拟单样本跨域学习集,更好地匹配测试条件。 此外,交叉任务的伪标记程序允许聚焦于图像前景,增强了自适应过程。 对最新的跨域检测方法的全面基准分析和详细的消融研究显示了我们的方法的优势。
狼啸风云
2021/06/21
5840
何恺明一作,刷新7项检测分割任务,无监督预训练完胜有监督
论文链接:https://arxiv.org/pdf/1911.05722.pdf
机器之心
2019/11/15
7150
何恺明一作,刷新7项检测分割任务,无监督预训练完胜有监督
点云分割训练哪家强?监督,弱监督,无监督还是半监督?
近年来,自动驾驶领域的各项下游任务基本上都要求了对场景的语义理解,比如自动驾驶车辆要能够理解哪个是路面、哪个是交通灯、哪个是行人、哪个是树木,因此点云分割的作用就不言而喻。
3D视觉工坊
2023/04/29
9380
点云分割训练哪家强?监督,弱监督,无监督还是半监督?
NeurIPS 2022 | VideoMAE:掩蔽自编码器是自监督视频预训练的高效数据学习器
Transformer在自然语言处理方面取得了极大成功,而ViT将Transformer改进到了一系列计算机视觉任务上,包括图像分类、对象检测、语义分割等,同样取得了令人印象深刻的结果。而训练一个高效的ViT通常需要大规模的有监督数据集,预训练的ViT通过使用数亿张标记图像来获得良好的性能。对于视频任务中的Transformer,它们通常基于图像任务中的Transformer,并且在很大程度上依赖于来自大规模图像数据的预训练模型(例如在ImageNet上进行预训练)。
用户1324186
2024/05/31
2760
NeurIPS 2022 | VideoMAE:掩蔽自编码器是自监督视频预训练的高效数据学习器
计算机视觉最新进展概览2021年10月24日到2021年10月30日
神经体系结构搜索(Neural Architecture Search, NAS)通过自动发现最优的体系结构,在有效减少网络设计的人工工作量方面显示了巨大的潜力。 值得注意的是,尽管目标检测在计算机视觉中具有重要的意义,但到目前为止,NAS算法对目标检测的接触还比较少。 据我们所知,目前大多数针对目标检测任务的NAS研究都未能在结果模型的性能和效率之间取得令人满意的平衡,更不用说这些算法所消耗的过多的计算资源了。 在这里,我们提出了一种有效的方法来获得更好的目标检测器,通过搜索特征金字塔网络(FPN)和简单的无锚目标检测器的预测头,即FCOS[36],使用定制的强化学习范式。 通过精心设计的搜索空间、搜索算法和评估网络质量的策略,我们能够在4天内使用8个V100 gpu找到高性能的检测架构。 在COCO数据集上,发现的体系结构在AP上超过了最先进的目标检测模型(如Faster R-CNN、Retina-Net和FCOS) 1.0%到5.4%,具有相当的计算复杂性和内存占用,证明了提出的NAS方法在目标检测中的有效性。
狼啸风云
2021/11/02
9030
推荐阅读
计算机视觉最新进展概览2021年10月31日到2021年11月6日
7680
简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024
1740
计算机视觉最新进展概览(2021年7月11日到2021年7月17日)
5730
学界 | 何恺明等人提出新型半监督实例分割方法:学习分割Every Thing
1.5K0
VideoMAE:简单高效的视频自监督预训练新范式|NeurIPS 2022
8520
10亿参数,10亿张图!Facebook新AI模型SEER实现自监督学习,LeCun大赞最有前途
7400
Plain-Det:同时支持多数据集训练的新目标检测 | ECCV'24
800
超越传统自监督学习,NeCo在语义分割任务中的性能提升 !
1590
CVPR2020 | SEAM:弱监督语义分割的自监督等变注意力机制
2.8K0
【NeurIPS】四篇好文简读-专题6
5430
【目标检测】开源 | 结合few-shot和自我监督在目标检测任务中应用的综述文章
7700
Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
4000
用AI取代SGD?无需训练ResNet-50,AI秒级预测全部2400万个参数,准确率60% | NeurIPS 2021
3300
AAAI2020 | SNERL:抛开mention级别的监督,实体链接、关系抽取我都行
7500
论文推荐:ReLICv2 ,新的自监督学习能否在ResNet 上超越监督学习?
4020
Self-Supervision & Meta-Learning for One-ShotUnsupervised Cross-Domain Detection
5840
何恺明一作,刷新7项检测分割任务,无监督预训练完胜有监督
7150
点云分割训练哪家强?监督,弱监督,无监督还是半监督?
9380
NeurIPS 2022 | VideoMAE:掩蔽自编码器是自监督视频预训练的高效数据学习器
2760
计算机视觉最新进展概览2021年10月24日到2021年10月30日
9030
相关推荐
计算机视觉最新进展概览2021年10月31日到2021年11月6日
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文