首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

不平衡问题: 深度神经网络训练之殇

例如,特征转移学习 (FTL)[13]研究发现,尾部类样本的类内方差比头部类样本小得多,导致特征空间和决策边界有偏差。...为解决该问题,FTL利用头部类的类内方差知识来指导尾部类样本的特征增强,从而使尾部类特征具有更高的类内方差,从而获得更好的尾部类性能。...LEAP [14]为每个类构建了“特征云”,并试图通过在特征空间中增加具有一定干扰的尾部类样本,迁移头部类特征云的知识,以增强尾部类特征云的类内变化。最终,不同类间的类内特征方差的失真得到了缓解。...此外,Remix也利用数据mixup进行长尾学习,并引入了一种重平衡的混合方法来专门增强尾部类。 3.3 小结 由于引入了额外的知识,基于迁移学习的方法在不牺牲头部类性能的情况下提高了尾部类性能。...开放式长尾识别(OLTR)创新性地探索了在开放世界中处理不平衡识别的特征原型的想法,其中测试集包括头部类、尾部类和开放类 (开放类表示训练集中不存在的测试类别)。

1.7K30

CPRFL:基于CLIP的新方案,破解长尾多标签分类难题 | ACM MM24

该方法从预训练的CLIP嵌入初始化类别提示,通过与视觉特征的交互解耦类别特定的视觉表示,从而促进了头部类和尾部类之间的语义关联建立。...首先,在长尾学习中,考虑头部和尾部类别之间的语义相关性至关重要。利用这种相关性可以在头部类别的支持下显著提高尾部类别的性能。...然而,这种全局视觉表示包含了来自多个对象的混合特征,这阻碍了对每个类别的有效特征分类。因此,如何在长尾数据分布中探索类别之间的语义相关性,并提取局部类别特定特征,仍然是一个重要的研究领域。 ...因此,可以利用CLIP的文本嵌入表示来编码头部和尾部类别之间的语义相关性。此外,在许多研究中,CLIP的文本嵌入已成功作为语义提示,用于将局部类别特定的视觉表示与全局混合特征解耦。 ...在论文的框架中,ASL有效地抑制了所有类别中的负样本,可能改善了LTMLC任务中的头尾类别性能。

17410
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    本周AI热点回顾:GAN压缩法使算力消耗不到19,开源生成器让你的照片秒变手绘日漫

    在研究者们展示的 Demo 中,使用 CycleGAN 为视频中的马添加斑马条纹所需的算力不到 1/16,帧数提高了三倍,而且效果还有所提升。...解决尾部类别样本少、类内多样性不足的根本做法是增加样本。那么如何增加?作者在这个工作中提出了为尾部类别构造云、用“特征云”来充实尾部类的方法。...与之前的工作不同,其他人都利用生成对抗网络(GAN),为尾部类别生成额外的“虚构”样本,取得了更好的提升。然而,真的需要在原始图像空间来增加吗?...任何cloud的本质是一个概率模型,如何建立这个“feature cloud”的概率模型呢,这里提出向头部ID学习,使尾部ID保持“矮要承认,挨打站稳”的低姿态,既然自身由于样本数量稀少,导致类内多样性不足...,那么就以谦虚的态度向头部ID 学习,将头部ID 的类内多样性transfer到尾部ID。

    48920

    Hybrid-PSC:基于对比学习的混合网络,解决长尾图片分类 | CVPR 2021

    当前大多研究都通过减轻尾部类别的数据短缺来应对数据不平衡的问题,防止模型被头部类别控制,如数据重采样和数据增强等。  ...论文一开始采用从无监督对比(UC)中延伸出来的有监督对比(SC)损失用于特征学习,该损失使用batch内的样本进行相互对比,通过区分负样本来优化正样本间的一致性,如图左所示。...为了解决这个问题,论文提出了原型有监督对比(PSC)学习策略,从batch内的样本间对比改为batch内的样本与额外维护的原型进行对比,如图右所示。...Main Approach***A Hybrid Framework for Long-tailed Classification 论文提出的用于长尾图像分类的混合框架如上图所示,包含两个分支:用于图像特征学习的对比学习分支...,构造同类内聚、异类分离的特征空间。

    17910

    2018年不能错过的 14 个 Java 库!

    Lombok 使用注释来减少Java中的重复代码,例如getters setters,not null检查,生成Builder等。 val - 不会产生麻烦的final局部变量。...JUnitParams 与标准JUnit的主要区别: 更明确 - params是在测试方法参数中,而不是类字段 更少的代码 - 你不需要一个构造函数来设置参数 您可以在一个类中混合使用非参数方法的参数...参数可以作为CSV字符串或参数提供程序类传递 参数提供程序类可以具有任意多个提供所需方法的参数,以便可以对不同的案例进行分组 你可以有一个提供参数的测试方法(不再有外部类或静态) 您可以在IDE中查看实际的参数值...Jukito 集合 JUnit, Guice, 和 Mockito优点: 通过自动化,大大减少了样板,导致更容易阅读测试 引入对测试对象中的API更改更有弹性的测试 用@Inject注释的字段会自动注入...WireMock 模拟HTTP服务的工具: HTTP响应stubbing存根,匹配HTTP的URL、头部和正文内容 请求验证 在单元测试中运行,作为独立进程或作为WAR应用程序运行 可通过流畅的Java

    1.6K10

    学界 | 如何同时处理庞大、稀有、开放类别的视觉识别?伯克利 AI 研究院提出了开放长尾识别方法

    不止是野生动物摄影数据存在这样的问题,在现实生活中,这种问题一再出现,工业和学界都有。...在视觉识别领域,几乎所有的问题都有成功的解决之道,如小样本学习和开集识别。可似乎没有人把这些问题当作一个整体来看待。在现实世界的应用中,不论是头部类别还是尾部类别,分类有时不止面临单独一种问题。...我们将 OLTR 定义为,从长尾和开放的分布式数据中学习,并且基于一个平衡测试数据集评估分类的准确性,而这个测试数据集要包括在一个连续谱内的头部、尾部和开集类别(如图 2)。 ?...首先,我们通过聚集源自头部类别和尾部类别的知识获得了视觉记忆;然后将存储在内存中的视觉概念当作关联的记忆特征重新注入,以增强原来的直接特征。...· 重返现实 · 现在让我们回到真正的丛林,将我们在本文中提出的方法应用到生态学家在第一部分提到的野生动物数据中。幸运的是,我们的新框架在不牺牲丰富类别的情况下,在稀缺类别上获得了实质性的进步。

    88220

    NeurIPS 2020 | 一种崭新的长尾分布下分类问题的通用算法

    我认为,需要利用原始的长尾分布来学习特征提取的原因在于,大量的尾部类别其实不足以提供足够的样本来学习鲁棒的特征表达,如果强行利用re-balancing trick只会让模型对尾部类别特征过拟合,而对样本充足的头部类别欠拟合...狮鹫(尾部类)=狮子(头部类)+鹰(头部类) 于是我想到了自己CVPR 2020的Unbiased Scene Graph Generation工作,可类似的技术却依赖场景图生成本身的复杂网络结构和内部有意义的中间节点..., 并将他的单位方向看作是特征对头部类的倾向方向 ? 。...3)在测试时做counterfactual TDE inference,人话就是从training的logits中剔除我们认为代表对头部类过度倾向的部分,即测试时改用如下公式计算TDE logits:...D是特征对头部大类的偏移量。至于为什么会有这个偏移量呢?因为优化器的动量包含了数据集的分布信息,他的动态平均会显著地将优化方向倾向于多数类,这也就造成了模型中的参数会有生成头部类特征的倾向。 ?

    1.8K21

    ECCV 2020 | 针对长尾分布问题的特征空间增广

    论文地址:https://arxiv.org/abs/2008.03673 现实世界的数据通常遵循长尾分布,也就是说每个类的数量通常是不同的。例如,数据集头部类中样本数很多,而尾部类中样本数很少。...具体来说是将每个类的特征解耦成类特有和类共有特征,将尾部类的类特有特征和头部类的类共有特征进行融合,从而实现特征空间的增广。...该方法在iNaturalist, ImageNet-LT, Places-LT 和长尾的CIFAR集四个数据集上都取得了不错的效果。 简介 长尾分布广泛存在于视觉任务中。...如图所示在分类和检测任务中存在长尾分布问题。 ? 长尾分布带来的主要问题是在训练时,因为尾部类数据量少,统计信息不够丰富,因而模型并不能很好的表达尾部类。...可以看到,第二步进去一张尾部类图片和一张头部类图片,选取头部类图片时是选取的与尾部类距离较近,容易混淆的头部类(根据置信度排序得到)。 ? 第三步则是微调。

    1.3K10

    CVPR 2023 | Next3D: 用于 3D 感知头部头像的生成神经纹理栅格化

    高效的可动画肖像生成器需要能在细粒度级别上全面控制刚性头部姿势、面部表情和凝视方向来合成不同的高保真肖像。...贡献 Next3D 提出了一种新的 3D GAN 框架,用于从非结构化 2D 图像中无监督学习生成、高质量和 3D 一致的面部化身。...提出了一个可动画的 3D 感知 GAN 框架,用于具有细粒度动画的逼真肖像合成,包括表情、眨眼、注视方向和全头部姿势。 提出了生成纹理光栅化三平面,这是一种高效的可变形 3D 表示。...是由 StyleGAN 生成器 合成的正交栅格化生成神经纹理形成的,嘴部合成模块 用于完成嘴部内部细节的生成。混合三平面与由体绘制和超分辨率模块 组成的混合神经渲染器相结合。...定性比较 图3 从上图中可以看出DiscoFaceGAN 在动画过程中存在身份不一致的问题。此外,它不能产生合理的口腔内部,例如拉伸的牙齿。

    91630

    GIT:斯坦福大学提出应对复杂变换的不变性提升方法 | ICLR 2022

    但如果狗类的所有训练图片都是草地背景,那分类器很可能会误判房子背景中的狗为猫,这种情况往往就是不平衡数据集存在的问题。  ...类不平衡在实践中很常见,许多现实世界的数据集遵循长尾分布,除几个头部类有很多图片外,而其余的每个尾部类都有很少的图片。因此,即使长尾数据集中图片总量很大,分类器也可能难以学习尾部类的不变性。...需要注意的是,像照明变化之类的许多复杂变换是类别无关的,能够类似地应用于任何类别的图片。理想情况下,经过训练的模型应该能够自动将这些不变性转为类无关的不变性,兼容尾部类的预测。  ...此外,还可以有选择地进行增强,避免由于生成模型的缺陷损害性能的可能性,比如对数量足够且不变性已经很好的头部类不进行增强。...作为对比,Oracle则是用于构造生成数据集的真实变换。从图3的对比结果可以看到,GIT能够有效地增强尾部类的不变性,但同时也损害了图片充裕的头部类的不变性,这表明了阈值$K$的必要性。

    66910

    Nice Trick | 不想标注数据了!有伪标签何必呢,Mixup+Mosaic让DINO方法再继续涨点

    尽管伪标签方法在半监督目标检测任务中取得了显著的成功,但本文揭示了该方法存在的一些显著局限性。...具体来说,标记重采样结合半监督学习场景,从标记数据中过采样尾部类别,从而显著提高尾部类别的准确性。...由于MixPL需要更多的伪标记图像进行混合,在每个迭代中,当前批次的 未标注 图像与来自伪标签缓存中最近一次迭代中采样的图像混合。例如,在每次训练迭代中,作者有1个标记图像和4个未标注图像。...首先,从伪标签缓存中采样4个带有伪标签的新图像,并使用伪Mixup获得4个混合图像。然后,作者使用伪Mosaic随机组合8个图像中的4个,形成1个混合图像。...如图A8(a,c)所示,当教师模型无法预测某个目标并生成虚假负预测时,学生模型在FN目标的区域内(红色矩形区域)会产生高响应。这种响应是有害的,因为它可能导致模型将该区域视为背景并在此过程中积累偏差。

    1.2K10

    Java编程思想第五版(On Java8)(十一)-内部类

    通过这个定义,可以看出内部类是面向对象的闭包,因为它不仅包含外围类对象(创建内部类的作用域)的信息,还自动拥有一个指向此外围类对象的引用,在此作用域内,内部类有权操作所有的成员,包括 private 成员...内部类与控制框架 在将要介绍的控制框架(control framework)中,可以看到更多使用内部类的具体例子。...要理解内部类是如何允许简单的创建过程以及如何使用控制框架的,请考虑这样一个控制框架,它的工作就是在事件“就绪”的时候执行事件。虽然“就绪”可以指任何事,但在本例中是指基于时间触发的事件。...Event 对象被保存在 List 类型(读作“Event 的列表”)的容器对象中,容器会在 集合 中详细介绍。...问题在于,那个指向外围类对象的“秘密的”引用必须被初始化,而在派生类中不再存在可连接的默认对象。

    1.1K61

    面试题-JAVA设计模式之单例模式的5种实现方式

    ,我们今天来说说设计模式中的单例模式,这也是最简单的一种模式,简单归简单,很多框架中都使用了单例模式,所以这个模式也非常重要。...单例模式 定义:单例模式属于创建型的设计模式,通过单例模式的方法创建的类在当前进程中只有一个实例(根据需要,也有可能一个线程中属于单例,如:仅线程上下文内使用同一个实例)。...适用场景: 1.windows系统中的资源管理器、回收站。 2.系统中的订单号生成单例类,笔者公司曾经使用单例双检索这种方式。...3.Spring框架中的bean一般都是默认单例,所有bean的请求都会返回这个唯一的实例。...4.mybais框架中的ErrorContext是用在每个线程范围内的单例,用于记录该线程的执行环境错误信息。

    49330

    特征空间增强|劫富济贫:对长尾数据进行特征空间增强(ECCV20)

    具体地,作者设定了一个超参数,对一个长尾数据,根据分类模型的预测混淆程度,来挑选k个易混淆头部类别,根据给定的阈值,划分出通用和特有两种特征,然后从k个头部类别中,挑a个图片,逐个进行线性组合,最终一个长尾样本特征...这里的超参数还挺多的,所以最好还是对照那个框架图来进行理解。...上图左边是探究,怎么划分头部类别和长尾类别,这个ratio就是头部类别的样本数的总体占比,因为头部类别的划分,影响着后面进行特征融合时的操作对象。作者发现,在0.9左右的时候,总体效果比较好。...这里作者没怎么解释,我做以下的猜想:因为我们这里使用的特征融合方式也是线性的,本文的特征融合,某种程度上,就是把头部类别的分布特征,给复制到长尾类别上的了,这时,对于线性可分的特征分布,这种做法就更有保障...,因为不会有奇奇怪怪的分布;而如果是线性不可分的,比方说环形分布,那把这种分布复制到其他类别,很可能生成的样本就很怪异了。

    99110

    基于云计算的 CV 移动交互应用研究:头部姿态估计综述(2)

    导语 随便说说,其一,项目的原名是“CV移动交互应用的前后台框架”,为了高大上,起了个“云计算”;其二,这是动手写的第一篇,不过在规划里面第二篇,第一篇项目概述没想好;这篇文章主要来之IEEE的一篇文章...1 概述 1.1 定义 头部姿态估计(Head Pose Estimate,HPE):利用计算机视觉和模式识别的方法在数字图像中判断人头部的朝向问题;头部姿态估计是一个空间坐标系内识别头部的姿态方向参数...只要采集一些包含头部信息的图像并标注每个图像的头部姿态就可以生成样本库,不需要采集反样本图像,也不需要识别人脸特征点。基于模板匹配的技术同时适合高分辨率和低分辨率图像的识别。...通过基于模型的跟踪的另一个优点是能够动态地构建个人头部的个性化原型,避免外观变化的不利影响。 跟踪方法的难度在于准确地初始化位置和姿势,以生成新模型或调整现有模型。...一些例子包括使用手动初始化的圆柱模型和递归最小二乘优化跟踪头部,或通过可变 3D 模型进行跟踪。只要头部姿态估计值接近原始视图,跟踪方法可以自动初始化,使用动态模板重新创建模型。

    2.5K111

    类别不平衡上的半监督学习

    自然界中收集的样本通常呈长尾分布,即收集得到的绝大多数样本都属于常见的头部类别(例如猫狗之类的),而绝大部分尾部类别却只能收集到很少量的样本(例如熊猫、老虎),这造成收集得到的数据集存在着严重的类别不平衡问题...但这样naive的方法存在的缺点也显而易见,即模型对尾部类别过拟合以及对头部类别欠拟合。 重加权方法的核心思想是类别少的样本应该赋予更大的权重,类别多的样本赋予更少的权重。...实验现象表明,「模型对头部类别的样本 Recall 很高,对尾部类别的 Recall 很低;模型对头部类别样本的 Precision 很低,但对尾部类别的 Precision 却很高」。...这是一个很常见的类别不平衡问题里的过拟合现象,换句话来说,「模型对不确定性很高的尾部类别样本都预测成头部类别了。」...「挑选出模型的预测类别属于尾部类别的样本作为候选集 加入到已标记集合中」 最妙的一步在第三步,「模型预测的类别属于尾部类别意味着这些样本的伪标记具有很高的置信度的(High precision)

    2.1K50

    一份关于性能、评估标准、鲁棒性和错误的分析

    因此,探索ChatGPT的信息抽取能力在一定程度上能反映出ChatGPT生成回复时对任务指令理解的性能。...该算法表明,只要生成和span和标记的span存在包含关系且达到相似度的阈值,则认为结果正确。通过软匹配策略,对重新评估ChatGPT的IE性能,得到的结果如下。...(3)目标类型的频率 真实世界的数据通常为长尾分布,导致模型在尾部类型上的表现比在头部类型上差得多。本文研究了“目标类型的频率”对ChatGPT在所有IE子任务中的性能的影响,结果如图所示。...可以看出,尾部类型的性能明显不如头部类型,仅高达头部类型的75.9%。...在一些子任务上,比如RE-RC和RE-Triplet,尾部类型的性能甚至低于头部类型性能的15%,所以ChatGPT也面临长尾问题的困扰。

    58830

    Java设计模式学习总结

    第四种是使用静态内部类来实现,静态内部类只在被使用的时候才进行初始化,所以在内部类中进行单例的实例化,只有用到的时候才会运行实例化代码。然后外部类再通过静态方法返回静态内部类的单例即可。...// // 复用对象最简单的方式是,用一个 HashMap 来存放每次新生成的对象。...每次需要一个对象的时候,先到 HashMap 中看看有没有,如果没有,再生成新的对象,然后将这个对象放入 HashMap 中。 // // 这种简单的代码我就不演示了。...实现类是模板提供好的方法。而抽象类则需要用户自行实现。 模板方法规定了一个模板中方法的执行顺序,非常适合一些开发框架,于是模板方法也广泛运用在开源框架中。 状态模式 少见。...责任链模式 责任链通常需要先建立一个单向链表,然后调用方只需要调用头部节点就可以了,后面会自动流转下去。

    32800

    Java 面向对象一览

    与 C++ 比较 同样是面向对象的编程语言,Java 和 C++ 存在异同。...请注意,任何 class 都是有构造方法的,即便你代码里不写,Java 也会在编译 class 文件的时候,默认生成一个无参构造方法。但是只要你手动定义了构造方法,编译器就不会再生成。...} } 编译后得到的 class 文件如下: 我们会发现,无论什么类型的内部类,都会编译生成一个独立的 .class 文件,只是内部类文件的命名会通过 $ 连接在外部类后面,如果是匿名内部类,会使用编号来标识...protected 本类及其子类可以访问(父子友好),同一个包中的其它类也可以访问(包内友好)。而缺省的时候,只有相同包中的类可以访问(包内友好)。...通常来讲,类的层次划分总是下一层比上一层更具体,并且包含上一层的特征,这样下层的类就能自动享有上层类的特点和性质。继承就是派生类自动地共享基类中成员变量和成员方法的机制。

    44040

    第4章 类和接口

    本人表示道理我懂,但是现在一般的类都不愿意去写getter setter了,真心觉得好烦啊,虽然方法可以用AS自动生成,我还是不太愿意去写,直接public就是那么任性 第15条 使可变性最小化 不可变类...Comparable是一个mixin接口 我的理解是:一个类,利用实现多个接口可以达到混合类型的目的,而利用抽象类只能继承一个类,则不能达到混合类型的效果!...),所以它可以脱离外部类单独存在。...也不是外部类的成员,它是在使用的同时被声明和实例化 需要注意的是:当匿名类出现在非静态的环境中时,它会持有外部类的实例,所以它可能引起内存泄漏。...匿名类的作用:通常用于创建函数对象(见21条),比如Thread,Runnable 局部类非常少用,自己没用过,在源码里也没留意到它的存在,就不多写了。

    53430
    领券