开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用加权类处理GradientBoostingClassifier中的不平衡数据？

Requests to the ChatCompletions_Create Operation under Azure OpenAI API version 2024-02-15-preview have exceeded token rate limit of your current OpenAI S0 pricing tier. Please retry after 1 second. Please go here: https://aka.ms/oai/quotaincrease if you would like to further increase the default rate limit.

相关搜索:样本加权在不平衡数据训练中没有帮助复制训练示例以处理pandas数据帧中的类不平衡处理不平衡的时间序列数据如何处理多列的类不平衡？在机器学习中处理不平衡数据？用于处理cat boost的不平衡数据在多类分类的情况下，如何处理不平衡的类如何在机器学习数据集中打击不平衡的类用加权类评估Keras中的DenseNet模型使用bokeh的加权数据的直方图使用Keras深度学习的不平衡数据集如何使用字符串格式处理不平衡的括号如何从射线照相图像中处理CheXpert数据的不平衡数据集分类问题 R中的加权二部图聚类如何通过过采样来解决时间序列数据中的类不平衡问题？使用Typescript处理Express类中的错误 h2o中的不平衡数据 GBTClassifier如何处理二进制分类的不平衡数据？如何通过字典为Keras或Tensorflow中的不平衡类设置类权重？如何对不平衡的多类数据集进行欠采样？(Python)

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

不平衡问题: 深度神经网络训练之殇

很早之前就对动态权重比较感兴趣，最开始接触动态权重，是17年师兄师姐的一篇论文[1]。动态权重，或者称为自适应权重，可以广泛应用于多场景、多模态、多国家、多任务、多标签等各种任务的不平衡学习中。出于完整性，本文先对不平衡问题进行总结。

03

一文助你解决数据不平衡的疑惑

导语：这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问

08

使用一个特别设计的损失来处理类别不均衡的数据集

本文是谷歌对CVPR ' 19上发表的一篇文章的综述，文章的标题是Class-Balanced Loss Based on Effective Number of Samples。它为最常用的损耗(softmax-cross-entropy、focal loss等)提出了一个针对每个类别的重新加权方案，能够快速提高精度，特别是在处理高度类不平衡的数据时。

02

MIT大神利用半监督or自监督学习，巧妙破解数据不平衡问题！

AI科技评论今天给大家介绍一下一篇被NeurIPS 2020接收的工作:《Rethinking the Value of Labels for Improving Class-Imbalanced Learning》。

05

使用一个特别设计的损失来处理类别不均衡的数据集

本文是谷歌对CVPR ' 19上发表的一篇文章的综述，文章的标题是Class-Balanced Loss Based on Effective Number of Samples。它为最常用的损耗(softmax-cross-entropy、focal loss等)提出了一个针对每个类别的重新加权方案，能够快速提高精度，特别是在处理高度类不平衡的数据时。

01

不平衡之钥: 重加权法知几何

在《不平衡问题: 深度神经网络训练之殇》一文中，笔者已对缓解不平衡问题的方法进行梳理。限于篇幅原因，介绍比较笼统。在《不平衡之钥: 重采样法何其多》一文中，梳理了缓解不平衡问题的各种重采样方法。

03

面对高度不均衡数据如何提高精度？这篇文章有妙招

本文是对 CVPR 2019 论文「Class-Balanced Loss Based on Effective Number of Samples」的一篇点评，全文如下：

03

针对不平衡问题建模的有趣Loss

来源：kaggle竞赛宝典、炼丹笔记本文约2800字，建议阅读5分钟本文综述了康奈尔大学、康奈尔科技、谷歌Brain和Alphabet公司的基于有效样本数的类平衡损失(CB损失)。基于有效样本的类别不平衡损失CB-Loss 简介本文综述了康奈尔大学、康奈尔科技、谷歌Brain和Alphabet公司的基于有效样本数的类平衡损失(CB损失)。在本文中，设计了一种重新加权的方案，利用每个类的有效样本数来重新平衡损失，称为类别平衡损失。使用每个类的有效样本数量来重新为每个类的Loss分配权重。一、类别平衡问题

04

CVPR2019 | 面对高度不均衡数据如何提高精度？这篇文章有妙招

本文是对 CVPR 2019 论文「Class-Balanced Loss Based on Effective Number of Samples」的一篇点评。

04

【机器学习】如何解决数据不平衡问题

在机器学习的实践中，我们通常会遇到实际数据中正负样本比例不平衡的情况，也叫数据倾斜。对于数据倾斜的情况，如果选取的算法不合适，或者评价指标不合适，那么对于实际应用线上时效果往往会不尽人意，所以如何解决数据不平衡问题是实际生产中非常常见且重要的问题。

05

基于有效样本的类别不平衡损失CB-Loss

本文综述了康奈尔大学、康奈尔科技、谷歌Brain和Alphabet公司的基于有效样本数的类平衡损失(CB损失)。在本文中，设计了一种重新加权的方案，利用每个类的有效样本数来重新平衡损失，称为类别平衡损失。使用每个类的有效样本数量来重新为每个类的Loss分配权重，效果优于RetinaNet中的Focal Loss。

01

机器学习：如何解决类别不平衡问题

类别不平衡是机器学习中的一个常见问题，尤其是在二元分类领域。当训练数据集的类分布不均时会发生这种情况，从而导致训练模型存在潜在偏差。不平衡分类问题的示例包括欺诈检测、索赔预测、违约预测、客户流失预测、垃圾邮件检测、异常检测和异常值检测。为了提高我们模型的性能并确保其准确性，解决类不平衡问题很重要。

02

Focal Loss升级 | E-Focal Loss让Focal Loss动态化，类别极端不平衡也可以轻松解决

长尾目标检测是一项具有挑战性的任务，近年来越来越受到关注。在长尾场景中，数据通常带有一个Zipfian分布(例如LVIS)，其中有几个头类包含大量的实例，并主导了训练过程。相比之下，大量的尾类缺乏实例，因此表现不佳。长尾目标检测的常用解决方案是数据重采样、解耦训练和损失重加权。尽管在缓解长尾不平衡问题方面取得了成功，但几乎所有的长尾物体检测器都是基于R-CNN推广的两阶段方法开发的。在实践中，一阶段检测器比两阶段检测器更适合于现实场景，因为它们计算效率高且易于部署。然而，在这方面还没有相关的工作。

01

非平衡数据集 focal loss 多类分类

焦点损失函数 Focal Loss（2017年何凯明大佬的论文）被提出用于密集物体检测任务。它可以训练高精度的密集物体探测器，哪怕前景和背景之间比例为1：1000（译者注：facal loss 就是为了解决目标检测中类别样本比例严重失衡的问题）。本教程将向您展示如何在给定的高度不平衡的数据集的情况下，应用焦点损失函数来训练一个多分类模型。

03

基于有效样本的类别不平衡损失CB-Loss

每天给你送来NLP技术干货！ ---- 干货作者：Sik-Ho Tsang 来自：炼丹笔记本文综述了康奈尔大学、康奈尔科技、谷歌Brain和Alphabet公司的基于有效样本数的类平衡损失(CB损失)。在本文中，设计了一种重新加权的方案，利用每个类的有效样本数来重新平衡损失，称为类别平衡损失。使用每个类的有效样本数量来重新为每个类的Loss分配权重，效果优于RetinaNet中的Focal Loss。 1. 类别平衡问题两个类，分别来自长尾数据集的头部和尾部(iNatur

01

不平衡数据集分类实战：成人收入数据集分类模型训练和评估

一个常用的例子是成人收入数据集，它涉及到社交关系、教育水平等个人数据，以此来预测成人的收入水平，判断其是否拥有5万美元/年的个人收入。数据集中个人收入低于5万美元的数据比高于5万美元的数据要明显多一些，存在着一定程度的分布不平衡。针对这一数据集，可以使用很多不平衡分类的相关算法完成分类任务。

02

介绍平衡准确率（Balanced Accuracy）和加权 F1 值（Weighted F1）

为什么要使用平衡准确率（Balanced Accuracy）和加权 F1 值（Weighted F1）？

00

机器学习中如何处理不平衡数据？

假设老板让你创建一个模型——基于可用的各种测量手段来预测产品是否有缺陷。你使用自己喜欢的分类器在数据上进行训练后，准确率达到了 96.2％！

02

机器学习中如何处理不平衡数据？

准确率高达 96.2% 的模型跑在真实数据上却可能完全无法使用。一个可能的原因是：你所使用的训练数据是不平衡数据集。本文介绍了解决不平衡类分类问题的多种方法。

02

基于深度学习的自然图像和医学图像分割：损失函数设计(1)

作者：李慕清 https://zhuanlan.zhihu.com/p/106005484 本文已由原作者授权，不得擅自二次转载

02

目标检测领域中的数据不均衡问题综述

paper链接:https://arxiv.org/abs/1909.00169.pdf

02

NeurIPS 2021：半监督节点分类中的拓扑不平衡学习

Topology-Imbalance Learning for Semi-Supervised Node Classifification

01

减少yolo检测模型误检的优化和调整

数据集质量：确保你的训练数据集质量良好，包含足够多的代表性样本，并且标注准确无误。低质量的训练数据集可能导致模型学习到错误的特征，从而产生误报。

01

不平衡之钥: 重采样法何其多

在《不平衡问题: 深度神经网络训练之殇》一文中，笔者已对缓解不平衡问题的方法进行梳理。限于篇幅原因，介绍比较笼统。事实上，针对重采样方法有很多研究，包括类别平衡重采样和Scheme-oriented sampling。

02

ICML2021 | 深入研究不平衡回归问题

来源：知乎—Yuzhe Yang、深度学习与图网络https://zhuanlan.zhihu.com/p/369627086本文约8500字，建议阅读15分钟本文大体梳理一下数据不平衡这个问题在分类以及回归上的一部分研究现状。来给大家介绍一下我们的新工作，目前已被ICML 2021接收为 Long oral presentation：Delving into Deep Imbalanced Regression。这项工作在经典的数据不平衡问题下，探索了非常实际但极少被研究的问题：数据不平衡回归问题。现有

04

【深度学习 | 核心概念】那些深度学习路上必经的常见问题解决方案及最佳实践，确定不来看看？（一）

在深度学习中，需要足够的训练数据来获得良好的模型性能。不足的训练数据可能导致模型过拟合或无法充分学习到数据的特征。在某些情况下，某些类别的数据较少可能会给模型带来挑战，特别是在处理不平衡数据集或高度错误分类的情况下。

02

你的模型是不是换个场景就不行了？CAT 的完美设计解决类内偏差，场景自适应的目标检测就这么诞生了

Foggy Cityscapes数据集上，作者获得了52.5 mAP，相比于最先进方法的51.2 mAP，这是一个显著的提升。

01

分类机器学习中，某一标签占比太大（标签稀疏），如何学习？

链接：https://www.zhihu.com/question/372186043

02

CVPR2020 oral | 解决目标检测长尾问题简单方法：Balanced Group Softmax

论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Li_Overcoming_Classifier_Imbalance_for_Long-Tail_Object_Detection_With_Balanced_Group_CVPR_2020_paper.pdf

02

处理非平衡数据的七个技巧

摘要：本文介绍了在入侵检测、实时出价等数据集非常不平衡的领域应用的数据处理技术。关键字：平衡数据，数据准备，数据科学原文：7 Techniques to Handle Imbalanced Data http://www.kdnuggets.com/2017/06/7-techniques-handle-imbalanced-data.html 作者：Ye Wu & Rick Radewagen, IE Business School. 译者：王安阳介绍在例如银行欺诈检测、市场实时出价、网络

02

机器学习Caret--R处理不平衡数据

不平衡数据集指的是数据集各个类别的样本数目相差巨大，例如2000的人群中，某疾病的发生只有100 (5%)人，那么疾病发生与不发生为 1：19。这种情况下的数据称为不平衡数据。在真实世界中，不管是二分类或三分类，不平衡数据的现象普遍存在，尤其是罕见病领域。

02

【目标检测实战】检测器至少需要多少图像？

第一个问题的重要性并未得到足够的重视。一般来讲，预处理(数据收集、数据清洗、数据标注)占据了一个AI算法的至少80%时间。因此，我们希望以最小的投入获取最大的回报。

03

数据不平衡问题成“千年”难题，看ACL新方法Dice Loss如何有效解决！

本文介绍的是 ACL 2020 论文《Dice Loss for Data-imbalanced NLP Tasks》，论文作者来自香侬科技、浙江大学。

04

FASA: Feature Augmentation and Sampling Adaptationfor Long-Tailed Instance Segmentation

最近的长尾实例分割方法在训练数据很少的稀有目标类上仍然很困难。我们提出了一种简单而有效的方法，即特征增强和采样自适应（FASA），该方法通过增强特征空间来解决数据稀缺问题，特别是对于稀有类。特征增强（FA）和特征采样组件都适用于实际训练状态——FA由过去迭代中观察到的真实样本的特征均值和方差决定，我们以自适应损失的方式对生成的虚拟特征进行采样，以避免过度拟合。FASA不需要任何精心设计的损失，并消除了类间迁移学习的需要，因为类间迁移通常涉及大量成本和手动定义的头/尾班组。我们展示了FASA是一种快速、通用的方法，可以很容易地插入到标准或长尾分割框架中，具有一致的性能增益和很少的附加成本。

01

【NLP】打破BERT天花板：11种花式炼丹术刷爆NLP分类SOTA！

在2020这个时间节点，对于NLP分类任务，我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样，我们更应该关注如何利用机器学习思想，更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。

02

【机器学习】不平衡数据下的机器学习方法简介

机器学习已经成为了当前互联网领域不可或缺的技术之一，前辈们对机器学习模型的研究已经给我们留下了一笔非常宝贵的财富，然而在工业界的应用中我们可以看到，应用场景千千万万，数据千千万万但是我们的模型却依然是那些，在机器学习的应用中对数据的处理与分析往往扮演着比模型更加重要的角色，本文针对机器学习应用数据处理的一个方面即“不平衡数据”下的机器学习方法进行了简单介绍。引言不管是在学术界还是工业界，不平衡学习已经吸引了越来越多的关注，不平衡数据的场景也出现在互联网应用的方方面面，如搜索引擎的点击预测（点击的网页往往

08

Github|类别不平衡学习资源(下）

https://github.com/ZhiningLiu1998/awesome-imbalanced-learning

02

不平衡学习的方法 Learning from Imbalanced Data

之前做二分类预测的时候，遇到了正负样本比例严重不平衡的情况，甚至有些比例达到了50:1，如果直接在此基础上做预测，对于样本量较小的类的召回率会极低，这类不平衡数据该如何处理呢？

03

视觉分类任务中处理不平衡问题的loss比较

来源：机器学习AI算法工程本文约1500字，建议阅读5分钟在计算机视觉（CV）任务里常常会碰到类别不平衡的问题。在计算机视觉（CV）任务里常常会碰到类别不平衡的问题，例如： 1. 图片分类任务，有的类别图片多，有的类别图片少 2. 检测任务。现在的检测方法如SSD和RCNN系列，都使用anchor机制。训练时正负anchor的比例很悬殊. 3. 分割任务，背景像素数量通常远大于前景像素。从实质上来讲，它们可以归类成分类问题中的类别不平衡问题：对图片/anchor/像素的分类。再者，除了类不平衡问

02

妙啊！类别不平衡上的半监督学习

分享一篇中稿CVPR 2021的工作，CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning[1]

05

[深度学习技巧]·数据类别不平衡问题处理

如果不同类别的训练样例数目稍有差别，通常影响不大，但若差别很大，则会对学习过程造成困扰。例如有998个反例，但是正例只有2个，那么学习方法只需要返回一个永远将新样本预测为反例的学习器，就能达到99.8%的精度；然而这样的学习器往往没有价值，因为它不能预测出任何正例。

05

ML Mastery 博客文章翻译（二）20220116 更新

Machine Learning Mastery 计算机视觉教程通道在前和通道在后图像格式的温和介绍深度学习在计算机视觉中的 9 个应用为 CNN 准备和扩充图像数据的最佳实践 8 本计算机视觉入门书籍卷积层在深度学习神经网络中是如何工作的？ DeepLearningAI 卷积神经网络课程（复习）如何在 Keras 中配置图像数据扩充如何从零开始为 CIFAR-10 照片分类开发 CNN 用于 Fashion-MNIST 服装分类的深度学习 CNN 如何为 MNIST 手写数字分类开发 CNN

03

CVPR2020 | FarSeg：武大提出最新遥感图像分割网络，解决前景背景不平衡问题

论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Zheng_Foreground-Aware_Relation_Network_for_Geospatial_Object_Segmentation_in_High_Spatial_CVPR_2020_paper.pdf

02

深度检查：通过深度神经网络进行配电杆零件研究

作者：Liangchen Liu,Teng Zhang,Kun Zhao,Arnold Wiliem,Kieren Astin-Walmsley,Brian Lovell

04

用收缩损失(Shrinkage Loss)进行深度回归跟踪

看过冰与火的你应该很熟悉这句，有兴趣的可以去好好观赏一番。但是今天我和大家说的是目标跟踪的内容，如果在这部美剧使用了目标跟踪的技术，又是另一个结局。言归正传，我们还是回到真正的目标跟踪技术。

05

用收缩损失(Shrinkage Loss)进行深度回归跟踪

看过冰与火的你应该很熟悉这句，有兴趣的可以去好好观赏一番。但是今天我和大家说的是目标跟踪的内容，如果在这部美剧使用了目标跟踪的技术，又是另一个结局。言归正传，我们还是回到真正的目标跟踪技术。

03

极端类别不平衡数据下的分类问题研究综述 | 硬货

不平衡学习是机器学习问题的一个重要子域，其主要关注于如何从类别分布不均衡的数据中学习数据的模式。在这篇文章中我们主要关注不平衡分类问题，特别地，我们主要关注类别极端不平衡场景下的二分类问题所面临的困难。

01

极端类别不平衡数据下的分类问题研究综述，终于有人讲全了！

不平衡学习是机器学习问题的一个重要子域，其主要关注于如何从类别分布不均衡的数据中学习数据的模式。在这篇文章中我们主要关注不平衡分类问题，特别地，我们主要关注类别极端不平衡场景下的二分类问题所面临的困难。

07

Tensorflow入门教程（四十七）——语义分割损失函数总结

今天介绍了过去五年中常用的15种分割损失函数，大致分成四类：基于分布，基于区域，基于边界和基于合成，实现代码链接：

02

特征工程之数据预处理（下）

上篇文章介绍了如何处理缺失值和图片数据扩充的问题，这篇文章会介绍另外两种情况，处理异常值和类别不平衡的问题。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭