使用Weka对数据集进行欠采样或过采样
Weka是一款开源的机器学习和数据挖掘工具，它提供了丰富的功能和算法来处理和分析数据集。在数据集不平衡的情况下，可以使用Weka进行欠采样或过采样来解决数据不平衡的问题。
欠采样是指减少多数类样本的数量，以使多数类和少数类之间的样本比例更加平衡。常见的欠采样方法包括随机欠采样、集群中心欠采样等。通过减少多数类样本的数量，可以提高少数类样本的重要性，从而改善模型的性能。
过采样是指增加少数类样本的数量，以使多数类和少数类之间的样本比例更加平衡。常见的过采样方法包括随机过采样、SMOTE（Synthetic Minority Over-sampling Technique）等。通过增加少数类样本的数量，可以提高少数类样本的代表性，从而改善模型的性能。
在Weka中，可以使用以下算法和功能来进行欠采样或过采样：
- 随机欠采样（RandomUnderSampler）：随机删除多数类样本，以达到平衡样本比例的目的。可以使用Weka的
weka.filters.supervised.instance.Resample过滤器来实现。 - 集群中心欠采样（ClusterCentroids）：通过聚类算法将多数类样本聚类成少数类样本数量的簇，然后从每个簇中选择一个样本作为代表。可以使用Weka的
weka.filters.supervised.instance.ClusterCentroids过滤器来实现。 - 随机过采样（RandomOverSampler）：随机复制少数类样本，以增加其数量。可以使用Weka的
weka.filters.supervised.instance.Resample过滤器来实现。 - SMOTE（Synthetic Minority Over-sampling Technique）：通过合成新的少数类样本来增加其数量。SMOTE算法会在少数类样本之间进行插值，生成新的合成样本。可以使用Weka的
weka.filters.supervised.instance.SMOTE过滤器来实现。
以上是Weka中常用的欠采样和过采样方法，根据具体的数据集和问题，选择合适的方法进行处理。Weka提供了丰富的算法和功能，可以帮助开发者进行数据预处理、特征选择、模型训练和评估等工作。
腾讯云提供了一系列与机器学习和数据挖掘相关的产品和服务，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）、腾讯云数据湖服务（https://cloud.tencent.com/product/datalake）、腾讯云人工智能开发平台（https://cloud.tencent.com/product/aiplatform）等。这些产品和服务可以帮助用户在云上进行机器学习和数据挖掘任务，提供了丰富的算法和工具支持。
相关·内容
1回答
我有一个倾斜的数据集，其中有推特推文和与it.The相关的情绪，积极情绪:负面情绪的比率约为1:4(训练集)。当我在Weka上运行训练集(没有SOMTE)时，结果并不令人满意。所以我使用SMOTE来平衡我在那之后得到的classes.The结果，这要好得多。我使用Libsvm进行分类。
由这种SMOTE技术生成的模型的可靠性如何？对于这种不平衡的数据集，我们可以总是使用SMOTE吗？我是ML和weka的新手，所以对这些东西了解不多。
浏览 6提问于2015-03-10得票数 1
3回答
我已经有两个数据集了。一个用于训练，另一个用于测试。这两个数据集都是不平衡的(百分比相似)，大约有90%的标签1。如果测试集是非常不平衡的，那么平衡数据会有用吗？标签0的实例(即10%)仍然足够。
如果有必要的话，我最终会使用过度抽样。我的是一个tripAdvisor审查数据集，在这种情况下最好的技术是什么？
有没有使用过采样和过采样的混合技术？还是没什么意义？
浏览 0提问于2023-03-08得票数 2
1回答
我是机器学习的新手，目前正在从事一个数据不平衡的项目。我想用随机抽样来平衡数据。我很困惑是应该在测试列车分裂后进行欠采样，还是应该先进行欠采样，然后再进行列车测试分割？
我的方法是: 1.我用火车测试拆分得到: X_train，y_train用于培训，X_test和y_test用于测试。2.将X_train和y_train合并为一个数据集，进行欠采样。3.在欠采样后，进行了基于F1评分的交叉验证和模型选择，并利用X_test、Y_test进行了预测。
我的方法正确吗？如果我错了，请纠正我。
浏览 1提问于2020-05-22得票数 5
1回答
在我的问题中，我处理的是一个高度不平衡的数据集，比如每一个正面类都有10000个负值。一种正常的训练模型的方法是对数据进行欠采样。在这一过程中，对我们的模型进行低采样数据的训练，并检查模型对保留的评估(从原始数据-不欠采样)是非常重要的。
现在同性恋来了。交叉验证实际上将欠采样的列车组分割成K段，并将其中一个折叠作为测试集(现在是欠采样的测试集)。我认为对于模型评估，我们实际上需要计算非抽样测试集感兴趣的度量(对吗？)还是我误解了这件事？)如果是，是否可以按以下方式进行交叉验证？
将数据分割成K段。
以第一段作为测试集，对其余的Folds (例如，K=1作为测试，K=2,3,4,5作为火车集)
浏览 0提问于2019-02-04得票数 12
回答已采纳
我试图解决一个多类不平衡的分类问题。为此，我使用SMOTE表示过采样，而OSS用于过采样.但我有一个疑问，因为我正在研究多类，所以我必须把它转换成二进制分类。所以我们可以用OVA/OAA来转换它。那么，如何使用OVA/OAA同时对同一数据集进行过采样和欠采样？
浏览 0提问于2019-01-28得票数 2
我已经编写了一个简单的Python脚本，它使用sklearn.neural_network.MLPClassifier和sklearn.model_selection.GridSearchCV对二进制分类数据进行预测，每个点都被标记为0或1。在训练数据中，大约90%的数据标签为1，10%的数据标签为0。在测试数据中，大约35%的标签为1，65%的标签为0。这个比例是已知的，尽管标签是未知的。
我的模型目前过度拟合。我对训练数据的交叉验证得分是85-90%，但当我在测试集中运行代码时，得分低于40%。
我想过的一个解决办法是，我可以尝试设置GridSearchCV来拆分数据，以便每个训练/验证集
浏览 15提问于2020-05-28得票数 0
回答已采纳
1回答
使用权重处理不平衡数据
、、、、
我有非常不平衡的数据，目标是分类。首先，我想检查多数类上的欠采样。第一类包含600、class2 90、class3 60和class4 96示例数据！
使用权重:在2折交叉验证和随机森林模型中：
为什么使用权重，结果不是更好？这是我的代码：cfr = RandomForestClassifier(n_estimators=100,n_jobs=5,class_weight={1:1,2:30,3:30,4:30})我的代码中有什么地方出错了吗？你能给我带路吗？
浏览 0提问于2015-11-08得票数 0
是否有类似于在Weka或其他实用程序中实现的MetaCost算法来执行const敏感分析的科学工具学习方法/类？
浏览 2提问于2014-03-20得票数 6
回答已采纳
3回答
我刚刚使用DMwR包中包含的Smote在我的数据集中进行了过采样。
我的数据集由两个类组成。最初的分布是12比62。因此，我对过采样进行了编码：
newData <- SMOTE(Score ~ ., data, k=3, perc.over = 400,perc.under=150)
现在，分布是60对72。
然而，当我显示'newData‘数据集时，我发现SMOTE是如何进行过采样的，并且有一些样本是重复的。
例如，样本号24显示为24.1、24.2和24.3。
这是正确的吗？这直接影响到分类，因为分类器将学习包含测试中出现的数据的模型，因此这在分类中是不合法的。
编辑:我想
浏览 5提问于2014-06-08得票数 2
2回答
我有非常小的数据属于正类，而大量的数据来自负类。根据教授的说法。Andrew Ng ()，我应该使用异常检测而不是监督学习，因为数据高度倾斜。
如果我错了，请纠正我，但这两种技术在我看来是一样的，即在(监督)异常检测和标准监督学习中，我们用正常和异常样本训练数据，并对未知数据进行测试。有什么不同吗？
我应该只执行负类的欠采样还是正类的过采样，以获得相同大小的两种类型的数据？它会影响整体的准确性吗？
浏览 1提问于2014-04-26得票数 5
1回答
我正在开发一个具有高度不平衡数据集(0.7%的少数类)的模型。为了纠正这种不平衡，我打算使用不平衡的学习库中的算法进行过度抽样。我有一个工作流程，我想要分享，并获得一个意见，如果我是朝着正确的方向，或者我可能错过了什么。
分离式列车/测试/Val
为GridSearch设置流水线并优化超参数(管道只对训练折叠进行过采样)
评分标准将是AUC，因为训练集在这一点上是平衡的。
由于模型是在平衡数据集上训练的，因此它可能非常保守，并且预测了许多假阳性。
考虑到上述因素，将对模型进行校准，以获得更精确的概率(CalibratedClassifierCV)。
在验证集上查看具有校准概率阈值的精度/召回曲
浏览 0提问于2018-09-21得票数 2
3回答
在数据集上应用随机过采样的时间
、、、、
我试着用机器学习算法学习分类。我翻阅了笔记本的乳腺癌- EDA，平衡和ML。在这个笔记本中，Random Oversampling已经实现。然而，当该人进行过度抽样时，他会在整个数据集上进行。我知道过采样只能应用于训练数据集。
在我的例子中，在将数据分割成训练和测试集之后，我对训练数据进行了过度采样。精确性，以及我所得到的回忆都不如Kaggle笔记本好。
Kaggle结果
precision recall f1-score support
0 0.73 0.90 0.81 1010
1
浏览 0提问于2022-09-05得票数 4
2回答
我有一个信用卡数据集，98%的交易是非欺诈，2%是欺诈.
我一直在试着在训练和测试分裂之前对专业课程进行低采样，并在测试集上获得了很好的召回率和精确性。
当我只对训练集做欠采样，在独立集上进行测试时，我的查全率很低，但召回率是一样的！
我的问题是：
我是否应该在分裂成训练和测试之前少采样，这会不会扰乱数据集的分布，而不是真实世界的代表？
还是上述逻辑仅适用于过采样时？
浏览 0提问于2021-02-09得票数 2
回答已采纳
我将尝试在较高的层次上解释我的问题，我希望我能够更好地理解所有这些问题背后的ML。
我正在处理从音频文件中提取的聚合特征，因此每个特征向量的大小为(1xN)。输出将是单个情感标签，正面、中性或负面。我将它们分别映射到2、1、0(标签在设计上是离散的，但也许我可以使其连续？)
我使用的数据集90%是中性的，6%是负面的，4%是正面的，我把它们分成了训练/开发/测试。我用PyTorch写了一个基本的DNN，并且一直在使用CrossEntropyLoss和SGD (带有nesterov momentum)进行训练。我遇到的问题是，网络在看到大约10%的数据后，开始只预测网络标签。类权重收敛到如下所示
浏览 2提问于2018-07-20得票数 1
1回答
我想知道是否有可能有一个包含强制元素和可选元素的管道。可选的是有条件的。例如，你可以有一个带有下采样元素的管道，或者你可以有一个没有下采样的相同管道。所以
from imblearn.pipeline import Pipeline as IMBPipeline
import xgboost as xgb
from imblearn.under_sampling import RandomUnderSampler
pipe = IMBPipeline([
('sampling',RandomUnderSampler()),
浏览 10提问于2020-03-16得票数 0
1回答
示例：
我有100个特定时间段的样本。但是我只能使用10个值来绘制折线图。如果我使用所有100个精确的样本来绘制图表，我可以使用什么算法来计算这10个代表值，使图表看起来类似。
计算每10个样本的平均值的朴素算法不能很好地反映图表中的峰值。
浏览 5提问于2012-03-18得票数 4
回答已采纳
3回答
不平衡的数据:过采样还是过采样？
、、、、
我有一个二元分类问题，其中一个类别占所有观测值的99.1% (210 000)。作为处理不平衡数据的一种策略，我选择了抽样技术。但我不知道该怎么做:低估我的多数阶级，或过度抽样代表较少的阶层。如果有人有建议？
谢谢。
附注：我使用滑雪板上的随机森林算法。
浏览 2提问于2017-05-29得票数 1
回答已采纳
1回答
我有一个关于数据挖掘的问题。我有一个属于4个类的74个实例的数据集。由于每个类别的数量不足以使用某些分类器( svm、rna、knn)获得良好的准确性，因此我需要对每个类别的实例数量进行“过采样”。
我听说有一种方法可以做到这一点。它包括生成这些新实例，如下所示：
new_instance <---- original_instance + u(epsilon)
但我对此还没有更多的了解。
有人使用过这种方法来“过采样”他的数据吗？
浏览 0提问于2013-03-31得票数 1
回答已采纳
2回答
我拥有的数据集是由路径名组成的一些文本数据。我正在使用TF-国防军向量器和决策树。数据集中的类严重不平衡。有几个大类的样本数超过500个，而其他一些小类的样本数少于100个。有些甚至更小(不到20)。这是实际收集的数据，因此模型在实际实现中看到次要类的可能性也很小。我现在遇到的问题是，模型大部分时间预测小班为主修班，使我的准确率一直在45%左右。如果我重新整理数据，我认为由于模型学习主修班的能力降低，准确性会更差。
因此，我想问一问，我是否应该考虑重新整理我的数据，或有人对如何提高我的模型的准确性有任何建议？任何帮助都是非常感谢的。
浏览 0提问于2021-07-14得票数 0
目前，我正在从事一个项目，其目标是找到谁有更多的可能性购买您的project.Its分类模型(0 &1 )的客户。我已经创建了使用RF和XGB两者的模型& calculated gain score (数据不平衡).Not我的超过80%的客户覆盖了前3位的训练数据，但当我在验证数据集上运行模型时，它在两个模型中都回落到56-59%。
假设我有20个客户&为了更好的准确性，我对他们进行了集群，现在模型在集群1客户上给出了完美的结果，但在集群2客户上表现很差。
任何调整同样的建议。
浏览 18提问于2019-12-04得票数 0
我正在尝试在不平衡的数据集(97% / 3%)上拟合XGBRegressor()并评估结果，但是在生成正确的评估指标方面存在问题。
我选择SMOTE对我的目标变量进行过采样。
X = multiSdata.filter(['col1', 'col2','col3','col4', 'col5','col6','col7','col8',
'col9','col10','col11&#
浏览 49提问于2019-11-04得票数 0
1回答
我正在应用SMOTE (DMwR包)，因为我有一个类不平衡的问题。然而，我有三个类的结果，而不是两个。
该函数正确地对少数类进行过采样，但我没有遵循多数/中间类的行为(即，所有类别都包含不同的样本大小)。
比方说：
library(DMwR)
set.seed(1234)
train = data.frame(group=as.factor(rep(c(1,2,3),c(35,110,220))),
score=rnorm(365,100))
train_resample <- SMOTE(group ~ ., train, perc.over = 400,
浏览 0提问于2017-03-09得票数 6
2回答
重新采样查询
、、
在使用sklearn.utils resample时，我有点困惑。 使用不平衡的数据集，我试图随机对多数类进行下采样。一切都很顺利，但当我意识到我的模型(replace=真)的性能确实有了显着提高时。 这里性能提高背后的原因是什么？是否用复制的样本替换样本？这里有没有过度拟合的地方？ 不知何故，我对此还是个新手，因此，如果有任何澄清，我将不胜感激。 这是代码中执行所有重要更改的部分。 from sklearn.utils import resample
Negative = sms[sms.Label == 'Neg']
Positive = sms[sms.Label =
浏览 28提问于2019-12-14得票数 1
4回答
我有一个做二进制分类的模型。
我的数据集是高度不平衡的，所以我认为在训练模型之前，我应该用不适当的抽样来平衡它。因此，平衡数据集，然后随机分割它。这条路对吗？还是应该平衡测试和训练数据集？
我只试着平衡整个数据集，我获得了80%的训练精度，但是在测试集上，我得到了30%的准确率。这看起来不对？
但我也不认为我应该平衡测试集，因为它可以被认为是偏见。
怎样才是正确的方法？
谢谢
更新:我有40万个样本，10%是1s，90%是0。我无法获得更多的数据。我试着保存整个数据集，但我不知道如何将其分割成训练集和测试集。在列车和测试数据集中是否需要相同的分布？
浏览 0提问于2018-06-08得票数 20
回答已采纳
我在使用WEKA中的SMOTE过滤器来平衡数据。
我对nearestNeighbors和percentage这两个参数有疑问。
nearestNeighbors --要使用的最近邻居的数目。
百分比--创建单个实例的百分比。
我该如何设置它们？
我认为邻居的数量是它将要创建的合成样本的数量。
那么百分比的含义是什么呢？它应该小于或者等于邻居的数量，对吗？是否考虑合成样品的百分比？
例如：
如果我把10个邻居和200%的人放在一起，会发生什么？
有人能给我举几个正确用法的例子吗？
浏览 6提问于2014-03-25得票数 3
回答已采纳
1回答
对于多类分类，我有不平衡的数据集，我尝试在XGboost中使用类权重选项，而分类器仍然倾向于支持大多数类。我不确定我是否需要调整其他的东西，或者我应该如何处理这个问题。如果阿尔戈预测的地方到处都是，我仍然能理解，但不确定为什么它仍然偏向于多数阶级。有什么指示吗？
更新:我的意思是大部分的预测仍然是针对主修班的，在测试和训练中，这个比例大约是30%。
浏览 0提问于2019-03-11得票数 2
1回答
我正在处理不平衡的数据集，我试图建立一个使用MLP分类器的预测模型。不幸的是，该算法将所有观察值从测试集分类到"1“类，因此分类报告中的f1评分和回忆值为0。有人知道怎么处理吗？
model= MLPClassifier(solver='lbfgs', activation='tanh')
model.fit(X_train, y_train)
score=accuracy_score(y_test, model.predict(X_test), )
fpr, tpr, thresholds = roc_curve(y_test, model.predi
浏览 0提问于2017-06-18得票数 8
回答已采纳
1回答
我是机器学习的研究员。在我的项目中，我一直在将ML应用于一个小的不平衡数据，其中包括8个特性和297个实例，其中44个为正实例，253个为负实例。首先，我使用分层抽样将整个数据集分成一个训练集(80%)和一个测试集(20%)。其次，将训练集过度采样为均衡训练集，采用随机抽样替换或平滑，并应用信息增益特征选择来减少均衡训练集的特征。再次，对训练集进行了logistic回归、RBF支持向量机、多项式支持向量机、MLP (1-隐层网络和2-隐层网络)、随机林、XGBoost、进化模糊分类器(Weka 3.9.4)、Sugeno模糊系统(Matlab)的训练。对于过采样步骤，采用替换的随机抽样比平滑抽
浏览 0提问于2022-01-02得票数 1
1回答
我有一个不平衡的数据集，其中两个类的例子较少，三个类的示例数较多。是否有一种标准的方法来计算损失函数的权重，从而建立一个高精度的系统？
浏览 2提问于2018-06-16得票数 0
3回答
我目前正在处理一个机器学习问题，而我必须处理大量不平衡的数据集。也就是说，有六个类('1'，'2'...'6')。不幸的是，例如对于类'1‘有150个示例/实例，对于类'2’有90个实例，对于类'3‘只有20个。所有其他类不能被“训练”，因为这些类没有可用的实例。
到目前为止，我发现WEKA (我正在使用的机器学习工具包)提供了这个有监督的“重采样”过滤器。当我使用'noReplacement'=false和'bialToUniformClass'=1.0应用这个过滤器时，这将产生一个数据集
浏览 0提问于2009-12-09得票数 5
2回答
当使用不平衡的数据集(例如，欺诈检测)执行分类(例如，逻辑回归)时，是最好在过度采样少数类之前对特征进行缩放/zscore/标准化，还是在缩放特征之前平衡类？
其次，这些步骤的顺序是否会影响最终如何解释特性(当使用所有数据scaled+balanced来训练最终模型时)？
下面是一个例子：
标度第一：
将数据分割成列车/测试折叠
使用所有培训(不平衡)数据计算平均值/std；使用这些计算来缩放培训数据
对培训数据中的少数族裔类进行过抽样(例如，使用SMOTE)
训练数据拟合logistic回归模型
使用平均值/std计算来缩放测试数据
用不平衡的测试数据预测类；评估ac
浏览 0提问于2018-01-21得票数 7
我的训练数据具有极不平衡的类{0:8725，1:3335}，具有100个特征。我使用xgboost通过贝叶斯优化来构建分类模型，以在{learning rate:(0.001,0.1)，min_split_loss:(0.10)，max_depth:(3,70)，min_child_weight:(1:20)，max_delta_step:(1,20)，subsample:(0:1)，colsample_bytree:(0.5,1)，λ：(0，10)，alpha:(0,10)，scale_pos_weight:(1,262)，n_estimator:(1,20)}范围内对模型进行超调优。我还使
浏览 6提问于2021-02-27得票数 0
我有一个算法，它是一个非常简单的分类任务，有一组特征和一个类输出，我想用机器学习来解决这个问题。
但我对数据生成有疑问和疑问。我的algo作为输入的特性是由其他算法预先处理的，更重要的是，对我想要改变的算法也有一个反馈循环。
基本上，我的成绩越好，假阳性就越少。但是由于假阳性较少，我有越来越多的不平衡数据需要处理，这意味着算法的训练更加困难。我可以故意降低我的algo的性能并生成数据，但是我不确定我得到的数据是否有任何意义，因为有一个反馈循环。
对我来说，这就像是鸡蛋的问题。
浏览 0提问于2018-09-18得票数 3
回答已采纳
我正在尝试在MATLAB中建立一个二进制分类的决策树。我为每个实例提供了4个功能。正类中约有25,000个实例，负类中约有350,000个实例。
我尝试过在分类学习应用程序中和使用fitctree构建分类器，但两者似乎都只是将所有内容都标识为负面类。我猜MATLAB正在构造树，以产生最高的“准确性”。
有没有一种方法可以将决策树构建成更敏感的模型？(也就是说，除了“准确性”，我是否可以使用fitctree来构建灵敏度为70/80/90%或灵敏度和特异度相似的模型？)
浏览 1提问于2018-02-16得票数 1
我有3个数据集，每个数据集分成3个不同的类( 买入/持有/出售 )。我随机抽取每个数据集中每个类的频率到每个数据点10000个数据点。
我的问题是，在我做随机抽样之前还是之后，我应该对训练集进行缩放？它是否在某种程度上扭曲了最终的训练？
我为我提供了一个平衡每个数据集的函数，请注意，此时数据已经被缩放了。
def balance_dataset(df):
training_set = df[:round(len(df.values) * TRAINING_LENGTH)]
label_frequencies = training_set['Label'].v
浏览 0提问于2020-03-31得票数 3
1回答
我一直在研究机器学习模型，我很困惑该选择哪种模型，或者是否有其他我应该尝试的技术。我正在使用随机森林来预测使用高度不平衡的数据集进行转换的倾向。目标变量的类平衡如下所示。
label count
0 0.0 1,021,095
1 1.0 4459
我训练的两个模型是使用UpSampling，然后使用欠采样。下面是我用于上采样和欠采样的代码
train_initial, test = new_data.randomSplit([0.7,
浏览 3提问于2018-11-22得票数 1
我阅读了很多关于如何专门为不平衡的数据集使用不同的度量(例如，存在两个类，但80%的数据是一个类)，以及如何处理不平衡数据集的问题。
一个技巧是过采样，因此获取更多(甚至重复一些)属于未充分表示的类的数据。我尝试过这一点，并取得了更好的结果(在我的模型能够很容易地预测每件事情的单个类，达到80%的准确性lol之前)。
然而，我在想，这个模型与现实生活中的数据相吻合吗？数据科学/机器学习的“规律”之一是，您的培训数据必须具有与您打算使用模型的真实数据相同/相似的属性。但是，通过过度抽样，我创建了一个数据集，其中一个类占50%，另一个类占50%，而“自然”、现实生活中有80%是一个类，另一个类占2
浏览 0提问于2021-04-29得票数 5
回答已采纳
1回答
我有一个不平衡的数据集，有更多的正面评价(90%)比负面(10%)，下面的选项我应该遵循。
class_weight='balanced'在GridsearchCV(培训和简历)和物流(培训和测试)中的应用
将数据分成训练、简历和测试集，然后以多数类(我的情况是+ve类)对少数类进行过度抽样。因此，这两个类都是平衡的。
欠采样-不考虑由于信息的损失。
浏览 0提问于2019-04-11得票数 1
1回答
我需要一些建议来提高我的模型的准确性。
训练数据的形状为：(166573，14)
📷
它有所有int列和float列。我已经删除了claims_daysaway列，因为大多数值都是NaN，并将Nan值替换为mean列。
X_train = train.drop(['outcome','testindex','claims_daysaway'], axis=1)
y_train = train['outcome']
📷
由于值在不同的尺度上，我使用StandScaler()对值进行标准化。
📷
此数据集高度不平衡。
列车“结果”.v
浏览 0提问于2019-04-21得票数 1
1回答
当我有较少、稀疏和不平衡的数据时，有什么方法来选择这些特性吗？
大约90%的样本是顺序的，10%是数值的。
特征数量:200个样本数:约1000个
浏览 1提问于2017-02-01得票数 0
3回答
我想问一下，目前的数据集API是否允许执行过采样算法？我处理的是高度不平衡的类问题。我在想，在数据集解析(即在线生成)过程中对特定类进行过采样会很好。我已经看到了rejection_resample函数的实现，但是这会删除样本而不是复制它们，并且它会减慢批处理的生成速度(当目标分布与初始分布有很大不同时)。我想要实现的事情是:举个例子，看看它的类概率，决定是否复制它。然后调用dataset.shuffle(...) dataset.batch(...)并获取迭代器。最好的(在我看来)方法是对低概率类进行过采样，而对最可能的类进行二次采样。我想在网上做，因为它更灵活。
浏览 1提问于2017-11-11得票数 11
1回答
我有一个不平衡的数据集，我使用smote对少数类进行过采样，而对多数类进行欠采样。现在，我想使用模型的predict_proba检查测试AUC。
我有两个问题: 1.如果我比较AUC，我必须校正概率吗? 2.我如何校正它(欠采样和过采样的组合！)
浏览 40提问于2019-11-22得票数 0
我有一个数据集，其中大约20%的数据是正类，80%的数据是负类。当我在平衡数据集上对分类器进行欠采样和训练，并在平衡数据集上进行测试时，结果非常好。但是，如果我在平衡数据集上进行培训，并在复制现实世界(80-20分离)的不平衡数据集上进行测试，那么度量标准就不太好了。如果我想让原始的不平衡数据集在同样不平衡的真实世界测试数据上表现良好，我应该在原始不平衡数据集上训练它吗？
浏览 0提问于2020-01-21得票数 1
回答已采纳
我正在研究不平衡数据集中的分类，我正在学习抽样策略下的/过度抽样策略，以解决这个问题。虽然文献一致认为，我们需要对“少数”类和“多数”类进行过抽样，但对于如何定义/衡量少数群体/多数群体，我还没有找到明确的定义。
虽然这在二进制分类任务中不是什么大问题，但我的问题是一个多分类的问题，那里有200多个类，有些有数以万计的例子，有些例子在100以下。但是你是如何科学地决定哪一个是多数，哪个是少数呢？
我希望能在这方面提供一些帮助，特别是如果你有任何我能准备好的推荐信。
谢谢
浏览 0提问于2022-03-17得票数 1
1回答
类别权重与欠采样/过采样
、、、
例如，在不平衡分类(使用scikit learn)中，平衡类(即将class_weight设置为平衡)与使用SMOTE进行过采样的区别是什么？其中一种与另一种的预期效果会是什么？
浏览 15提问于2019-04-13得票数 5
回答已采纳
我在这里遵循了教程：https://towardsdatascience.com/creating-the-twitter-sentiment-analysis-program-in-python-with-naive-bayes-classification-672e5589a7ed创建了一个twitter情绪分析器，它使用nltk库中的朴素贝叶斯分类器将tweet分类为正面、负面或中性，但它返回的标签仅是中性或无关的。我已经将我的代码包含在下面，因为我对任何机器学习都不是很有经验，所以我将非常感谢任何帮助。 我尝试过使用不同的tweet集合来进行分类，即使指定了一个搜索关键字，比如“ha
浏览 25提问于2019-05-19得票数 0
回答已采纳
我正在处理一个非常具有挑战性的分类问题，其中我有三个问题:一个小的数据集(大约800个样本)，不平衡的数据集(4个类，每个类有1-600个样本，2/3/4-50个样本)，以及其中一个特征中缺少的数据。
我一直在考虑的一些事情：
生成合成数据，例如使用SMOTE (合成少数群体过采样技术).
将这一分类转变为少数群体和多数群体之间的二元分类。
结合不同的分类器，给负样本更多的权重(万一我变成二进制分类器)。
通过在成本函数中应用特定的权重进行成本敏感的学习(有点类似于前面的，但使用了所有4个类)。
我打算作为分类器，朴素贝叶斯，支持向量机，随机森林和神经网络和2倍交叉验证
浏览 4提问于2015-11-19得票数 4
2回答
我有数千个数据源，从类似类型的硬件中生成数据。然而，不同的来源在数据集中产生了不同的动态！
尽管这些特性是相同的，但是数据集具有非常不同的特性。
我正在研究一个多类分类问题，试图了解可以使用多少特定的模型来处理该领域。
不同数据源上的类数不同，因此需要建立不同的模型。这意味着，在最后，我有许多不同的模型要评估。类似的输入，但在输出时要预测的类数是不同的。
由于这是一个多类分类问题，所以使用了混淆矩阵和多条ROC曲线。
现在，我正试图在更多的细节中，看看在最糟糕的模型中，是什么导致了糟糕的表现。通常的原因是:1.测量不够；2.严重不平衡的数据集；3. 1和2的组合
问题是，对于多类问题(什么是不
浏览 0提问于2019-12-09得票数 3
2回答
在如何解决阶级失衡问题上，存在着大量的职位和资源，即对少数民族阶级的过抽样或对多数阶级的过抽样。
我也明白，用精确性来评估模型在不平衡问题上的性能是错误的。
然而，我没有找到很多资源来讨论，为什么ML模型在类中失败了，首先是不平衡的问题。这仅仅是因为损失函数通常是所有数据点的和，所以模型会倾向于更多地强调多数类数据，而不是少数类数据？
第二，在实际应用中，例如欺诈检测或单击预测(在发生类失衡的情况下)，为什么要将培训集的分布更改为over(-sampling)是一件好事？难道我们不想让分类器反映真实的分布(本质上是不平衡的)吗？假设我有一个logistic回归模型来预测欺诈，我们假设欺诈率是2
浏览 1提问于2018-02-07得票数 5
1回答
我需要任何熟悉我面临的问题的人的帮助。 我想使用SVM、随机森林和深度神经网络(DNN)对两个不同的数据集进行分类。我的一个数据集是平衡的，另一个数据是高度不平衡的。下面是我的数据集的图像，它对于分类是不平衡的。 ? 我想要比较用于这两个数据的所有机器学习的分类结果。哪个数据集产生更好的分类结果。对于平衡数据集，我没有问题，因为可以正常处理它，但对于不平衡数据集，我有点困惑。 我的问题是，我对使用不平衡数据进行分类的步骤感到困惑。据我所知，为了处理不平衡的数据，我们应该进行抽样。 我是必须先分类并获得结果，还是应该先进行过采样并分类并获得结果？对不平衡数据集进行分类的正确步骤是什么？
浏览 20提问于2019-04-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
