我应该如何解释:灵敏度太低，在插入符号训练中AUC非常高，交叉验证在我训练的数据上重新采样结果。
模型的性能是否很差？
浏览 4提问于2016-08-26得票数 1
2回答
我在一个带有232:1二进制类的重不平衡数据库上使用XGBoost分类器训练一个模型。由于我的训练数据包含750 k行和320个特征(在进行了许多特征工程、特征相关滤波和低方差滤波之后)，我更喜欢使用scale_pos_weight来处理不平衡而不是过采样的数据。在使用贝叶斯优化方法优化PR参数并进行5倍交叉验证之后，我得到了以下最佳交叉验证分数：PR AUC = 4.87%, R
浏览 0提问于2021-04-09得票数 4
3回答
使用R包插入符号，如何根据train()函数的交叉验证结果生成ROC曲线？., data=Sonar, trControl=ctrl)
训练函数遍历一系列mtry参数并计算ROCAUC。注意:如果用于采样的方法是LOOCV，那么rfFit将在rfFit$pred插槽中包含一个非空
浏览 1提问于2015-06-30得票数 30
回答已采纳
1回答
我在R中使用插入符号的训练函数来生成一个使用GBM的模型。我使用了重复交叉验证与5次重复，这意味着将有50个样本。我想问的是，是否有一种方法可以用不同的方式来绘制结果，比如在x轴上显示增强迭代，在y轴上显示auc，在里面显示从最佳参数选择中得到的结果，但是有一条单独的行来训练褶皱和测试褶皱。当您使用gbm包中的"gbm“函数，并使用"gbm.p
浏览 3提问于2015-10-01得票数 0
回答已采纳
我正在阅读插入文档。我想我可以做折叠=1，但不知道是否有一种指定的方法在插入符号中这样做？在文档中，trainControl()中的方法可用的参数如下：
重采样方法: boot、boot632、cv、repeatedcv、LOOCV、LGOCV (用于重复<em
浏览 1提问于2019-02-14得票数 1
回答已采纳
我知道在trainControl中使用'timeslice‘可以进行时间序列交叉验证，但是看起来它似乎是通过训练集一次一个样本进行的。是否有任何方法来执行相同的交叉验证策略，同时为“timeslice”指定拆分的数量？
浏览 0提问于2018-01-24得票数 0
1回答
在我的问题中，我处理的是一个高度不平衡的数据集，比如每一个正面类都有10000个负值。一种正常的训练模型的方法是对数据进行欠采样。在这一过程中，对我们的模型进行低采样数据的训练，并检查模型对保留的评估(从原始数据-不欠采样)是非常重要的。
现在同性恋来了。交叉验证实际上将欠采样的列车组分割成K段，并将其中一个折叠作为测试集(现在是欠采样的测试集)。我认为对于模型评估，我们实际上需要
浏览 0提问于2019-02-04得票数 12
回答已采纳
我已经建立了模型，它为随机森林和支持向量机提供了84%的准确率，但只给出了13%的非常低的auc。我是用python构建的，我是机器学习和数据科学的新手。
我预测数据集上有0和1个标签。对改善auc有什么建议吗？
浏览 3提问于2017-11-02得票数 0
1回答
我之所以怀疑这一点，是因为我在使用H2O的h2o.splitFrame函数或插入符号的createDataPartition函数时得到了两个完全不同的结果--当我自己手动划分数据时：
在我的数据与时间序列数据，3000-4000个数据点，使用10倍的简历，我获得了非常可接受的结果在所有的数据集:培训，验证，交叉验证，和测试集时，使用插入符号的xgboost或h2o。然而，只有使用<
浏览 1提问于2017-04-18得票数 1
回答已采纳
1回答
我正在处理一个非常不平衡的分类问题，我使用AUPRC作为插入符号的度量。我得到了非常不同的结果，测试集在AUPRC从插入和在AUPRC从软件包PRROC。在我的不平衡情况下，差异更大(AUPRC= 0.1688446与-via control$sampling <- "smote"的SMOTE重采样，与PRROC的0.01429 )。更新：我在代码中找不到
浏览 1提问于2018-11-14得票数 3
回答已采纳
chi-2得到100科尔，但我的混淆矩阵如下所示：1 190 0我试着使用10000属性，随机选择100个属性，根据chi-2选择100个属性，但我从未得到0的预测结果
浏览 0提问于2017-10-24得票数 0
回答已采纳
我正在尝试理解randomForest包和caret包中的随机森林实现之间的区别。Petal.Width 45.57974# 3 Sepal.Length 9.59369我试图在caret中获得相同的信息，但我不知道如何指定树的数量，也不知道如何获得基尼系数：
rf2 <- train(Species ~ ., data = iris, method = "rf",我知道这不是测试分类器性能的正确方法，但我
浏览 3提问于2015-05-12得票数 2
4回答
sklearn.metrics import confusion_matrix我已经通过网格搜索优化了超参数，并执行了k倍交叉验证
浏览 0提问于2018-11-06得票数 1
回答已采纳
x_var) loss.backward()最后，我在一个单独的测试集上测试我的模型我偶然发现了一种使用随机搜索来优化超参数以及实现K折叠交叉验证(RandomizedSearchCV)的方法。
我的问题是双重的(没有双关的意思！)首先，理论上是:k-折叠验证是必要的，还是可以为小批量前馈神经网络增加任何好处？据我所见，小型批处理方法应该做大致相同的工作，停止过度拟合。
浏览 2提问于2020-03-25得票数 0
回答已采纳
2回答
我非常喜欢在建模的早期阶段使用插入符号，特别是因为它非常容易使用重采样方法。然而，我正在研究一个模型，在这个模型中，训练集有相当多的案例是通过半监督的自我训练增加的，而且我的交叉验证结果也因此而扭曲。我的解决方案是使用验证集来衡量模型的性能，但是我看不到在插入符号中直接使用验证集的方法--我是
浏览 0提问于2013-08-09得票数 4
回答已采纳
1回答
在添加了更多功能之后，我还试图查看性能。下表给出了算法的正确率(训练数据集)以及使用的特征集。所取得的结果是：
我已经上传了验证培训和测试性能(70-15-15).现在你能告诉我我的数据是否过份了吗？
浏览 0提问于2016-08-08得票数 4
回答已采纳
正如我在教程中所读的，我将我的数据集分成一个训练样本(80%)和一个测试样本(20%)，然后用交叉验证(5倍)对我的算法进行训练。当我重新运行我的程序两次(我只测试了KNN，我现在知道这是非常不合适的)，我得到了真正不同的结果，以不同的敏感性，特异性和准确性。我想，如果我重新运行程序，直到指标是好的，我的算法将被过度，我也猜这将是因为重采样的测试/培训样本，但请纠正我，如果我错了。
如果我要尝试很多算法来看看我能得到什么，我应该在某个地方修复我的样本吗？(<e
浏览 0提问于2019-03-14得票数 4
回答已采纳
1回答
我有一个k最近的近邻实现，允许我计算k的多个值以及训练和测试数据的多个子集(例如，K折叠交叉验证中的所有折叠，AKA重采样度量)。我的实现也可以利用多个核心。知道怎么处理这个问题吗？更一般地，假设您有一个模型类，可以使用单个模型fit (例如，ala ，但对于多个参数值
浏览 4提问于2013-11-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
