找不到我的CNN模型的准确性和ROC曲线
CNN模型是卷积神经网络模型的简称，是一种常用于图像识别和计算机视觉任务的深度学习模型。它通过多层卷积和池化操作来提取图像的特征，并通过全连接层进行分类或回归。
准确性是评估模型性能的重要指标之一，它表示模型在给定数据集上的预测准确程度。通常使用准确率（Accuracy）来衡量，即正确预测的样本数占总样本数的比例。在训练过程中，我们可以通过调整模型的参数和超参数来提高准确性。
ROC曲线是接收者操作特征曲线（Receiver Operating Characteristic Curve）的简称，用于评估二分类模型的性能。它以真阳性率（True Positive Rate，也称为灵敏度）为纵轴，以假阳性率（False Positive Rate）为横轴，绘制出模型在不同阈值下的性能曲线。ROC曲线越靠近左上角，说明模型的性能越好。
对于找不到CNN模型的准确性和ROC曲线的问题，可能有以下几个原因：
- 模型训练不充分：如果模型的训练次数不足或训练数据集过小，可能导致模型无法达到较高的准确性。可以尝试增加训练次数或增加训练数据集的规模。
- 数据集质量问题：如果训练数据集中存在噪声、标签错误或样本不平衡等问题，可能会影响模型的准确性和ROC曲线。可以对数据集进行清洗、标注验证和样本平衡处理。
- 模型结构设计问题：CNN模型的结构设计对于准确性和ROC曲线也有一定影响。可以尝试调整模型的层数、卷积核大小、池化方式等超参数，或尝试使用不同的网络结构（如ResNet、Inception等）。
- 超参数调优问题：模型的超参数选择也会影响准确性和ROC曲线。可以尝试使用交叉验证等方法进行超参数调优，找到最优的超参数组合。
腾讯云提供了一系列与深度学习和图像处理相关的产品和服务，可以帮助用户构建和部署CNN模型。其中，腾讯云AI智能图像处理平台（https://cloud.tencent.com/product/ai-image）提供了图像识别、图像分析、图像增强等功能，可以用于训练和评估CNN模型的准确性和ROC曲线。
此外，腾讯云还提供了云服务器、云数据库、云存储等基础设施服务，以及人工智能开发平台、物联网平台等相关产品，可以满足云计算领域的各种需求。具体产品和服务的介绍和链接地址可以在腾讯云官网（https://cloud.tencent.com/）上查找。
相关·内容
4回答
ROC曲线解释
、、、
我训练了一个CNN模型和一个组合的CNN-SVM分类模型。我想用ROC曲线来比较它们的性能，但我搞不懂哪种型号更好。如何解释给定的ROC曲线？
📷
📷
浏览 0提问于2019-11-24得票数 3
回答已采纳
如果我用tensorflow写一个模型，可能是任何CNN或ANN。我想知道如何发现我的架构或模型中是否有问题。例如。如果我的模型拟合不足或过拟合。如何绘制学习曲线、验证曲线和训练曲线，以及如何分析它们以发现我应该做些什么来提高测试数据的准确性。如何在tensorflow.Any aproach中做所有这些事情，以便在tensorflow中做到这一点，并告诉一些提示，以便在特定模型中找到正确的错误？
浏览 13提问于2018-09-01得票数 0
这是用于多类分类的。在为KNN优化n_neighbors之前，结果如下：
Train Accuracy: 99.54%
Test Accuracy: 99.58%
ROC AUC Score: 99.86%
在找到最佳的n_neighbors后，这些结果如下：
Train Accuracy: 99.64%
Test Accuracy: 99.67%
ROC AUC Score: 99.82%
我的回忆得分从0.996分上升到0.997分。正如我们所看到的，结果在没有过度拟合的情况下得到改善。但是为什么我的中华民国的成绩下降了0.04呢？我
浏览 0提问于2022-03-06得票数 2
1回答
我想考10个班的ROC。我使用了CNN模型(keras)。我可以得到一条vs rest曲线，但我想要一对一。以下是我的代码片段。 model.compile(optimizer=keras.optimizers.Adam(0.001),
loss='categorical_crossentropy',
metrics=['acc'])
from keras.callbacks import History
history = History()
model.fit_generator(generator=tr
浏览 74提问于2020-12-03得票数 0
1回答
我的CNN示例代码如下： classifier = Sequential()
#1st Conv layer
classifier.add(Convolution2D(64, (9, 9), input_shape=(64, 64, 3), activation='relu'))
classifier.add(MaxPooling2D(pool_size=(4,4)))
#2nd Conv layer
classifier.add(Convolution2D(32, (3, 3), activation='relu'))
classifier.add(MaxP
浏览 22提问于2021-09-03得票数 0
我正在尝试使用以下方法使用sklearn.metrics.roc_auc_score计算ROC曲线下的面积：
roc_auc = sklearn.metrics.roc_auc_score(actual, predicted)
其中actual是具有基本事实分类标签的二进制向量，predicted是具有我的分类器预测的分类标签的二进制向量。
然而，我得到的roc_auc的值与精确值(标签被正确预测的样本的比例)非常相似。这不是一次性的事情。我对参数的不同值尝试分类器，每次都得到相同的结果。
我在这里做错了什么？
浏览 1提问于2014-03-11得票数 8
回答已采纳
1回答
Keras中二进制分类的输出层
、、、、
我需要将图像分为癌症图像和非癌症图像。 为此，我构建了一个经典的CNN，但我在使用以下两列向量标记我的数据集时犹豫不决： cancerous: [0, 1]
not cancerous: [1, 0] 并使用具有2个输出神经元的softmax激活函数。 model.add(Dense(2, activation='softmax')) 或 cancerous: [1]
not cancerous: [0] 以及使用具有一个输出神经元的sigmoid激活函数。 model.add(Dense(1, activation='sigmoid')) 如果我需要使用癌症
浏览 14提问于2020-04-08得票数 3
回答已采纳
1回答
我有一种奇怪的Keras分类行为。
我得到了不同的准确性时，使用交叉验证与一个持久化集。
2个相同的模型，但评价方法不同：
Model1使用10-K交叉验证(达到0.98平均AUC和最低AUC 0.89).
Model2使用支持集(精度为0.82)
我原以为模型2最糟糕的精度是最低的折叠精度(0.89而不是0.82)。
小型数据~10kx13
折叠: 10倍
模式1：
def create_baseline():
# create model
model = models.Sequential()
model.add(layers.Dense(64, i
浏览 0提问于2018-06-05得票数 0
我正在运行一个卷积神经网络。在完成运行后，我使用一些度量来评估模型的性能。其中2项指标是sklearn的auc和roc_auc_score。
AUC函数：
AUROC函数：
我使用的代码如下：
print(pred)
fpr, tpr, thresholds = metrics.roc_curve(true_classes, pred, pos_label=1)
print("-----AUC-----")
print(metrics.auc(fpr, tpr))
print("----ROC AUC-----")
print(metrics.roc_auc_s
浏览 2提问于2021-04-15得票数 0
回答已采纳
2回答
我的学习曲线是否过正？
、、、、
我正致力于多分类任务(总共6个班)，并获得了几乎完美的训练和测试的准确性(超过99%)的基础上，我的训练cnn模型。我想知道，我受过训练的模特是否有过度适应的问题。附件是该模型的损失和准确性的学习曲线。整个训练数据集包含大约30k样本，训练与验证数据的比率为4:1。我的损失曲线是否显示过拟合？
浏览 7提问于2022-10-10得票数 -1
回答已采纳
基于TPR和FPR，为我的二元分类模型生成了ROC曲线。我不知道，如何计算AUC值。如果你能帮我计算AUC值的话，我会很有帮助的。
浏览 0提问于2018-11-02得票数 8
回答已采纳
我从PySpark开始，构建二进制分类模型(logistic回归)，我需要为我的模型找到最佳阈值(截止点)。
我想用ROC曲线来找出这个点，但是我不知道如何提取这条曲线中每个点的阈值。有什么方法可以找到这些价值吗？
我发现的事物：
显示了如何提取ROC曲线，但只显示了TPR和FPR的值。它对于绘图和选择最优点很有用，但我找不到阈值。
我知道我可以使用H2O为ROC曲线中的每一个点找到阈值(我以前做过)，但是我正在研究Pyspark。
是一篇文章，描述了如何用R.但是，再一次，我需要用火花呢
其他事实
我正在使用ApacheSpark2.4.0。
我正在处理数据框架(
浏览 10提问于2019-01-29得票数 1
2回答
我想评估不同模型的性能，例如SVM，RandForest，CNN等，我只有一个数据集。因此，我将数据集分为训练集和测试集，并在此数据集上使用训练数据训练不同的模型，使用测试数据集进行测试。
我的问题是:我能否仅在一个数据集上获得不同模型的真实性能？例如:我发现SVM模型得到了最好的结果，那么我应该选择支持向量机作为我的最终分类模型吗？
浏览 0提问于2015-11-12得票数 1
我用R的pROC软件包可视化了两个模型的ROC曲线和精确回忆曲线，第一个任务可以很容易地用软件包的plot.roc()函数来完成，然后在第一个模型之后用基R的lines()函数对第二个模型的ROC曲线进行叠加。
然而，第二项任务涉及的范围更大一些。根据，需要使用其coords()函数将ROC对象转换为包含“精度”和“召回”度量的东西，然后将对象提供给plot()函数。但后来我无法在现有的P曲线上覆盖另一条精确召回曲线。
我在下面列出了我的工作数据和代码。希望有人能对这件事有所了解。
# require pROC
library(pROC)
# example data from two
浏览 7提问于2022-06-08得票数 1
回答已采纳
我正在为二进制分类构建一个逻辑回归分类器。我已经训练过它，打算用ROC曲线来选择一个截止值.
但是它使用的是什么:培训还是验证？
浏览 0提问于2017-12-25得票数 1
回答已采纳
1回答
如何根据这些数据绘制ROC曲线？
、、、、
我已经使用Keras训练了一个卷积神经网络(CNN)，并进行了以下操作，以便在测试数据集上找到准确性： for root, dirs, files in os.walk(test_directory):
for file in files:
img = cv2.imread(root + '/' + file)
img = cv2.resize(img,(512,512),interpolation=cv2.INTER_AREA)
img = np.expand_dims(img, axis=0)
img
浏览 32提问于2019-01-06得票数 0
如何绘制CNN的精确和回忆曲线？我已经产生了从CNN的分数，并想绘制精确-回忆曲线，但我无法得到。我使用以下方法计算了TP、TN、FP和FN：
idx = (ACTUAL()==1);
p = length(ACTUAL(idx));
n = length(ACTUAL(~idx));
N = p+n;
tp = sum(ACTUAL(idx)==PREDICTED(idx));
tn = sum(ACTUAL(~idx)==PREDICTED(~idx));
fp = n-tn;
fn = p-tp;
查准率和召回率的公式是
precision = tp/(tp+
浏览 7提问于2018-04-05得票数 3
回答已采纳
为了建立一个包含两个类别的预测模型(买或不买)，我想使用RandomForest并使用type=' prob‘进行预测，这样我就可以得到某个人购买或不买的提示。因此，有了这个结果，我可以聚在一起组成小组，如下所示：
A组:拥有100至80%股份的客户。B组:购买81至60%的顾客。..。
但我不知道用什么合适的评价指标来衡量这个模型的准确性。我想我不能用混乱矩阵。
也许我可以使用ROC曲线，或者测量购买组和不买组之间的KS值。但我不确定这个指标。
浏览 0提问于2015-12-09得票数 1
回答已采纳
作为绘制ROC曲线的参数，例如在分类模型中，我可以得到预测的标签和预测的概率。输出层中有softmax层。
在分类问题中，我应该使用预测的标签或预测的概率来绘制ROC曲线。
浏览 0提问于2018-05-27得票数 1
我试图选择一个模型从不同的CNN训练的模型基于一些参数。最初，我考虑使用模型信心评分来决定哪个模型更好。现在，我正在考虑使用准确性来选择一个好的模型和其他模式。我需要问的是，准确性和置信度之间是否有关系，这是否意味着高精度会导致高置信度，反之亦然。谢谢
浏览 0提问于2021-06-25得票数 0
回答已采纳
我使用以下代码来创建ROC曲线：
probs = model.predict_proba(X)[::,1]
auc = metrics.roc_auc_score(y, probs)
fper, tper, thresholds = roc_curve(y, probs)
plt.plot(fper, tper, label= model_name + " (auc = %0.3f)" % auc, color=color)
plt.plot([0, 1], [0, 1], color='black', linestyle='--')
plt.x
浏览 14提问于2021-02-21得票数 0
回答已采纳
1回答
我已经使用sci-kit learn构建了一个随机森林模型来预测保险续期。这很棘手，因为在我的数据集中，96.24%的人续费，而只有3.76%的人没有续费。在运行模型之后，我使用混淆矩阵、分类报告和ROC曲线评估了模型的性能。
[[ 2448 8439]
[ 3 278953]]
precision recall f1-score support
0 1.00 0.22 0.37 10887
1 0.97 1.00 0.99
浏览 0提问于2018-07-18得票数 2
2回答
在我的研究中，我观察到许多人脸识别算法都提出了它们的模型精度，即LFW数据集的精度。我看到LFW数据集有5749个不同的人的图像，没有训练和测试的分离。
我已经开发了自己的用于人脸识别的DNN模型，它类似于架构。有人能帮我回答下面的问题吗？
1)每个人都在谈论LFW上的哪个具体精度参数？我知道ROC、精确度、召回率和FAR vs FRR图等准确性参数。是否与这些参数有关？
和
2)计算我的模型的LFW精度的步骤？任何开源链接都是值得注意的。
浏览 3提问于2020-03-03得票数 1
我正在处理数据，将手写数字从0到9进行分类。我使用PCA将维度减少到6个主成分，并使用KNN对数据进行建模。
当我创建混淆矩阵时，我得到了合理的答案。它不是完美的，没有期望它是完美的，但考虑到我的k值的精度约为0.8885，它是有意义的。
array([[ 952, 0, 2, 1, 0, 9, 9, 0, 7, 0],
[ 0, 1125, 0, 3, 0, 0, 5, 1, 1, 0],
[ 7, 5, 973, 11, 4, 2
浏览 1提问于2020-02-20得票数 4
1回答
我想使用R的pROC应用程序绘制5个估计模型的ROC曲线。因为我使用的是灰度，这在视觉上看起来很难区分，所以我想通过给不同的ROC曲线分配不同的pch来强调不同的线型，然而，我发现lines()函数对pch选项的响应相当迟钝。
此外，当我想使用print.auc选项标记它们各自的AUC值时，除了默认模型(模型1)之外，roc()和lines()函数似乎确实起作用了。仅显示第一个模型的AUC值。
如果有人能告诉我一些可行的方法来达到预期的结果，我将不胜感激。下面是我当前的绘图和输出代码。
### load the data ###
library(readxl)
dataURL <- &
浏览 30提问于2020-02-03得票数 2
回答已采纳
4回答
如果我错过了明显的事情我很抱歉。在过去的几天里，我一直非常喜欢使用R界面使用h2o。我想通过绘制一个ROC来评估我的模型，比如随机森林。这些文件似乎表明，有一种直接的方法可以做到这一点：
解释DRF模型
默认情况下，将显示以下输出：
模型参数(隐藏)
得分历史图(树数与训练MSE之比)
-- ROC曲线图(TPR对FPR)
变量的图..。
我还看到，在python中，您可以应用、roc、函数。但我似乎无法在R界面中找到同样的方法。目前，我正在使用h2o.cross_validation_holdout_predictions从模型中提取预测，然后使用R中的p
浏览 9提问于2017-05-17得票数 5
回答已采纳
2回答
我可以期待一个连续的ROC曲线关于二元结果(实际的，预测的)。我在二进制实际和二进制预测结果上使用了以下命令，我得到的只是带有一个inflection.The命令的图，我使用的命令是
library(pROC)
plot.roc(data$actual,data$predicted)
参考样本数据集为
Actual
0
1
0
1
浏览 3提问于2015-10-19得票数 0
1回答
我刚开始深入学习，所以如果这个问题没有意义，请纠正我。
在传统的机器学习中，我知道如何比较模型，并选择与我选择的度量标准中最好的一种。
然而，在深度学习中，每个模型都是用不同的层次构建的，那么如何控制变量来确定哪个模型是最公平的呢？或者人们通常不会用这种方式来比较？
例如，我有一个序列数据，我可以同时使用CNN和LSTM模型，那么我应该将模型与CNN的一层和LSTM的一层进行比较吗？在此之后，我可以添加更多的层或调优我的模型？
或者，有人可以告诉我如何比较和选择最佳的深度学习模型和选择指标的过程？
浏览 4提问于2021-04-19得票数 0
我正在使用R包randomForest创建一个模型，该模型分为三组。
model = randomForest(formula = condition ~ ., data = train, ntree = 2000,
mtry = bestm, importance = TRUE, proximity = TRUE)
Type of random forest: classification
Number of trees: 2000
No.
浏览 8提问于2017-09-09得票数 2
回答已采纳
我理解，当输出是概率时，例如，用logistic回归模型来建立ROC曲线。您可以通过改变截止阈值来构建ROC曲线。
但是表格中的决策树呢？
if attribute_1 > x:
decision = positive
else:
if attribute_2 < y:
decision = position
else:
decision = negative
您可以调整两个属性的截止值，所有这些都会影响您的混淆矩阵。当有多个阈值时，建立一个ROC曲线是否有意义？
谢谢
浏览 0提问于2020-06-24得票数 3
1回答
绘制roc曲线：
library(ROCR)
<data cleaning/scrubbing>
<train data>
.....
.....
rf.perf = performance(rf.prediction, "tpr", "fpr") #for RF
logit.perf = performance (logit.prediction, "tpr", "fpr") #for logistic reg
tree.perf = performance(tree.prediction, "t
浏览 2提问于2015-11-04得票数 4
我在处理一个不平衡的数据集。序列数据中有11567个阴性样本和3737个阳性样本。验证数据中有2892个阴性样本和935个阳性样本。这是一个二元分类问题，我用Macro平均ROC来评价我的模型。然而，我注意到微平均Roc分数高于特定等级的Roc分数.对我毫无意思。
📷
正如你在图中所看到的，微平均的roc分数对所有的分数都比较高.如果可能的话，你能解释一下背后的原因吗？我使用该滑雪板连接并将其转换为二进制分类(y-true ->一个热门表示)。我还在下面添加了我的代码。
xgboost_model = XGBClassifier(n_estimators= 450,max_depth=
浏览 0提问于2021-02-09得票数 6
回答已采纳
3回答
我正在使用这个执行逻辑回归。我的代码如下。
mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")
mylogit <- glm(admit ~ gre, data = mydata, family = "binomial")
summary(mylogit)
prob=predict(mylogit,type=c("response"))
mydata$prob=prob
运行这段代码后，mydata dataframe有两列- 'admit‘和&
浏览 0提问于2013-08-27得票数 21
回答已采纳
我在Kaggle上找到了这个，它包含了2013年9月欧洲持卡人在两天内通过信用卡进行的交易。数据集非常不平衡，欺诈只占所有交易的0.172%。
我想在这个数据集上实现一个(高斯)朴素贝叶斯分类器来识别欺诈交易。
我已经做了以下几件事：
将数据加载到数据帧中
将数据拆分为X和y
数据标准化
用ADASYN处理不平衡数据集
高斯朴素贝叶斯模型的建立
现在，我想评估一下这些模型：
from sklearn import metrics
metrics.accuracy_score(y_test, y_pred_class)
# Output: 0.959734277127
浏览 0提问于2018-12-14得票数 2
回答已采纳
1回答
朱莉娅的随机森林与ROC曲线
、、、、
我正在使用包的风味来为一个数据集的二进制分类问题创建一个随机森林模型(有关ScikitLearn风味的含义，请参见DecisionTree.jl主页底部)。我还使用包进行模型评估。
我已经建立了一个随机森林模型，我的数据，并希望为这个模型创建一个ROC曲线。阅读现有的文档，我确实理解了ROC曲线在理论上是什么。我只是想不出如何为特定的模型创建一个模型。
在中，下面用粗体斜体标记的第一句的最后一部分是引起我困惑的部分：“在统计中，接收机操作特性( ROC )或ROC曲线是一幅图形图，它演示了二进制分类器系统的性能，因为它的识别阈值是可变的。”在整篇文章中有更多关于阈值的内容，但这仍然使我对二进制
浏览 6提问于2016-10-12得票数 6
我刚刚开始探索BlueSky统计的功能。我在一篇评论中读到ROC曲线是可用的图形之一，但我在菜单中找不到它们。是否有可能在BlueSky中绘制它们，并获得AUC和Youden的索引？
浏览 26提问于2020-10-03得票数 0
回答已采纳
3回答
是否有一种通用的方法，可以用ROC曲线来验证一个模型？我的理解是，我们可以使用它来比较不同的阈值来确定最佳值，甚至可以看到不同的组在k折叠验证中的行为方式.，但是它需要总是比较不同的阈值。有人告诉我，我应该考虑用ROC曲线来验证我的模型(logistic回归)，但它们并不意味着看分类的阈值，我一直被告知，它应该被用来验证模型之外的一般情况。
模型本身甚至不使用交叉验证，因为数据集本身相当大(总计超过一百万个条目)。我是不是漏掉了什么？
浏览 0提问于2022-11-21得票数 1
如果我们有4种不同的笔记本，针对不同的ML模型结果。我们必须绘制一个ROC曲线，它显示了所有4种模型的ROc。我们怎么能做到这一点
这是我在每本笔记本上写的代码
import sklearn.metrics as metrics
# calculate the fpr and tpr for all thresholds of the classification
fpr, tpr, threshold = metrics.roc_curve(y_true1, y_pred1)
roc_auc = metrics.auc(fpr, tpr)
# method I: plt
import
浏览 0提问于2022-04-16得票数 1
1回答
我正在建立一个CNN模型，使用歌曲录制的音高估计。基音估计方法是将谱图输入CNN模型，使CNN从该谱图中预测基音序列(每次记录250个基音值)。对于评估指标，我使用的是Accuracy和F1 Score。使用mean测量给出了总体测试结果的样本。
📷
一些注意事项：
Val-Acc是验证的准确性。我用这个来看看模型如何分析训练中没有给出的新数据。
Delta acc是accuracy和val-acc之间的差值。
现在，我想知道如何解释Accuracy和F1 Score之间的关系。我的主管对我说，测量精度是为了获得模型的精确性，而F1是模型的性能。这段关系真的是这样吗？我可以了解一下如何解释它
浏览 0提问于2021-04-30得票数 1
回答已采纳
我试图用ROC来评估我的情感文本分类器模型。
这是我对中华民国的代码：
# ROC-AUC Curve
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt
fpr, tpr, thresholds = roc_curve(y_test, y_test_hat2)
roc_auc = auc(fpr, tpr)
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=1, label='ROC curve (area =
浏览 23提问于2022-03-25得票数 1
回答已采纳
我正在尝试比较logistic回归和CART模型得到的ROC曲线。我发现logistic回归的ROC曲线非常平滑。这是有意义的，因为阈值范围是0,1之间的连续范围。我想知道为什么ROC曲线对于CART模型来说不是平滑的。提前感谢您的帮助。
浏览 1提问于2016-11-03得票数 1
1回答
ROCR截止值和精度图
、、、
我有一个连续的自变量(比如说‘身高’)和一个二进制的自变量(比如说‘找工作’)。我想看看身高的临界值最能预测一个人找到工作的能力。我也想看看这个模型有多精确。我假设了一个多项logistic模型。我想要一个ROC曲线，所以我在R中使用了ROCR包，这是我的代码：
mymodel <- multinom(job~height, data = dataset)
pred <- predict(mymodel,dataset,type = 'prob')
roc_pred <- prediction(pred,dataset$job)
roc <- perfo
浏览 4提问于2017-07-27得票数 2
1回答
在开发机器学习模型时，ROC曲线与AUC在哪个阶段使用？
通常我有三个数据集
train - validation - final test
在这一阶段，我使用组合的train + validation集进行K倍交叉验证，我们可以计算出包括真阳性、假阳性以及其他度量在内的度量标准，并将它们进行平均，以创建一个类似于ROC曲线的图。类似于来自scikit的这个例子 -学习
然而，我们也可以通过训练最终的模型，利用train + validation的所有数据，在test set上进行测试，得到最终的度量，这也可以给我们提供所有的度量、分类报告和ROC曲线等。
我的问题是，人们通常会做两次ROC曲
浏览 0提问于2021-01-18得票数 3
1回答
我正在使用来自scikit learn的roc_auc_score函数来评估我的模型性能。但是，无论我使用predict()还是predict_proba()，我都会得到不同的值。
p_pred = forest.predict_proba(x_test)
y_test_predicted= forest.predict(x_test)
fpr, tpr, _ = roc_curve(y_test, p_pred[:, 1])
roc_auc = auc(fpr, tpr)
roc_auc_score(y_test,y_test_predicted) # = 0.68
roc_auc_sco
浏览 2提问于2015-06-03得票数 7
在roc函数的默认方向=“自动”设置下，情况和控件似乎应该自动配置，使预测器的ROC曲线高于绘图的对角线，并具有AUC >= 0.5。
但是，下面所示的代码错误地分配了大小写和控件值，从而创建了AUC < 0.5的ROC曲线。
#Creation of data
data <- data.frame("Predictor" = c(rep(0, 59), rep(1, 29)),
"Outcome" = c(rep(0, 40), rep(1, 19), rep(0, 22), rep(1, 7)))
浏览 9提问于2022-01-27得票数 1
回答已采纳
1回答
我的预测专栏有垃圾邮件，不是垃圾邮件，也是无法定义的。我用集合法-堆叠法来预测它，我得到了大约77%的精度，我能画出中华民国的曲线，但我不认为它是正确的。
Ensemle技术代码：
# Generate level-one dataset for training the ensemble metalearner
predDF <- data.frame(dataTest.pred, NB_Predictions, RF_Predictions,SVM_Predictions, spam = validation$spam, stringsAsFactors = F)
# Train
浏览 0提问于2018-05-14得票数 1
回答已采纳
1回答
在咖啡厅计算中华民国和加州大学？
、、、、
我在Caffe培训了imagenet。现在我正试着计算我的模型和caffe提供的训练模型的ROC/AUC。我有两个问题：
1) ROC/AUC主要用于二进制类，但我也发现，在某些情况下，人们使用它的多类。有可能上1000节课吗。它将产生什么影响？在评论中，人们对于多类问题没有给出很好的回答。
( 2)如果可能的话，比较两种基于ROC/AUC的模式是个好主意，谁能告诉我这1000堂课该怎么做？我是否必须从头开始对模型进行再培训，还是只能用经过训练的最终模型来计算？
问候
浏览 1提问于2015-10-23得票数 3
我是一个初学者做我的第一个ML项目。我正在对不平衡数据集进行二进制监督分类，并希望使用ROC曲线作为我的模型的性能度量。我使用Logistic回归、支持向量机和K近邻作为分类器。对于Logistic回归，我了解什么是ROC曲线，以及如何调整阈值。然而，当我预测K近邻的概率时，我不明白ROC曲线在哪里派上用场，因为阈值无论如何都不能变。那么，为什么还要为K最近的内格勃( Neigbors )实施ROC曲线呢？
浏览 0提问于2022-12-15得票数 2
回答已采纳
1回答
在这种情况下如何解释AUC分数？
、、、、
我只是在一个不平衡的数据集上运行一个随机森林模型。我得到了AUC和混淆矩阵的集合。AUC看起来不坏，但实际上模型预测每个实例都是积极的。那么它是如何发生的，以及如何正确地使用AUC？
ROC曲线如下：
浏览 4提问于2016-12-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
