在pyspark中对logistic回归管道模型进行超调

文章/答案/技术大牛

发布

1回答

pyspark、logistic-regression、hyperparameters

我正在尝试对逻辑回归模型进行超调优。我一直收到一个错误，因为“标签不存在”。这是一个收入分类器模型，其中label是收入列。testing records : " + str(testing_data.count())) from pyspark.ml.tuning不使用超参数调整： # fit the pipeli

浏览 26提问于2021-01-11得票数 1

回答已采纳

2回答

基于火花的超参数整定

apache-spark、pyspark、apache-spark-mllib

我正在处理一个数据集，我使用线性回归来拟合一个模型。在注销之前，我想尝试使用超参数调优来获得最佳可用模型。我一直在通过管道运行数据，首先将字符串转换为数字，然后对其进行编码，然后向量化所有列，然后在应用线性回归之前对其进行缩放。我很想知道如何设置网格来启动超参数滚球(可以这么说)。import pyspark.

浏览 1提问于2018-02-16得票数 4

1回答

在K倍交叉验证中，最终测试集的意义是什么？

statistics、logistic-regression、cross-validation

我正在对我的二元分类问题进行logistic回归，并使用k折叠交叉验证(k=10)对模型进行了验证。但是，我不明白为什么我需要一个最终的测试集:模型的性能不能基于k折叠验证(即，来自10个结果折叠的度量标准)进行评估吗？因为，模型没有真正“看到”测试数据，这不是K折叠的全部要点吗？我见过一些关于超参数调优/过拟合等的文章，但是logistic回归并没有太

浏览 0提问于2023-04-23得票数 0

4回答

毫升:分类模式比较

classification、logistic-regression、model-selection

给定的是我需要用于分类的数据集，我希望比较不同分类模型的性能。让我们假设，我想看看逻辑回归(具有不同的断点)和KNN。如果我按以下方式进行，是否有任何问题：在训练集上训练logistic回归模型和KNN分类模型。对于0到1之间的每个截断点t，考虑了logistic回归<em

浏览 0提问于2020-06-04得票数 3

0回答

Spark:从管道模型中提取ML logistic回归模型的摘要

python、apache-spark、pyspark、pipeline、logistic-regression

我已经使用管道估计了逻辑回归。我在拟合逻辑回归之前的最后几行：from pyspark.ml.classification importdefinition:# Fit the logisticregression

浏览 4提问于2017-12-07得票数 5

回答已采纳

1回答

在建立模型、评估模型和评估结果步骤中，应报告哪些内容？

machine-learning、classification、supervised-learning

如果您能让我知道在以下步骤中报告什么，我将非常感激-DM？评估模型:模型评估和修改后的参数设置应该报告什么？📷📷 对测试数据集的最终模型评估是评估结果的一部分，还是应该对新数据进行评估？

浏览 0提问于2018-06-17得票数 3

1回答

回归模型评价指标中天蓝色ML设计器的参数误差

azure、azure-machine-learning-studio、azure-machine-learning-service

我开发了一个设计师来实现回归模型在蔚蓝机器学习工作室。我采取了数据集药丸，然后将数据集按规定的方式进行训练和测试。当我试图实现评估指标并运行管道时，当我调用dataset进行操作时，它显示了一个警告和错误。当我试图用线性回归运行时，我对同样的实现感到有点困惑，它的工作原理如图中所示。如果采用同样的方法来实现logistic回归，则在构建评估指标时出现了一些警告和错误。以上的成功都是线性回归</em

浏览 5提问于2022-09-23得票数 0

回答已采纳

1回答

Logistic回归的超参数整定

python、scikit-learn、logistic-regression、gridsearchcv

我正在建立一个分类模型来预测水质。我打算为Logistic回归模型做超参数调优。这是代码..。GridSearchCV(estimator=LogisticRegression(),param_grid=params,cv=10,scoring='f1_macro')ValueError:对估计器

浏览 6提问于2022-03-20得票数 0

2回答

K-折叠交叉验证的应用与部署

machine-learning、scikit-learn、cross-validation、k-fold

目的是估计机器学习模型的可拓性。该模型被训练K次，每列折叠一次，然后在相应的测试褶皱上测试。现在，用于应用程序和部署。

浏览 6提问于2022-05-20得票数 3

回答已采纳

1回答

使用管道和GridSearchCV进行的培训次数

python、machine-learning、scikit-learn

我正在阅读，它将PCA和logistic回归结合在一起，然后在管道中应用交叉验证，并为PCA和Logistic回归定义一组参数。下面是我从这个例子中了解到的，然后我会问我的问题。因此，首先计算20个分量的PCA，然后对数据进行变换，再进行Logistic回归进行训练。现在，对于logistic回归C参数的每个值，它将应用3倍交叉验证，并查看哪些值

浏览 3提问于2014-03-05得票数 0

回答已采纳

1回答

PySpark多项式回归中的参考群

apache-spark、pyspark、logistic-regression、multinomial、multiclass-classification

有人知道在Pyspark多项式logistic回归中默认的参考组是什么吗？例如，我们有A, B, C, and D的多类结果/目标。星火如何选择参考类别？在其他软件(例如R、SAS)中的标准logistic回归中，您可以自己设置参考组。因此，如果您的引用是A，则可以将n-1模型装配在一起，并将目标类建模为A vs B, A vs C, and A vs D。对拟火花果多项式logistic回归</

浏览 0提问于2018-09-26得票数 2

回答已采纳

1回答

提高不平衡大数据集的查准率和查全率

machine-learning、classification、random-forest、logistic-regression、class-imbalance

由于数据量大，使用sklearn的基于直方图的梯度增强分类器提供了一个训练速度快的模型，特别是用于使用交叉验证的超参数调优。但我意识到我的数据集是不平衡的(10% 1's和90% 0's)。我尝试了一个简单的逻辑回归平衡的班级权重。我尝试了各种正则化参数，但精度在15%左右，召回率在62%左右。由于参数变化不大，所以我认为logistic回归模型是不够的。因此，使用RandomizedSearchCV进行

浏览 0提问于2022-01-06得票数 0

1回答

为什么要比较多个机器学习算法，然后决定使用哪种算法进行微调？

machine-learning、random-forest、xgboost、algorithms、metric

另外，采用Logistic回归模型、XGBoost模型和RandomForest模型。现在我的问题是，为什么使用不同的算法(Logistic回归，XGBoost和RandomForest)，并调查哪一个是更好的算法？这是因为这些算法有不同的优点，并且根据数据集表现得更好吗？0,20 0,20 0,20 0,20 Baseline 2 0,20 0,20 0,20 0,2

浏览 0提问于2022-10-18得票数 0

回答已采纳

3回答

流水线:多分类器？

python、scikit-learn、pipeline、grid-search

我在Python：中阅读了关于管道和的以下示例pipeline = Pipeline([ "clf__estimator__class_weight": ['balanced', None],是否有办法将Logisti

浏览 0提问于2018-05-11得票数 18

2回答

logistic回归对测试数据不平衡与训练的不良分类性能

classification、logistic-regression、class-imbalance

我试图将logistic回归模型拟合到高维(约15k)的不平衡数据集(0.5/99.5)。我用随机森林来选择最重要的200个特征。观测值在120 K左右。当我对基于数据集的logistic回归模型进行拟合时(使用Smote进行过采样)，在训练f1时，查全率和准确率都很好。但在测试中，精度分数和f1都很差。我认为这是有意义的，因为在培训中

浏览 0提问于2017-03-27得票数 7

回答已采纳

1回答

scikit在分类中学习改装/部分匹配选项

machine-learning、parameters、scikit-learn、logistic-regression

我想知道在sklearn分类器中是否有使用某些超参数进行拟合的选择，并且在改变了几个超参数后，通过节省计算( fit )成本来修改模型。假设Logistic回归适合使用C=1e5 (logreg=linear_model.LogisticRegression(C=1e5))，我们只将C改为C=1e3。

浏览 2提问于2017-08-11得票数 8

回答已采纳

3回答

logistic回归实际上是一种回归算法吗？

algorithms、logistic-regression

回归的通常定义(据我所知)是从给定的一组输入变量中预测一个连续的输出变量。它真的是一个回归算法吗？如果是，为什么？

浏览 0提问于2014-06-19得票数 23

回答已采纳

1回答

支持向量机需要很长时间来进行参数整定。

classification、svm、logistic-regression、random-forest

我在上运行支持向量机、Logistic回归和随机森林。我的训练数据集具有形状(454491，30)。回归。我想通过超参数调优来添加regularization。我最初使用的是GridSearchCV，但花了很长时间，所以我将它改为RandomizedSearchCV，但这也需要很长时间(大约4-5小时)。根据数据描述，对特征进行缩放，并执行PCA以保存私有信息。我还在数量和时间列上使用了RobustScaler()，因为它们没有缩放。RandomizedSearchCV

浏览 7提问于2020-09-11得票数 0

回答已采纳

3回答

在scikit learn库中使用sgd求解器的SGDClassifier与LogisticRegression

python、machine-learning、scikit-learn

scikit-learn库有以下类似的分类器： Logistic回归分类器有不同的求解器，其中之一是“sgd”。sklearn.linear_model.LogisticRegression.html#sklearn.linear_model.LogisticRegression 它也有一个不同的分类器'SGDClassifier‘，损失参数可以作为逻辑回归的考虑到逻辑回归的问题，你如何决定使用哪一个？

浏览 42提问于2017-05-14得票数 14

1回答

随机森林太合适了

python、machine-learning、scikit-learn、random-forest

我在计算:准确，回忆，auc。 B_accuracy

浏览 2提问于2015-11-27得票数 5

回答已采纳

点击加载更多