如何在Scikit-learn中重新训练具有不同数据的管道？
在Scikit-learn中重新训练具有不同数据的管道可以通过以下步骤实现：
- 创建管道：使用
Pipeline类创建一个管道，该管道包含数据预处理和模型训练的步骤。例如，可以使用Pipeline类将特征缩放和分类器组合在一起。 - 定义数据预处理步骤：使用
Pipeline类的steps参数定义数据预处理的步骤。例如，可以使用StandardScaler对特征进行标准化。 - 定义分类器：使用
Pipeline类的steps参数定义分类器的步骤。例如，可以使用RandomForestClassifier作为分类器。 - 拟合管道：使用
fit方法拟合管道模型。将训练数据作为输入，并使用fit方法训练管道中的数据预处理和分类器步骤。 - 使用管道进行预测：使用
predict方法使用训练好的管道模型进行预测。将新的数据作为输入，并使用predict方法获取预测结果。
如果要重新训练具有不同数据的管道，可以按照以下步骤进行：
- 更新数据预处理步骤：如果新的数据需要不同的预处理步骤，可以通过修改管道的
steps参数来更新数据预处理步骤。例如，如果新的数据需要不同的特征缩放方法，可以将StandardScaler替换为其他的特征缩放方法。 - 更新分类器：如果新的数据需要不同的分类器，可以通过修改管道的
steps参数来更新分类器。例如，如果新的数据需要使用支持向量机分类器，可以将RandomForestClassifier替换为SVC。 - 重新拟合管道：使用新的数据重新拟合更新后的管道模型。将新的训练数据作为输入，并使用
fit方法重新训练管道中的数据预处理和分类器步骤。 - 使用管道进行预测：使用更新后的管道模型进行预测。将新的数据作为输入，并使用
predict方法获取预测结果。
需要注意的是，重新训练具有不同数据的管道时，确保新的数据与原始数据具有相同的特征和目标变量。另外，根据具体的应用场景和数据特点，可以选择不同的数据预处理方法和分类器来优化模型的性能。
腾讯云相关产品和产品介绍链接地址：
- 数据预处理：腾讯云AI智能图像处理（https://cloud.tencent.com/product/ai-image）
- 分类器：腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- 数据存储：腾讯云对象存储（https://cloud.tencent.com/product/cos）
- 数据库：腾讯云云数据库（https://cloud.tencent.com/product/cdb）
- 服务器运维：腾讯云云服务器（https://cloud.tencent.com/product/cvm）
- 云原生：腾讯云容器服务（https://cloud.tencent.com/product/tke）
- 网络通信：腾讯云私有网络（https://cloud.tencent.com/product/vpc）
- 网络安全：腾讯云安全产品（https://cloud.tencent.com/product/saf）
- 音视频：腾讯云音视频解决方案（https://cloud.tencent.com/product/vod）
- 多媒体处理：腾讯云媒体处理（https://cloud.tencent.com/product/mps）
- 人工智能：腾讯云人工智能（https://cloud.tencent.com/product/ai）
- 物联网：腾讯云物联网开发平台（https://cloud.tencent.com/product/iotexplorer）
- 移动开发：腾讯云移动开发平台（https://cloud.tencent.com/product/mpe）
- 存储：腾讯云云存储（https://cloud.tencent.com/product/cos）
- 区块链：腾讯云区块链服务（https://cloud.tencent.com/product/bcs）
- 元宇宙：腾讯云元宇宙解决方案（https://cloud.tencent.com/solution/metaverse）
相关·内容
在训练数据集上交叉验证超参数网格后，SparkML的CrossValidator是否重新适合整个训练数据集？如果不是，它会从交叉验证的哪一部分中选择用于推断的bestModel？
拟合的CrossValidator使.transform()方法可用。为此，CrossValidator是否使用最佳超参数在整个训练/交叉验证数据集上重新训练，并使用重新拟合的模型进行推理？
或者，bestModel用于推断所有交叉验证文件夹中的最佳性能模型(即，来自最佳性能超参数组合的最佳文件夹中的模型，仅对该文件夹的数据进行训练)？
我之所以这样问，是因为SparkML CrossValidator和scikit
浏览 22提问于2021-03-23得票数 0
1回答
我必须在一个有7天时间限制的集群上运行我的模型，如果计算成本超过了7天，作业将在集群上结束。因此，训练将不会完成以获得用于预测的已保存模型。
我正在训练一些分类器模型(例如SVC、KNeighborsClassifier等)。从scikit-learn开始，想知道是否有任何函数或库可以在特定持续时间之间拍摄模型快照，然后从已停止的点继续训练(类似于深度学习中的应用)？
谢谢
浏览 19提问于2019-08-13得票数 1
回答已采纳
2回答
序列化scikit-learn分类器最有效的方法是什么？
我目前正在使用Python的标准pickle模块来序列化，但这导致了一个非常大的Pickle。序列化的对象可以是100MB或更大，这似乎很多，并且需要一段时间才能生成和存储。我用Weka做过类似的工作，等效的序列化分类器通常只有几个MB。
scikit-learn是否有可能将训练数据或其他无关信息缓存到pickle中？如果是这样的话，我如何加快和减少序列化的scikit-learn分类器的大小？
classifier = Pipeline([
('vectorizer', CountVectorizer(ngra
浏览 0提问于2013-07-11得票数 6
回答已采纳
我不明白fit和fit_transform方法在scikit-learn中的区别。有人能简单地解释一下为什么我们可能需要转换数据吗？
这是什么意思，拟合一个模型的训练数据和转换为测试数据？例如，这是否意味着在培训中将分类变量转换为数字，并将新的功能集转换为测试数据？
浏览 0提问于2016-06-21得票数 240
回答已采纳
1回答
我正在使用scikit-learn监督学习方法进行文本分类。我有一个训练数据集，其中包含输入文本字段及其所属的类别。我使用tf-idf，SVM分类器管道来创建模型。该解决方案适用于正常的测试用例。但是，如果输入的新文本具有与训练集中相同的同步词，则解决方案无法正确分类。例如:单词'run‘可能存在于训练数据中，但如果我使用单词'sprint’进行测试，则解决方案无法正确分类。
这里最好的方法是什么？在我看来，为训练数据集中的所有单词添加所有同义词不像是一种可伸缩的方法
浏览 0提问于2016-10-07得票数 3
2回答
我使用scikit-learn库对卫星图像执行监督分类(支持向量机分类器)。我的主要问题是如何训练我的SVM分类器。我在youtube上看过很多视频，也读过一些关于如何在scikit-learn中训练支持向量机模型的教程。我看过的所有教程，都使用了著名的Iris数据集。为了在scikit-learn中进行有监督的支持向量机分类，我们需要有标签。对于Iris数据集，我们有一个Iris.target，它是我们试图预测的标签('setosa'，'versicolor'，'virginica')。通过阅读scikit-learn文档，培训过程非常简单。
浏览 0提问于2017-04-10得票数 5
回答已采纳
这是一个非常简单的问题，但我在任何地方都找不到答案。我试过谷歌、TDS、Analytics Vidhya、StackOverflow等。所以，事情是这样的，我正在使用Scikit-Learn Pipeline，但我想看看我的数据是如何被Pipeline处理的。我的意思是，假设我有缺失值，现在它被填充了。我想看到填充的数据，我想看到编码器生成的虚拟对象等等
浏览 12提问于2021-08-14得票数 3
1回答
包含ID列的训练模型
、、、
我正在使用scikit-learn训练一个模型，其中我的数据集中有一个ID列。当我使用测试数据集训练model.But时，我删除了ID列，在进行预测后，我需要将其映射回ID列。
做这件事最好的方法是什么？在scikit-learn中构建模型时，我们可以设置一个非预测器列。另外，像TensorFlow，Spark ML这样的其他ML工具又如何呢？它们是否支持此功能？
我在stackoverflow上找到了这个，但正在寻找其他选择。
浏览 1提问于2018-04-18得票数 2
我的数据库中大约有1600篇文章，每篇文章都预先标记了以下类别之一：
Technology
Science
Business
World
Health
Entertainment
Sports
我正在尝试使用sci-kit learn来构建一个对新文章进行分类的分类器。(我想我会将我的训练数据一分为二，用于训练和测试？)
我希望使用tf-idf，因为我没有停用词的列表(虽然我可以使用NLTK仅提取形容词和名词，但我宁愿使用scikit-learn全文)。
我已经阅读了scikit-learn上的所有文档，但它们的示例涉及单词出现和N-gram(这很好)，但它们从未指定如何将一段数据绑定到标签。
浏览 0提问于2013-10-13得票数 7
一个愚蠢的问题:在我在scikit-learn中训练我的支持向量机后，我必须使用预测函数: predict(X)来预测哪个类属于哪个类别？()
X参数是图像特征向量吗？如果我给出一个未经过训练的图像(没有经过训练，因为SVM要求至少3个样本作为类)，会返回什么？
浏览 1提问于2013-02-14得票数 2
回答已采纳
我将使用scikit-learn库来实现我的SVM分类。
我的特征的值是0/1，我已经将这些值保存在特征的txt文件和我的标签的单独的txt文件中。
现在我的问题是，如何使用scikit-learn加载用于训练和测试阶段的外部数据集？
浏览 21提问于2017-01-30得票数 0
回答已采纳
有没有一种方法可以用决策树或随机森林模型进行迁移学习？具体地说，我想知道在Python语言中是否有一种好的简单的方法来实现这一点，使用Scikit-learn训练的模型。 我所能想到的就是在原始数据集上训练一个随机森林，当新数据到达时，训练新的树并将其添加到您的模型中。然而，我想知道这是不是一个好的方法，是否有其他更好的方法。
浏览 340提问于2021-05-11得票数 3
我曾经相信scikit-learn的分类器(以及)会在训练前自动标准化我的数据。我过去认为这是因为正则化参数C传递给LogisticRegression构造函数:应用正则化(据我理解)没有特性缩放是没有意义的。为了使正规化正常工作，所有的功能都应该在可比较的尺度上。因此，我过去常常假设，当在训练数据LogisticRegression.fit(X)上调用X时，fit方法首先执行特性缩放，然后开始训练。为了测试我的假设，我决定手动缩放X的特性如下：
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
浏览 2提问于2016-05-26得票数 4
2回答
使用GPU训练模型
、、、
我有一点使用GPU来训练模型的知识。我正在使用scikit-learn中的K-means来训练我的模型。由于我的数据非常大，是否可以使用GPU训练此模型以减少计算时间？或者你能推荐一些使用GPU能力的方法吗？
另一个问题是，如果我使用TensorFlow构建K-means，如本文所示。
它会不会使用GPU？
提前谢谢你。
浏览 2提问于2017-02-01得票数 0
假设我有一个具有5个特征的数据集，并且我想使用特征1、2和5进行训练(跳过特征3和4)。我不想更改数据集，因为我希望在预测期间将相同的5个特征提供给模型。我只想让预处理管道的第一步去掉功能3和4。 此外，我希望能够在训练结束时对管道对象执行pickle/joblib操作，而无需依赖于要加载和运行的任何其他对象或代码来实现pickled对象。因此，我不想使用FunctionTransformer，因为我必须编写一个自定义函数(要传递给这个转换器)，然后将其与已腌制的模型对象一起使用。 在scikit-learn中有没有好的方法呢？
浏览 1提问于2019-06-07得票数 1
我们正在试图弄清楚如何在GCP中托管和运行许多现有的scikit-learn和R模型(按原样)。似乎ML引擎是Tensorflow的专用引擎。如果数据集太大而无法放入datalab，我如何在Google云平台上训练scikit-learn模型并管理我的模型？我仍然可以使用ML Engine吗?或者大多数人是否采取了不同的方法？
作为更新，我能够通过将其作为训练作业提交给ML引擎来获得训练scikit-learn模型运行的python脚本，但是还没有找到托管酸洗模型或将其用于预测的方法。
浏览 1提问于2017-04-21得票数 2
我有一个不平衡的数据集，所以我有一个只在数据训练期间应用的过采样策略。我喜欢使用诸如GridSearchCV或cross_val_score之类的scikit learn类来探索或交叉验证我的估计器(例如SVC)上的一些参数。然而，我看到你要么传递了简历折叠的数量，要么传递了一个标准的交叉验证生成器。
我想创建一个自定义的简历生成器，这样我就可以得到并分层5倍，只对我的训练数据进行过采样(4倍)，让scikit-learn查看我的估计器的参数网格，并使用剩余的折叠进行评分以进行验证。
浏览 0提问于2015-05-05得票数 21
我正在探索pyspark和整合scikit-learn与pyspark的可能性。我想使用scikit-learn在每个分区上训练一个模型。这意味着，当我的RDD被定义并分布在不同的工作节点上时，我想使用scikit-learn并在每个工作节点上存在的每个分区上训练一个模型(假设是一个简单的k- means )。由于scikit-learn算法需要一个Pandas数据帧，所以我最初的想法是为每个分区调用toPandas，然后训练我的模型。但是，toPandas函数将DataFrame收集到驱动程序中，这不是我想要的。有没有其他方法可以达到这个目标呢？
浏览 4提问于2016-07-04得票数 4
我有一个很大的数据集，我想随机地将数据集分为70%的训练，25%的测试和5%的开发。我如何在Python中使用scikit-learn来做这件事？
我想知道我们是不是像下面链接中的例子一样使用sklearn.cross_validation.train_test_split(*arrays，**options)函数来实现这一点？
浏览 2提问于2016-05-09得票数 2
来自统计学，我正在尝试学习机器学习。我读过很多关于ML的教程，但是没有真正的训练。
我正在做一个小项目，我的数据集有6k行和大约300个特性。
正如我在教程中所读的，我将我的数据集分成一个训练样本(80%)和一个测试样本(20%)，然后用交叉验证(5倍)对我的算法进行训练。
当我重新运行我的程序两次(我只测试了KNN，我现在知道这是非常不合适的)，我得到了真正不同的结果，以不同的敏感性，特异性和准确性。
我想，如果我重新运行程序，直到指标是好的，我的算法将被过度，我也猜这将是因为重采样的测试/培训样本，但请纠正我，如果我错了。
如果我要尝试很多算法来看看我能得到什么，我应该在某个地方修复我的样
浏览 0提问于2019-03-14得票数 4
回答已采纳
1回答
我试图用scikit-learn编写一种机器学习算法，该算法分析文本并根据训练数据对其进行分类。
使用文本数据的示例直接取自scikit-learn文档，该示例使用一个CountVectorizer为每个单词出现多少次生成一个稀疏数组。
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> count_vect = CountVectorizer()
>>> X_train_counts = count_vect.fit_transform(twenty_tr
浏览 1提问于2016-07-30得票数 5
回答已采纳
4回答
我想应用scikit-learn提供的缩放scikit-learn模块来对数据集进行对齐，我将使用它来训练svm分类器。
然后如何存储标准化参数，以便也可以将它们应用于我想要分类的数据？
我知道我可以使用standarScaler，但我可以以某种方式将它序列化为一个文件，这样每次我想运行分类器时都不必将它与我的数据相匹配？
浏览 4提问于2016-03-11得票数 19
回答已采纳
我想使用自己的算法从训练数据中提取特征，然后在scikit-learn中使用CountVectorize进行拟合和转换。
目前我正在做的是：
from sklearn.feature_extraction.text import CountVectorizer
cvect_obj = CountVectorizer()
vects = cvect_obj.fit_transform(traning_data)
fit_transform(traning_data)会自动提取特征并对其进行转换，但我想使用自己的算法来提取特征。
浏览 1提问于2015-08-31得票数 2
6回答
如何将经过训练的朴素贝叶斯分类器保存到disk，并使用它来预测数据？
我有以下来自scikit-learn网站的示例程序：
from sklearn import datasets
iris = datasets.load_iris()
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
y_pred = gnb.fit(iris.data, iris.target).predict(iris.data)
print "Number of mislabeled points : %d" % (iris.ta
浏览 83提问于2012-05-15得票数 231
回答已采纳
我做了类似于keras文档中的训练和验证。而是如何测试图像。我知道在scikit-learn中该怎么做。但是我想用keras做。
比方说，我想预测分类类形式的图像。在最后，我还想打印类名，训练精度，测试精度，最后是预测的图像精度(例如，狗: 99.8 %)。
浏览 3提问于2018-03-17得票数 0
2回答
我希望找到一个RandomForest分类器的最佳参数(使用scikit-learn)，方法是它可以很好地推广到其他数据集(可能不是iid)。我在考虑使用整个训练数据集进行网格搜索，同时评估其他数据集上的评分功能。在python/scikit--学习中，是否容易做到这一点？
浏览 3提问于2016-11-22得票数 0
回答已采纳
1回答
我必须为我的脸验证项目在谷歌colab免费训练7万张图片。首先，它被困在第一个时代，然后，即使它开始训练，有时它抛出内存错误。我使用的代码是：
<https://nbviewer.org/github/nicknochnack/FaceRecognition/blob/main/Facial%20Verification%20with%20a%20Siamese%20Network%20-%20Final.ipynb>
如果我必须对我的数据集进行小批量处理，以便将其放入colab的GPU内存中，那么我如何才能做到呢？此外，我想训练整个数据集，因为它包含了5个不同的人作为锚和积极的图
浏览 15提问于2022-01-27得票数 0
我有一个模型，我正在使用两个数据集，训练和测试。在使用scikit-learn构建模型之前，我需要对预测值进行标准化。
让我们假设我的模型训练数据：
Training[X1] has mean=10,stddev=1.5
Training[X2] has mean=45,stddev=17
etc...
和my表示测试数据文件
Testing[X1] has mean=9,stddev=1.8
Testing[X2] has mean=40,stddev=13
etc...
如何对测试数据文件进行标准化，使其使用与原始数据集相同的规模？
我尝试使用这段代码，
浏览 2提问于2016-04-27得票数 0
我使用的是LeaveOutGroupOut的简历策略和TPOTRegressor。
from tpot import TPOTRegressor
from sklearn.model_selection import LeaveOneGroupOut
tpot = TPOTRegressor(
config_dict=regressor_config_dict,
generations=100,
population_size=100,
cv=LeaveOneGroupOut(),
verbosity=2,
n_jobs=1)
tpot.fi
浏览 1提问于2018-08-24得票数 2
回答已采纳
1回答
我训练了一个具有缩放特征的SVM scikit-learn模型，并将其持久化以供以后使用。在另一个文件中，我加载了保存的模型，并希望提交一组新的特征来执行预测。我必须缩放这组新功能吗？只有一组功能，我该如何做到这一点呢？ 我没有调整新的值，我得到了奇怪的结果，我不能做预测。尽管如此，StratifiedShuffleSplit生成的大型测试集的预测工作良好，我获得了97%的准确率。 问题在于使用经过缩放特征训练的持久化SVM模型进行单一预测。知道我做错了什么吗？
浏览 20提问于2019-07-01得票数 1
3回答
一个问题。
据我所知，scikit学习的管道库是一种自动化助手，它通过一个定义的数据处理周期将数据带入其中。但在这种情况下，我看不出有什么意义。
为什么我不能在python中通过函数式或面向对象的编程来实现数据准备、模型训练、分数估计等？对我来说，它似乎更灵活和简单，你可以控制所有的输入，调整复杂的动态参数网格，评估复杂的度量，等等。
你能告诉我，为什么有人要使用sklearn.pipelines？它为什么会存在？
浏览 8提问于2022-05-10得票数 1
1回答
我有一个包含7个特性的数据集。值不太大。我训练scikit-learn的RandomForestRegressor来预测目标变量。R^2的分数原来是0.2左右，但当我第一次使用scitkit-learn的MinMaxScaler对x_train和x_test进行评分时，R^2分数下降到0.11。我听说决策树不受缩放的影响，所以不需要缩放数据。我的问题是，如果树木不受尺度的影响，为什么分数会下降这么多呢？
这是没有比例的
regressor = RandomForestRegressor()
predictions = fit_predict(X_train, y_train, X_test)
浏览 0提问于2021-06-30得票数 0
我正在浏览示例管道，用于从scikit-learn文档中提取和评估 。在那里，它们显示了下面的管道
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.linear_model import SGDClassifier
pipeline = Pipeline(
[
("vect", CountVectorizer()),
(
浏览 10提问于2022-04-28得票数 0
2回答
我正在使用scikit-learn Random Forest来拟合训练数据(~30mb)，但我的笔记本电脑不断崩溃，应用程序内存不足。测试数据比训练数据大几倍。使用Macbook Air 2 2GHz 8 8GB内存。
解决这个问题的方法有哪些？
rf = RandomForestClassifier(n_estimators = 100, n_jobs=4)
print "20 Fold CV Score: ", np.mean(cross_validation.cross_val_score(rf, X_train_a, y_train, cv=20, scoring=&
浏览 2提问于2015-01-05得票数 3
2回答
我使用scikit-learn库进行机器学习(使用文本数据)。它看起来是这样的：
vectorizer = TfidfVectorizer(analyzer='word', tokenizer=nltk.word_tokenize, stop_words=stop_words).fit(train)
matr_train = vectorizer.transform(train)
X_train = matr_train.toarray()
matr_test = vectorizer.transform(test)
X_test = m
浏览 1提问于2016-02-29得票数 3
我正在处理一个大数据集(170万个样本)，并试图训练一个分类器。我在RandomForestClassifier上取得了很好的效果，现在我想用scikit-learn的permutation_importance方法对分类器进行排列特征分析。为此，我将预处理放入ColumnTransformer，并将其与分类器一起放入管道中。
我一直在做我的预处理和训练我的分类器作为单独的步骤，它需要大约6秒来训练一棵树。然而，当在流水线中设置时，同样的分类器大约需要5分钟来训练一棵树。我正在使用大量的树(请注意，我并不是在寻找对此的反馈)，这对我来说并不实用。
我在网络上进行了广泛的挖掘，但显然找不到合适的
浏览 0提问于2021-11-18得票数 0
来自
可以从多个不同的Dataset对象初始化可重新初始化的迭代器。例如，您可能有一个训练输入管道，它使用对输入图像的随机扰动来改善泛化，还有一个验证输入管道，用于评估未经修改的数据的预测。这些管道通常使用具有相同结构(即每个组件的相同类型和兼容形状)的不同数据集对象。
给出了以下例子：
# Define training and validation datasets with the same structure.
training_dataset = tf.data.Dataset.range(100).map(
lambda x: x + tf.random_unifo
浏览 0提问于2018-12-02得票数 1
回答已采纳
我有一个在SVM上训练的模型，数据集为CSV，上传为blob存储中的blob。如何更新CSV，以及如何使用这些更改来触发重新训练ML模型的管道。
浏览 0提问于2019-12-25得票数 0
是否有可能使用存储在Sframe中的数据来训练，例如，随机森林，在不将整个数据集转换为numpy的情况下实现scikit-learn？
浏览 0提问于2016-05-14得票数 1
我正在探索Scikit-learn logistic回归算法。据我所知，作为训练的一部分，该算法建立了一条回归曲线，其中y变量的范围从0到1(S型S曲线)。在这里，y变量是一个连续变量(尽管实际上它是一个离散变量)。。
当训练数据集反映现实并包括y变量作为离散变量时，算法如何学习S曲线？在训练中没有概率估计，所以我想知道算法是如何学习S曲线的。
浏览 2提问于2021-01-03得票数 1
我正在使用scikit-learn来训练分类器。我还希望进行交叉验证，但在交叉验证之后，我希望对整个数据集进行训练。我发现cross_validation.cross_val_score()只返回分数。
编辑:我想用我所有的数据来训练具有最佳交叉验证分数的分类器。
浏览 1提问于2014-03-24得票数 2
3回答
出于研究目的，我发现自己需要通过SGD在一个大的DS上训练SVM (也就是，大量的例子)。这使得使用scikit learn的实现(SGDClassifier)成为问题，因为它需要一次加载整个DS。 我熟悉的算法使用SGD的n步来获得n个不同的分隔符w_i，然后对它们进行平均(具体信息可以在https://www.cse.huji.ac.il/~shais/Lectures2014/lecture8.pdf的幻灯片12中看到)。 这让我想到，也许我可以使用scikit-learn来训练多个这样的分类器，然后取得到的线性分离器的平均值(假设没有偏差)。 这是一个合理的思路，还是说scikit-
浏览 18提问于2020-03-26得票数 0
回答已采纳
我正在做一个机器学习分类任务，在这个任务中，我用scikit-learn中的不同算法训练了许多模型，随机森林分类器表现最好。现在我想用新的例子进一步训练模型，但是如果我通过在新的例子上调用fit方法来训练相同的模型，那么它将通过擦除旧的参数来开始训练模型。那么，我如何通过在scikit-learn中训练新的示例来训练训练的模型呢？ 我是通过在线阅读来了解模型的，但我不知道这会有什么帮助。
浏览 35提问于2019-04-19得票数 1
正如许多地方指出的那样，对于大小为10000的输入数据，批量预测整个数据比逐行预测要快得多(在两种情况下，都是model.n_jobs=1)。
我知道在逐个解决方案中有很多开销。但在在线服务中，请求是一个接一个地到来，很难先聚合它们，然后批量预测。
另一种解决方案是使用scikit-learn仅用于训练/验证，并开发一个项目来加载模型文件并优化逐个预测。
问题是预测项目需要知道每种模型的细节(我们可以使用随机森林，LR等)。
那么我的问题是，有什么解决方案可以减少sklearn的逐个预测开销吗？
scikit-learn版本: 0.20.0 (您可以提出任何其他版本来解决此问题)
浏览 0提问于2018-10-23得票数 5
我已经训练过一个支持向量机(svc)，它使用了scikit--学习了超过半兆字节的数据。该模型运行良好，我需要将它移植到C，但我不想从头开始重新训练支持向量机，因为它对我来说太长了。是否有一种方法可以轻松地导出由scikit生成的模型--学习并将其导入LibSVM？在内部，scikit-learn使用LibSVM，所以理论上它应该是可能的，但是我还没有在文档中找到任何东西。有什么建议吗？
浏览 1提问于2014-05-22得票数 5
回答已采纳
在训练随机森林分类器时，我一直在尝试使用scikit-learn中的加权样本。当我直接将样本权重传递给分类器时，它工作得很好，例如RandomForestClassifier().fit(X,y,sample_weight=weights)，但当我尝试网格搜索为分类器找到更好的超参数时，我遇到了麻烦：
要在使用grid参数时传递权重，用法如下：
grid_search = GridSearchCV(RandomForestClassifier(), params, n_jobs=-1,
fit_params={"sample_we
浏览 1提问于2014-02-20得票数 16
我在做一些超参数的调整，所以速度是关键。我有一个很好的工作站，包括一个AMD Ryzen 9 5950x和一个NVIDIA RTX3060ti 8GB。
设置：
xgboost 1.5.1在anaconda environment.NVIDIA图形驱动程序471.68CUDA 11.0中使用PyPi
当使用xgboost API训练scikit-learn模型时，我传递tree_method = gpu_hist参数。我注意到，通过使用默认的tree_method = hist，它的性能始终好于此。
有些令人惊讶的是，即使我打开多个控制台(我在spyder中工作)，并在每个控制台中启动一个Op
浏览 8提问于2021-12-17得票数 1
我正在学习这个教程：https://www.datacamp.com/community/tutorials/random-forests-classifier-python on using Scikit-learn with random forests。然而，目前的代码只显示了测试的准确性，而我也想知道训练的准确性，因为可能的数据集非常小。 获取测试精度的代码为： from sklearn import metrics
print("Accuracy:", metrics.accuracy_score(y_test, y_pred)) 我如何修改它来获得训练的准确性？
浏览 13提问于2021-11-03得票数 1
回答已采纳
我想使用GridSearchCV来确定使用L1正则化的logistic回归中的最佳正则化参数"C“。我还想扩展/标准化我的输入功能。
在执行交叉验证之前，使用单个变换对整个训练数据集进行缩放会导致数据泄漏:在交叉验证中，训练数据集被分为k个折叠，每个折叠被视为验证数据集一次，而其余的则是训练折叠。然而，如果标准化是在对整个训练数据集进行交叉验证之前完成的，则每个折叠(包括验证折叠)将使用从整个训练数据集计算的参数(例如，均值和标准差)进行缩放，因此在某种程度上，训练折叠总是“知道一些”关于验证折叠的信息。
因此，缩放数据的正确方法是分别计算和应用每个交叉验证折叠的缩放(即，在内部训练折
浏览 1提问于2018-03-14得票数 1
我构建了scikit-learn kmeans模型，并使用joblib.dump命令将其转储。现在我想用一组新的数据来测试它，但不能回忆起在构建中使用的功能。有没有人能告诉我哪些模型属性/函数会给我提供在模型构建过程中使用的特性/变量的列表？
浏览 16提问于2019-03-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
