Spark Pipeline -如何从经过训练的特征转换器中提取属性
Spark Pipeline是Apache Spark中的一个功能，用于构建和组织机器学习工作流程。它由多个阶段组成，包括数据准备、特征提取、模型训练和评估等步骤，以实现端到端的机器学习流程。
在Spark Pipeline中，经过训练的特征转换器是指在机器学习模型训练过程中用于提取特征的组件。它们可以将输入数据转换为特定的特征表示，以便用于训练模型。在训练完成后，这些特征转换器可以用于从新的数据中提取相同的特征。
要从经过训练的特征转换器中提取属性，可以按照以下步骤进行：
- 加载经过训练的特征转换器：首先，需要加载已经训练好的特征转换器模型。可以使用Spark的模型加载功能，将保存的模型加载到内存中。
- 准备输入数据：接下来，需要准备输入数据，以便进行特征提取。数据可以是单个样本或批量样本，具体取决于应用场景。
- 特征提取：使用加载的特征转换器模型，对输入数据进行特征提取。特征转换器会将输入数据转换为特征向量表示。
- 提取属性：从提取的特征向量中，可以根据需要提取具体的属性。这些属性可以是单个特征的值或者组合特征的统计信息。
举例来说，假设我们使用了一个经过训练的文本特征提取器，可以将文本数据转换为词袋模型。对于新的文本数据，可以通过加载模型、准备输入数据、进行特征提取和提取属性的步骤，得到文本数据的词袋表示或其他相关属性。
对于提取属性的需求，腾讯云提供了一系列的产品和服务来支持Spark Pipeline的应用场景。例如，可以使用腾讯云的机器学习引擎TencentML来训练和部署特征转换器模型，使用腾讯云的大数据分析服务TencentDB进行数据准备和特征提取，使用腾讯云的机器学习平台TencentAI进行模型评估和推理。具体产品和服务的介绍可以参考腾讯云的官方网站。
总结起来，Spark Pipeline是一种用于构建和组织机器学习工作流程的工具，经过训练的特征转换器是其中的一个组件，用于从输入数据中提取特征。通过加载模型、准备数据、进行特征提取和提取属性的步骤，可以从经过训练的特征转换器中提取属性。腾讯云提供了一系列的产品和服务来支持Spark Pipeline的应用场景。
相关·内容
我已经在Spark2.0中创建了一个用于进行LDA的PipelineModel (通过PySpark API)：
def create_lda_pipeline(minTokenLength=1, minDF=1, minTF=1, numTopics=10, seed=42, pattern='[\W]+'):
"""
Create a pipeline for running an LDA model on a corpus. This function does not need data and will not actually
浏览 13提问于2016-07-30得票数 8
回答已采纳
1回答
我想使用一个管道，包括一个TfidfVectorizer和一个SVC。但是，在此期间，我想将从非文本数据中提取的一些特性连接到TfidfVectorizer的输出中。
我尝试过创建一个自定义类(基于这个的方法)来完成这个任务，但是这似乎不起作用。
以下是我到目前为止尝试过的：
pipeline = Pipeline([
('tfidf', TfidfVectorizer()),
('transformer', CustomTransformer(one_hot_feats)),
('clf', MultinomialNB(
浏览 3提问于2019-09-24得票数 3
回答已采纳
我想将我的自定义转换器与StandardScaler一起使用：
VectorizerTransformer vectorizerTransformer = new VectorizerTransformer(field.getName());
pipelineStages.add(vectorizerTransformer);
StandardScaler scaler = new StandardScaler()
.setInputCol(vectorizerTransformer
浏览 0提问于2016-10-27得票数 1
1回答
我有一个(不平衡，二进制数据)管道模型，由两个管道(预处理和实际模型)组成。现在，我想将SimpleImputer包含到我的预处理管道中，因为我不想将它应用到所有使用ColumnTransformer的列中，但现在我发现，ColumnTransformer的性能要比sklearn管道差得多(AUC在0.93之前，而ColumnTransformer在0.7左右)。我在管道之前填充了nan值，以检查性能是否会更好(因为SimpleImputer那时不会做任何事情)，但是即使在数据中没有任何nan值，性能仍然很差。下面是代码的一部分。有人知道发生了什么或者我能改变什么吗？
from sklearn
浏览 0提问于2021-10-23得票数 1
回答已采纳
2回答
我正在对一些文档进行二进制分类，这些文档的特征已经被提取并在文本文件中给出。我的问题是有文本特征和数字特征，比如年份和其他一些。以下格式提供了一个示例：
label |title text |otherText text |numFeature1 number |numFeature2 number
我正在遵循有关的文档，但它们的用例略有不同。我没有从另一个特征中提取特征，因为这些数字特征已经给出了。
目前，我通过以下方式使用该设置：
pipeline = Pipeline([
('features', Features()),
('union', Featu
浏览 0提问于2017-02-03得票数 2
我是Spark ML的新手。我正在尝试使用Spark ML Pipeline来链接数据转换(将其视为ETL过程)。换句话说，我想输入一个DataFrame，执行一系列转换(每次向该数据帧添加一列)，并输出转换后的DataFrame。
我研究了Python中的Pipeline文档和代码，但我不知道如何将转换后的数据集从Pipeline中提取出来。请参见以下示例(从文档中复制并修改)：
from pyspark.ml import Pipeline
from pyspark.ml.feature import HashingTF, Tokenizer
# Prepare training doc
浏览 0提问于2018-04-11得票数 1
1回答
TL;DR;如何使用mllib来训练我的wiki数据(文本和类别)，以便根据tweet进行预测？
我很难找到如何转换我的标记化wiki数据，以便通过NaiveBayes或LogisticRegression对其进行训练。我的目标是使用经过训练的模型与tweet*进行比较。我尝试过用管道处理LR，使用HashingTF和IDF进行NaiveBayes，但是我总是做错误的预测。以下是我尝试过的：
*请注意，我想使用wiki数据中的许多类别作为我的标签.我只看到了二进制分类(这是一个类别或另一个类别)，....is可以做我想做的事情吗？
管道w
import org.apache.spark.rdd
浏览 3提问于2015-09-19得票数 5
回答已采纳
我需要从经过训练的转换器中提取属性，以便我可以在以后使用它们，例如来自QuantileDiscretizer的bin边界，来自StringIndexer的名称到索引映射。例如，如何在下面的代码中从"discretizer_trained“中提取bin边界。我不能通过谷歌搜索以及从官方文档https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.feature.QuantileDiscretizer中找到介绍 //https://spark.apache.org/docs/latest/m
浏览 16提问于2019-07-03得票数 0
回答已采纳
1回答
我正在通过扩展来编写一个自定义的spark.ml转换器。
一切都很好，但是我不能保存这个转换器的实例，因为它不像所有转换器那样从DefaultParamsWritable特征扩展，我也不能直接混入DefaultParamsWritable特征，因为它是特定于org.apache.spark.ml的包。
解决这个问题的一种方法是将你的类放在org.apache.spark.ml下。这是实现这一目标的唯一方法吗？有更好的解决方案吗？
浏览 0提问于2016-04-01得票数 5
#Load the CSV file into a RDD
irisData = sc.textFile("/home/infademo/surya/iris.csv")
irisData.cache()
irisData.count()
#Remove the first line (contains headers)
dataLines = irisData.filter(lambda x: "Sepal" not in x)
dataLines.count()
from pyspark.s
浏览 2提问于2017-04-21得票数 0
在处理文本数据时，我理解需要将文本标签编码成某种数字表示形式(例如，使用LabelEncoder、OneHotEncoder等)。
但是，我的问题是，在使用某些特征提取类(如TfidfVectorizer、CountVectorizer等)时，是否需要显式执行此步骤。或者这些是否会为你编码引擎盖下的标签？
如果您确实需要自己对标签进行单独编码，您是否能够在Pipeline中执行此步骤(如下面的步骤)
pipeline = Pipeline(steps=[
('tfidf', TfidfVectorizer()),
('sgd
浏览 1提问于2021-06-08得票数 0
回答已采纳
1回答
我想问如何在分类问题中增加更多的分类字段。我的数据集最初有4个字段：
Date Text Short_Mex Username Label
01/01/2020 I am waiting for the TRAIN A train is coming Ludo 1
01/01/2020 you need to keep distance Social Distance i
浏览 0提问于2020-08-30得票数 4
回答已采纳
I我已经完成了使用autosklearn.calssification.AutoSklearnClassifer().的学习我想将训练好的模型转换为PMML。在经过训练的模型中将SimpleClassificationPipeline更改为sklearn管道后，我使用了sklearn2pmml库，但它不起作用。如何将通过autosklearn训练的模型转换为PMML？ automl_model automl_model_to_pipeline modle_to_pmml
浏览 18提问于2021-07-14得票数 0
1回答
我正在尝试将一个经过训练的模型保存到S3存储中，然后尝试通过来自pyspark.ml的管道包加载和预测这个模型。下面是我如何拯救我的模型的一个例子。
#stage_1 to stage_4 are some basic trasnformation on data one-hot encoding e.t.c
# define stage 5: logistic regression model
stage_5 = LogisticRegression(featuresCol='features',labelCol='
浏览 7提问于2021-02-08得票数 1
回答已采纳
因此，据我所知，转移学习是指在有大量数据的数据集上训练模型，然后保留大部分经过训练的系数，并且只对数据集上的最后一层进行重新训练，以解决有少量数据的问题。
CNN的特征提取意味着你有一个从图像中提取特征的通用模型，然后你只需要训练最后一层来解决图像上的一个特定问题。
那么，特征提取只是一个特定的情况，还是有一些微妙的地方我不明白？
浏览 0提问于2020-10-02得票数 1
2回答
我想使用来部署Spark ML机器学习模型，并使用它们来实时预测。
创建者发布了Scala教程，但我需要支持Java8代码库。
如何在Java 8中实现以下代码：
val pipeline = SparkUtil.createPipelineModel(uid = "pipeline", Array(featureModel, rfModel))
val sbc = SparkBundleContext()
for(bf <- managed(BundleFile("jar:file:/tmp/mnist.model.rf.zip"))) {
浏览 22提问于2017-06-09得票数 3
在使用ML_pipelines的生产环境中，我使用Spark Sparklyr轻松地部署了我在Sparklyr中开发的操作。它运行得很好，除了一个部分:当我从Hive读取一个表，然后创建一个应用于该表的操作的管道时，管道还将保存表读取操作，从而保存表的名称。然而，我希望管道独立于此。
下面是一个可重复的例子：
Sparklyr部件：
sc = spark2_context(memory = "4G")
iris <- copy_to(sc, iris, overwrite=TRUE)
spark_write_table(iris, "base.iris"
浏览 0提问于2019-05-28得票数 3
我正在使用Spark2.0创建一个RandomForestClassifier来解决多类分类问题。我能够成功地训练模型，并使用model.save()方法将经过训练的模型保存到S3桶中。但是，在使用load()加载这个模型时，我得到了以下错误。
`
Exception in thread "main" java.util.NoSuchElementException: Param numTrees does not exist.
at org.apache.spark.ml.param.Params$$anonfun$getParam$2.apply(params.sc
浏览 1提问于2017-05-04得票数 0
回答已采纳
2回答
Spark中的尺寸失配误差
、、、、
我对ML和Spark都很陌生，我试图用神经网络和Spark建立一个预测模型，但是当我在我的学习模型上调用.transform方法时，我会得到这个错误。这个问题是由OneHotEncoder的使用引起的，因为没有它，一切都很好。我已经试着把OneHotEncoder从管道里拿出来了。
我的问题是:如何使用OneHotEncoder而不获取此错误？
java.lang.IllegalArgumentException: requirement failed: A & B Dimension mismatch!
at scala.Predef$.require(Predef.scala
浏览 3提问于2017-02-17得票数 5
回答已采纳
1回答
我很难将一个大型的(相对于spark.rpc.message.maxSize) Spark管道保存到HDFS。具体来说，当我试图将模型保存到HDFS时，它会给出一个与spark最大消息大小相关的错误：
scala> val mod = pipeline.fit(df)
mod: org.apache.spark.ml.PipelineModel = pipeline_936bcade4716
scala> mod.write.overwrite().save(modelPath.concat("model"))
18/01/08 10
浏览 0提问于2018-01-08得票数 5
回答已采纳
可以将一个经过训练的管道模型从pyspark环境加载到scala中吗？我正在尝试这样做，但是我遇到了这个错误 requirement failed: Error loading metadata: Expected class name org.apache.spark.ml.PipelineModel but found class name pyspark.ml.pipeline.PipelineModel 更准确地说，我有一个pyspark管道模型： pipe = Pipeline(stages=[transformer_1, transformer_2, RandomForestCl
浏览 86提问于2021-10-25得票数 1
这是一个非常简单的问题，但我在任何地方都找不到答案。我试过谷歌、TDS、Analytics Vidhya、StackOverflow等。所以，事情是这样的，我正在使用Scikit-Learn Pipeline，但我想看看我的数据是如何被Pipeline处理的。我的意思是，假设我有缺失值，现在它被填充了。我想看到填充的数据，我想看到编码器生成的虚拟对象等等
浏览 12提问于2021-08-14得票数 3
我刚刚开始研究一个分类问题。这是一个两类问题，我经过训练的模型(机器学习)必须决定/预测才能允许URL或阻止它。
我的问题非常具体。
如何分类URL？我应该使用正常的文本分析方法吗？
网址的特点是什么？
如何从URL中选择和提取特征？
浏览 1提问于2014-10-20得票数 7
回答已采纳
我试图将每个经过训练的决策树模型的PipelineModel存储到一个Array中。虽然我创建了一个PipelineModelS数组，但我有以下不匹配错误：
<console>:96: error: type mismatch;
found : model.type (with underlying type org.apache.spark.ml.PipelineModel)
required: org.apache.spark.ml.PipelineModel.type
bestModels(i) = model // Here is the prob
浏览 3提问于2017-04-28得票数 1
回答已采纳
我一直在尝试从这个存储库中运行John Spark-NLP示例：
在我的本地机器上。但是，当它到达堆栈中的val sparkPipeline = pipeline.fit(training)时，它会抛出org.apache.spark.SparkException: Task not serializable错误，它还会显示Caused by: java.io.NotSerializableException: com.johnsnowlabs.nlp.annotators.param.AnnotatorParam$SerializableFormat$
浏览 1提问于2019-01-25得票数 1
我正在尝试构建一个对数值数据进行不同转换和对分类数据进行不同转换的sklearn管道。在这个过程中，我比较了ColumnTransformer和FeatureUnion的结果，它们是不一样的。请告知以下内容是否等价，如果不是问题所在。数据来自kaggle https://www.kaggle.com/ronitf/heart-disease-uci
from sklearn.model_selection import train_test_split
cat_attribs = ['sex','cp','fbs','restecg
浏览 0提问于2019-05-13得票数 1
回答已采纳
我有一个有趣的问题。
我正在使用Pipeline对象来运行ML任务。
这就是我的Pipeline对象的样子。
jpsa_mlp.pipeline.getStages()
Out[244]:
[StringIndexer_479d82259c10308d0587,
Tokenizer_4c5ca5ea35544bb835cb,
StopWordsRemover_4641b68e77f00c8fbb91,
CountVectorizer_468c96c6c714b1000eef,
IDF_465eb809477c6c986ef9,
MultilayerPerceptronClassifi
浏览 0提问于2017-03-24得票数 5
我使用的是LeaveOutGroupOut的简历策略和TPOTRegressor。
from tpot import TPOTRegressor
from sklearn.model_selection import LeaveOneGroupOut
tpot = TPOTRegressor(
config_dict=regressor_config_dict,
generations=100,
population_size=100,
cv=LeaveOneGroupOut(),
verbosity=2,
n_jobs=1)
tpot.fi
浏览 1提问于2018-08-24得票数 2
回答已采纳
1回答
在我的sklearn管道中访问中间步骤的属性时遇到了问题。下面是我的代码：
from sklearn.pipeline import make_pipeline, make_union
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, PowerTransformer, OneHotEncoder
categorical_pipeline = make_pip
浏览 0提问于2019-12-26得票数 2
1回答
我使用管道来转换数据和预测模型，然后我想应用SHAP。然而，当我应用它时，它返回SHAP图表非常好，但是特性的名称类似于Feature1，Feature2，等等--类似于下面的图像。
我怎样才能得到真正的特征名在shap？
我的代码：
def pipeline(categoricas_all,numericas_all, model):
encoder = OneHotEncoder() #apenas para categoricas com baixa cardinalidade
imputer_num = SimpleImputer(strategy = 'me
浏览 0提问于2021-10-13得票数 0
2回答
我有一个经过预先训练的XGBoost模型从一个泡菜文件中读取。当我试图在模型特性集之外的一些列上对新的数据集进行预测时，我收到了错误消息：
培训数据没有以下字段: column1、column2、.
我不介意将这些列排除在培训数据之外。我不想硬编码列名(有很多)，我只想找到训练列和预测数据集之间的交集。
是否有一种方法可以从经过训练的模型中提取特征名(显然，模型记录了字段名)，而不必返回我的训练数据集？
浏览 0提问于2019-03-12得票数 3
回答已采纳
我试图创建一个机器学习模型，根据中风患者对各种问卷和评估的反应，提出治疗建议。例如，患者将被要求评估手指、肘部、肩部和胸肌的僵硬程度(每个评分在0到100之间)，或者回答14个与心理健康有关的问题(每个问题的评分为0到3)。
我想创建一个滑雪板管道，大致如下：
1.对病人的反应进行聚合。例如，四个刚度响应应平均为一个单一的“刚度”值，而14个心理健康问题应被归结为一个单一的“心理健康”值。然后，“刚性”和“心理健康”值将成为模型的特征。
2.在对特征进行聚类处理后，对标记数据进行决策树分类器训练，使每个患者接受适当的治疗。
3.将经过训练的管道作为pmml文件出口生产。
我假设这样的代码一定是
浏览 2提问于2019-11-15得票数 0
回答已采纳
如何修改代码以打印包含功能名称而不仅仅是数字的决策路径。
import pandas as pd
import pyspark.sql.functions as F
from pyspark.ml import Pipeline, Transformer
from pyspark.sql import DataFrame
from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml.feature import VectorAssembler
data = pd.DataFrame({
浏览 17提问于2018-08-01得票数 1
回答已采纳
3回答
我试图使用运行随机森林分类，但我在创建正确的数据帧输入到管道时遇到了问题。
以下是样本数据：
age,hours_per_week,education,sex,salaryRange
38,40,"hs-grad","male","A"
28,40,"bachelors","female","A"
52,45,"hs-grad","male","B"
31,50,"masters","female","B"
浏览 4提问于2015-06-24得票数 35
回答已采纳
1回答
我试过查看一些帖子，如、和，但仍然找不到我需要的东西。
以下是我正在做的转换：
cat_transformer = Pipeline(steps=[("encoder", TargetEncoder())])
num_transformer = Pipeline(
steps=[
("scaler", MinMaxScaler()),
("poly", PolynomialFeatures(2, interaction_only=True)),
]
)
transformer = ColumnT
浏览 5提问于2022-11-08得票数 3
1回答
我是从存储在HDFS上的文件夹中读取的流数据。我有以下一小部分代码：
// Convert text into a DataSet of LogEntry rows. Select the two columns we care about
val df = rawData.flatMap(parseLog).select("ip", "status")
df .isStreaming
val kmeans = new KMeans().setK(2).setSeed(1L)
val model = kmeans.fit(df)
//
浏览 0提问于2018-03-09得票数 1
我们可以使用Spark库中提供的各种预处理类.
from pyspark.ml.feature import StringIndexer, VectorIndexer,VectorAssembler
labelIndexer = StringIndexer(inputCol = label_name, outputCol="indexedLabel")
string_feature_indexers = [
StringIndexer(inputCol=x, outputCol="int_{0}".format(x))
for x in char_
浏览 4提问于2017-06-05得票数 0
2回答
keras模型上的特征选择
、、、、
我试图为我的回归模型的输出找到最好的特征，以下是我的代码。
seed = 7
np.random.seed(seed)
estimators = []
estimators.append(('mlp', KerasRegressor(build_fn=baseline_model, epochs=3,
batch_size=20)))
pipeline = Pipeline(estimators)
rfe = RFE(estimator= pipeline, n_features_to_select=5)
fit = rfe
浏览 2提问于2018-05-06得票数 6
回答已采纳
我正在使用ApacheSparkJava2.11版本的MlLib。我需要向RandomForestClassifier传递分类和数字特性(字符串和数字)。
在这种情况下，最好的API是什么？举个例子会很有帮助。
编辑
我试着使用VectorIndexer，但是它只接受数字，我不知道如何将OneHotEncoder集成到它。另外，我不清楚如何区分哪些功能是绝对的，哪些是数字的。我需要在哪里设置所有可能的类别？
下面是我尝试过的一些代码：
StructType schema = DataTypes.createStructType(new StructField[] {
new S
浏览 1提问于2018-05-30得票数 3
回答已采纳
我们有一个由多个特征转换阶段组成的流水线(2.0.1)。
其中一些阶段是OneHot编码器。思想:将基于整数的类别分类为n个独立的特征。
当训练管道模型，并使用它来预测所有的工作良好。但是，存储经过训练的管道模型并重新加载它会引起以下问题：
存储的“训练有素”OneHot编码器不跟踪有多少类别。加载它现在会引起问题:当加载模型用于预测时，它会重新确定有多少类别，从而导致训练特征空间和预测特征空间具有不同的大小(维度)。参见下面运行在齐柏林飞艇笔记本中的示例代码：
import org.apache.spark.ml.feature.OneHotEncoder
import org.apache
浏览 3提问于2017-02-06得票数 2
回答已采纳
假设我在dataframe中有几个特性/列来应用常规的OneHotEncoder，还有一个(let，n-)列，我需要在其中应用我的自定义OneHotEncoder。然后，我需要使用VectorAssembler来组装这些特性，并放入管道中，最后拟合我的trainData并从我的testData中得到预测，例如：
val sIndexer1 = new StringIndexer().setInputCol("my_feature1").setOutputCol("indexed_feature1")
// ... let, n-1 such sIndexers
浏览 2提问于2020-02-26得票数 2
1回答
我有一个使用Object Detection API训练的mask-rcnn模型来检测一些对象。现在，我有其他任务需要对这些图像(以及其他功能)进行回归。是否可以使用经过训练的mask-rcnn模型作为特征提取器(类似于迁移学习的工作原理)，并将最后一层(或多个层)更改为其他任务？
浏览 40提问于2020-05-16得票数 0
我已经挣扎了这么多，但仍然不知道如何使用额外的功能，与FeatureUnion的文本功能，在科学学习的管道。
我有一个句子列表和他们的标签来训练一个模型和一个句子列表作为测试数据。然后，我尝试添加一个额外的功能(如每个句子的长度)到包字。为此，我编写了一个自定义LengthTransformer，它返回长度列表，并具有与我的火车列表相同数量的元素。
然后，我将它与使用TfidfVectorizer的FeatureUnion结合起来，但它只是不起作用。
到目前为止，我想出的是：
from sklearn.base import BaseEstimator, TransformerMixin
fr
浏览 0提问于2017-01-26得票数 2
回答已采纳
1回答
感兴趣领域:信息提取
这对我来说是非常新的，我正在尝试理解如何设计特征(无论是词汇还是语义)，以便在信息提取中学习关系。
从论文中可以看出，在两个命名实体之间的关系中采用监督学习功能的简单步骤之一是
* The sequence of words between the two entities
* the part of speech tags of these words
* bag of words between the two words
两个实体之间的单词数量不应该根据您正在查看的训练句子而变化吗？那么，如何构建大小不一致的特征向量呢？
例如，请参阅以下两个句子，用于学习具有关系的
浏览 0提问于2016-05-10得票数 2
我已经能够创建一个管道，允许我一次索引多个字符串列，但我遇到了编码问题，因为与索引不同，编码器不是估计器，所以我从不根据调用fit。
import org.apache.spark.ml.feature.{StringIndexer, VectorAssembler,
OneHotEncoder}
import org.apache.spark.ml.Pipeline
val data = sqlContext.read.parquet("s3n://map2-test/forecaster/intermediate_data")
val df = data.selec
浏览 0提问于2015-12-09得票数 10
回答已采纳
我正在浏览示例管道，用于从scikit-learn文档中提取和评估 。在那里，它们显示了下面的管道
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.linear_model import SGDClassifier
pipeline = Pipeline(
[
("vect", CountVectorizer()),
(
浏览 10提问于2022-04-28得票数 0
我的ML项目是关于“贷款资格预测”的，我使用了以下数据：，我的代码如下所示：
import random
import pandas as pd
import numpy as np
from sklearn.compose import make_column_transformer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import \
SimpleImputer, KNNImputer, IterativeImputer
from sklearn.preproc
浏览 6提问于2022-04-13得票数 -1
我正在尝试在sklearn管道中缩放X特征数据和Y输出数据。我的代码如下所示，使用网格搜索通过交叉验证计算最佳LV数量。
kfold = KFold(n_splits = 5, shuffle = False) # Kfold
pipeline = Pipeline(steps = [('preprocessor',StandardScaler()),('model',PLSRegression()]) # Pipeline
param_grid = {'model__n_components':np.arange(1,10)} # param
浏览 1提问于2021-06-03得票数 0
2回答
缓存结果的管道
、、、、
我使用pandas进行机器学习的特征提取。我希望实现以下几点:考虑到我有五个数据处理步骤依次完成，我执行一次，结果将自动保存。下一次，如果我改变了forth步骤，库将自动从第三步开始。这个缓存函数在Pandas、sklearn.pipeline.Pipeline或其他数据处理库中自然会被支持吗?我们不需要显式地保存它们。
浏览 0提问于2019-10-20得票数 1
1回答
我正面临一个我不知道如何解决的问题，但由于我是个初学者，可能有一个简单的解决方案我找不到。
我正在处理泰坦尼克数据集，我想使用管道(以避免使用交叉验证的数据泄漏)。因此，我使用两个管道(一个用于数字，一个用于分类)+ FeatureUnion()。
有什么问题吗？在数值管道中，我填充年龄的NaN值，然后为该变量创建一些桶。该管道的结果将是包含所有数值特征+1分类变量的数据。对于编码分类变量，我对分类变量使用管道，然后使用FeatureUnion连接两个数据集。但问题是，我在数值管道中创建的新变量没有进入分类管道，结果是一个包含一个未被编码的范畴变量的数据文件。我怎么才能解决这个问题？
代码：
浏览 0提问于2020-04-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
