如何使用sklearn Pipeline & FeatureUnion选择多个(数字和文本)列进行文本分类？
使用sklearn的Pipeline和FeatureUnion可以方便地选择多个数字和文本列进行文本分类。
首先，Pipeline是一个用于将多个处理步骤串联起来的工具。在文本分类任务中，我们可以将数据预处理、特征提取和分类器等步骤组合在一起。
FeatureUnion是一个用于并行处理多个特征提取器的工具。在文本分类任务中，我们可以使用FeatureUnion同时处理数字和文本列的特征提取。
下面是一个使用sklearn Pipeline和FeatureUnion进行文本分类的示例代码：
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction import DictVectorizer
from sklearn.svm import SVC
# 定义数字列和文本列的列名
numeric_columns = ['numeric_col1', 'numeric_col2']
text_columns = ['text_col1', 'text_col2']
# 定义数字列的特征提取器
numeric_transformer = Pipeline(steps=[
# 可以根据需要添加其他预处理步骤，比如缺失值处理、标准化等
])
# 定义文本列的特征提取器
text_transformer = Pipeline(steps=[
('tfidf', TfidfVectorizer()),
# 可以根据需要添加其他预处理步骤，比如去除停用词、词干提取等
])
# 使用FeatureUnion同时处理数字列和文本列的特征提取
preprocessor = FeatureUnion(transformer_list=[
('numeric_features', numeric_transformer),
('text_features', text_transformer),
])
# 定义分类器
classifier = SVC()
# 构建Pipeline
pipeline = Pipeline(steps=[
('preprocessor', preprocessor),
('classifier', classifier),
])
# 训练和预测
pipeline.fit(X_train, y_train)
y_pred = pipeline.predict(X_test)在上述代码中，我们首先定义了数字列和文本列的列名。然后，分别定义了数字列和文本列的特征提取器，可以根据需要添加其他预处理步骤。接下来，使用FeatureUnion将数字列和文本列的特征提取器组合在一起。最后，定义了一个分类器，并将特征提取器和分类器组合成一个Pipeline。通过fit方法进行训练，通过predict方法进行预测。
这种使用sklearn Pipeline和FeatureUnion选择多个数字和文本列进行文本分类的方法可以方便地组合不同的特征提取器，并且可以灵活地添加其他预处理步骤。在实际应用中，可以根据具体的需求选择不同的特征提取器和分类器，并进行参数调优，以获得更好的分类效果。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- 腾讯云自然语言处理（https://cloud.tencent.com/product/nlp）
- 腾讯云人工智能开发平台（https://cloud.tencent.com/product/ai）
- 腾讯云云服务器（https://cloud.tencent.com/product/cvm）
- 腾讯云云数据库（https://cloud.tencent.com/product/cdb）
- 腾讯云云存储（https://cloud.tencent.com/product/cos）
- 腾讯云区块链服务（https://cloud.tencent.com/product/bcs）
- 腾讯云物联网平台（https://cloud.tencent.com/product/iot）
- 腾讯云移动开发平台（https://cloud.tencent.com/product/mpe）
- 腾讯云音视频处理（https://cloud.tencent.com/product/vod）
- 腾讯云网络安全（https://cloud.tencent.com/product/saf）
- 腾讯云元宇宙（https://cloud.tencent.com/product/mu） 请注意，以上链接仅供参考，具体选择和使用腾讯云产品时，请根据实际需求和产品文档进行判断和操作。
相关·内容
我试图使用功能联合第一次在滑雪管道，结合数字(2列)和文本特征(1列)的多类分类。
from sklearn.preprocessing import FunctionTransformer
from sklearn.pipeline import Pipeline
from sklearn.multiclass import OneVsRestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import FeatureUnion
get_text_data = Func
浏览 9提问于2017-12-11得票数 11
回答已采纳
1回答
如何在滑雪板管道中腌制各个步骤？
、、、、
我正在使用Pipeline从滑雪分类文本。
在这个示例Pipeline中，我有一个TfidfVectorizer和一些用FeatureUnion和分类器包装的自定义特性，作为Pipeline步骤，然后对训练数据进行拟合并进行预测：
from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
X = ['I am a sentence', '
浏览 4提问于2016-03-28得票数 5
回答已采纳
我正在尝试构建一个对数值数据进行不同转换和对分类数据进行不同转换的sklearn管道。在这个过程中，我比较了ColumnTransformer和FeatureUnion的结果，它们是不一样的。请告知以下内容是否等价，如果不是问题所在。数据来自kaggle https://www.kaggle.com/ronitf/heart-disease-uci
from sklearn.model_selection import train_test_split
cat_attribs = ['sex','cp','fbs','restecg
浏览 0提问于2019-05-13得票数 1
回答已采纳
我有一个有56列的熊猫数据框。大约一半的列是浮点型的，其他的是字符串(文本数据)，最后col56是标签列。数据集如下所示 Col1 Col2...Col26 Col27 Col 28 ..... Col55 Col 56
1 4 76 I like cats Cats are cool Cat bags 1
.
.
.
1900 rows 我想同时使用数字和文本数据来运行分类算法。快速的google搜索告诉我们，最好的方法是使用Feature Union 这是到目前为止的代码 import pandas as pd
import numpy
浏览 11提问于2019-01-07得票数 0
我正试图将两条管道联合起来：
float64pipeline_2返回稀疏矩阵pipeline_1返回原始列(str)，形式为熊猫DataFrame (级数不会导致错误ValueError: blocks0，：具有不兼容的行维)。)
在执行此操作时，我会收到错误：
TypeError:不支持类型转换：(dtype('int64')，dtype('O'))
我的目标是找到一种通用的方法，将DataFrame的原始列保留在管道中，以便稍后由分类器使用。
代码：
import pandas as pd
from sklearn.base import BaseEsti
浏览 1提问于2020-05-04得票数 0
1回答
我使用管道从雪橇分类文本。
在这个示例管道中，我有一个TfIDF向量器和一些用FeatureUnion和分类器包装的自定义特性，然后对训练数据进行拟合并进行预测：
from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
X = ['I am a sentence', 'an example']
Y = [1, 2]
X_dev
浏览 1提问于2016-03-27得票数 9
回答已采纳
我正在尝试为使用K-Means的集群模型构建一个简单的预处理管道，并将其导出为PMML格式。我设法使管道工作，但不能设法最终将其导出为pmml。我将管道划分为两个步骤，处理数值数据和处理分类数据。
numeric_features = ['column1','column2','column3']
categorical_features = ['column4','column5']
num_mapper = sklearn_pandas.DataFrameMapper([([numeric_column],
浏览 0提问于2019-08-02得票数 0
FeatureUnion不能适应。以下代码fit()的最后一行将将错误抛出如下：
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.feature_selection import SelectKBest
iris = load_iris()
X, y = iris.data, iris.targe
浏览 0提问于2019-08-06得票数 2
回答已采纳
我第一次玩sklearn和NLP，我以为我明白我所做的一切，直到我不知道如何纠正这个错误。以下是相关代码(主要来自)：
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import TruncatedSVD
from sgboost import XGBClassifie
浏览 0提问于2018-08-31得票数 5
回答已采纳
在sklearn中，FeatureUnion()和ColumnTransformer()有什么区别？
如果我想要构建一个包含混合数据类型(分类、数字、非结构化文本)的有监督的模型，需要组合不同的管道，那么我应该使用哪一个？
来源：
来源：
浏览 0提问于2019-04-10得票数 18
回答已采纳
我如何使用FeatureUnion在scikit学习，以便Gridsearch可以选择地对待它的部分？
下面的代码工作并设置了一个FeatureUnion，TfidfVectorizer用于words，TfidfVectorizer用于字符。
在执行Gridsearch时，除了测试已定义的参数空间外，我还希望只测试“vect__wordvect”及其ngram_range参数(没有字符的TfidfVectorizer )，也只测试小写参数为真假的“vect__lettervect”，而禁用了另一个TfidfVectorizer。
编辑:基于maxymoo建议完成代码示例。
这是如何做到的呢？
浏览 2提问于2016-05-04得票数 5
回答已采纳
1回答
我很难同时将不同的变压器应用到具有不同类型的(文本与数字)的列中，并将这些变压器连接在一个单独的转换器中，供以后使用。
我试着遵循文档中的步骤，这说明了如何对分类数据和数字数据进行处理，但它似乎不适用于文本数据。
TL;DR
如何为文本和数字数据创建一个可存储的转换器，它遵循不同的管道？
数据下载和准备
# imports
import numpy as np
from sklearn.compose import ColumnTransformer
from sklearn.datasets import fetch_openml
from sklearn.feature_extracti
浏览 3提问于2020-12-16得票数 5
回答已采纳
我有一个自定义的管道，我正在使用Sklearn的GridSearchCV来调优整个管道的参数。我使用sklearn获得了最佳的参数组合，但我希望获得最佳的参数组合并将其传递给另一个管道。
这是管道，
p = Pipeline([
('union', FeatureUnion(
transformer_list=[
('chargram', Pipeline([
('tfidf', TfidfVectorizer(token_pattern=r'\w')
浏览 0提问于2017-11-19得票数 1
1回答
我有一组自定义特性和一组使用向量器创建的特性，在本例中是TfidfVectorizer。
我所有的自定义特性都是简单的np.arrays (例如0、5、4、22、1)。我正在使用StandardScaler来扩展我的所有功能，正如您在管道中看到的那样，在“自定义管道”之后调用StandardScaler。问题是，我在我的"vectorized_pipeline“中使用的向量器是否有一种方式或需要进行缩放。在向量器上应用StandardScaler似乎不起作用(我得到了以下错误："ValueError:无法对稀疏矩阵进行中心化“)。
还有另一个问题，在我加入FeatureUnio
浏览 2提问于2016-04-17得票数 4
回答已采纳
我正在使用实践机器学习与Scikit-Learn和TensorFlow:概念，工具...作者: Aurélien Géron。 我试着在“转换管道”之后和“选择和训练模型”之前运行第一章中的代码。 书的旧版本使用以下代码进行组合转换： from sklearn.base import BaseEstimator , TransformerMixin
class DataFrameSelector(BaseEstimator, TransformerMixin):
def __init__(self, attribute_names):
self.attribute_
浏览 24提问于2019-05-13得票数 1
我第一次执行文本分类任务(twitter情感分析)，但我不知道如何将工程特性整合到我的sklearn管道中。
到目前为止，在输出分类器之前，我已经尝试过转换。例如：
model = Pipeline([('t', 'mean_vectorizer'), ('logreg', LogisticRegression())])
但所有这些基本管道的得分都很低。因此，我想开始进行网格搜索，并结合我自己的特性。
到目前为止，我的数据集(X_train)是这样的，行是tweet(单个字符串)。这是mean_vectorizer处理的格式(如果我使用它，则是t
浏览 0提问于2018-03-13得票数 0
回答已采纳
这是我的输入矩阵
我的样本代码：
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import MultinomialNB
from sklearn.ensemble import RandomForestClassifier
from sklear
浏览 1提问于2018-05-03得票数 2
回答已采纳
我试图修改示例，使其使用Pandas而不是测试数据集。我无法做到这一点，因为ItemSelector似乎不承认列名。
请注意数据格式df_resolved.columns返回的列：
Index(['u_category', ... ... 'resolution_time', 'rawtext'],
dtype='object')
很明显我的数据里有这个。
然而，当我试图运行解决方案时，我会得到错误。
"ValueError:没有名字的u_category“
而且，我似乎无法修改代码以支持在ItemSe
浏览 2提问于2017-09-05得票数 0
回答已采纳
我正在尝试创建一个模型，在该模型中，我将在文本列上使用TfidfVectorizer，并在文本上使用带有额外数据的其他几个列。下面的代码复制了我想要做的事情和我得到的错误。
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import FeatureUnion
from sklearn.pipeline import Pipel
浏览 0提问于2018-08-09得票数 0
回答已采纳
1回答
这是我作为熊猫df的数据
打印(X_trainnumeric_predictors+ categorical_predictors.head())：
bathrooms bedrooms price building_id \
10 1.5 3.0 3000.0 53a5b119ba8f7b61d4e010512e0dfc85
10000 1.0 2.0 5465.0 c5c8a357cba207596b04d1afd1e4f130
100004
浏览 3提问于2017-08-10得票数 1
回答已采纳
python和sklearn的新手，因此提前道歉。我有两个转换器，我想把结果收集到一个‘`FeatureUnion’中(最后一个建模步骤)。这应该很简单，但是FeatureUnion堆叠了输出，而不是提供nx2数组或DataFrame。在下面的示例中，我将生成一些10行乘2列的数据。这将生成两个10行乘1列的特征。我希望最终的特征联合具有10行和1列，但我得到的是20行x 1列。
我将试着用下面的例子来演示：
一些导入
import numpy as np
import pandas as pd
from sklearn import pipeline
from sklearn.base im
浏览 5提问于2016-09-23得票数 2
回答已采纳
我用LeaveOneOutEncoder做了一条管道。我当然会举个玩具为例。用于转换分类变量。
import pandas as pd
import numpy as np
from sklearn import preprocessing
import sklearn
from sklearn.pipeline import Pipeline
from sklearn.pipeline import FeatureUnion
from category_encoders import LeaveOneOutEncoder
from sklearn import linear_model
f
浏览 1提问于2018-09-16得票数 0
回答已采纳
1回答
我正面临一个我不知道如何解决的问题，但由于我是个初学者，可能有一个简单的解决方案我找不到。
我正在处理泰坦尼克数据集，我想使用管道(以避免使用交叉验证的数据泄漏)。因此，我使用两个管道(一个用于数字，一个用于分类)+ FeatureUnion()。
有什么问题吗？在数值管道中，我填充年龄的NaN值，然后为该变量创建一些桶。该管道的结果将是包含所有数值特征+1分类变量的数据。对于编码分类变量，我对分类变量使用管道，然后使用FeatureUnion连接两个数据集。但问题是，我在数值管道中创建的新变量没有进入分类管道，结果是一个包含一个未被编码的范畴变量的数据文件。我怎么才能解决这个问题？
代码：
浏览 0提问于2020-04-14得票数 1
回答已采纳
1回答
我正在尝试使用LogisticRegression进行文本分类。我使用FeatureUnion来获取DataFrame的功能，然后使用cross_val_score来测试分类器的准确性。但是，我不知道如何在管道中包含称为tweets的自由文本特性。我使用的是词袋模型的TfidfVectorizer。
nominal_features = ["tweeter", "job", "country"]
numeric_features = ["age"]
numeric_pipeline = Pipeline([
("
浏览 4提问于2018-11-25得票数 4
我正在使用SKlearn的Pipeline模型来提取和构建一个联合特征，然后将其发送到随机森林分类器，而一些特征提取器可以稍后删除或添加，请考虑以下结构：
model = Pipeline([
('feature_extract',
FeatureUnion([
('feature A', extracorA()),
('feature B
浏览 0提问于2016-03-09得票数 1
对于下面的熊猫DataFrame df，我希望将type列转换为OneHotEncoding，并使用字典word2vec将word列转换为它的向量表示。然后，我想将两个转换后的向量与count列连接起来，形成分类的最终特征。
>>> df
word type count
0 apple A 4
1 cat B 3
2 mountain C 1
>>> df.dtypes
word object
type category
count in
浏览 0提问于2018-06-06得票数 0
回答已采纳
2回答
我正在对文本数据进行多标签分类。我希望使用tfidf的组合特性和自定义语言特性，类似于使用的示例。
我已经生成了自定义语言特性，它以字典的形式出现，其中键表示标签，(列表)值表示功能。
custom_features_dict = {'contact':['contact details', 'e-mail'],
'demographic':['gender', 'age', 'birth'],
浏览 8提问于2020-01-10得票数 1
回答已采纳
在此页面中，https://www.kaggle.com/baghern/a-deep-dive-into-sklearn-pipelines 它调用fit_transfrom来转换数据，如下所示： from sklearn.pipeline import FeatureUnion
feats = FeatureUnion([('text', text),
('length', length),
('words', words),
浏览 24提问于2019-01-14得票数 3
试图找出如何通过交叉验证的n_jobs = -1参数并行我的Sklearn管道.尝试了几个不同的步骤，但是有个泡菜错误.
n_jobs = -1 ( FeatureUnion )
分类器中的n_jobs = -1
n_jobs = -1 ( cv k折叠)
print('The sklearn version => {}'.format(sk.__version__))
The sklearn version => 0.18.1
pipeline = Pipeline([\
('unionPipeLines',
浏览 0提问于2019-04-17得票数 2
在使用作为垃圾邮件分类的模型时，我想添加主题和正文的额外功能。
我把我所有的功能都放在了一个熊猫数据框中。例如，主题是df' subject '，正文是df' body _text‘，垃圾邮件/ham标签是df'ham/spam’
我收到以下错误: TypeError：'FeatureUnion‘对象不可迭代
在通过管道函数运行时，如何同时使用df‘’Subject‘和df’‘body_text’作为所有特性？
from sklearn.pipeline import FeatureUnion
features = df[['Subject
浏览 1提问于2016-01-11得票数 14
回答已采纳
3回答
都显示了此导入的使用情况。
from sklearn.pipeline import Pipeline, FeatureUnion
from Transformers import TextTransformer
当我运行它的时候
ModuleNotFoundError跟踪(最近一次调用) in () 1来自sklearn.pipeline导入管道，FeatureUnion -->2来自Transformers导入TextTransformer ModuleNotFoundError:没有名为“Transformers”的模块
谷歌只是引导我找到了我已经
浏览 2提问于2017-04-08得票数 5
回答已采纳
1回答
我刚开始学习管道，并将这篇文章用作代码指南：
https://www.codementor.io/bruce3557/beautiful-machine-learning-pipeline-with-scikit-learn-uiqapbxuj
我试图使用转换管道编码一个分类特性，但是无论我使用哪个编码器，我都会得到相同的错误。据我从阅读其他文章中可以看出，scikit-learn应该能够将分类变量作为0.20或更高版本(即使用OneHotEncoder)中的字符串来处理。
ValueError: could not convert string to float: 'Male'
浏览 0提问于2019-10-06得票数 0
回答已采纳
我在sklearn流水线中使用了递归特征消除，流水线看起来像这样：
from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn import feature_selection
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
X = ['I am a sentence', 'an example']
Y = [1, 2]
X_dev = ['an
浏览 3提问于2016-04-15得票数 16
回答已采纳
2回答
我想使用sklearn管道测试在中实现的不同编码策略。
我的意思是这样的：
num_attribs = list(housing_num)
cat_attribs = ["ocean_proximity"]
num_pipeline = Pipeline([
('selector', DataFrameSelector(num_attribs)),
('imputer', Imputer(strategy="median")),
('std_scaler', Sta
浏览 7提问于2018-02-21得票数 1
我试图在一个使用自定义转换器的上搜索。当管道在FeatureUnion中使用自定义转换器类时，它工作得很好；但是，当管道中的自定义类通过在网格搜索参数中设置passthrough而被忽略时，它会失败。
整个管道的定义如下：
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline, FeatureUnion
ngram_vecto
浏览 14提问于2022-11-07得票数 0
回答已采纳
1回答
我试图找到一种方法，使用一个管道来转换一个文本特征和一个分类特征，然后将它们应用到分类器中。
下面的工作示例(简化为可读性)是我目前使用的方法。
我必须分成三个迷你管道或变量：
第一个将编码分类功能，
第二个将在raw_text特性上应用，
第三种方法将分类器与合并后的数据相匹配(在使用hstack组合了这两种特性之后)
从sklearn.preprocessing FunctionTransformer进口，从sklearn.feature_extraction.text进口TfidfVectorizer从sklearn.pipeline进口管道进口LogisticRe
浏览 4提问于2019-09-10得票数 0
回答已采纳
我正在尝试获得泰坦尼克号数据集上的最终管道(示例取自“手- on ML”一书)。
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder, LabelBinarizer
num_pipeline = Pipeline([
('selector', DataFrameSelector(list(df_num))),
('impu
浏览 0提问于2020-07-14得票数 1
我正在学习scikit中的管道和FeatureUnions，因此怀疑是否可以在类上重复应用'make_union‘？
考虑以下代码：
import numpy as np
import pandas as pd
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.linear_model import LogisticRegression
import sklearn.datasets as d
浏览 0提问于2018-08-05得票数 1
回答已采纳
我开发了一个用于多标签分类的文本模型。 LinearSVC模型使用sklearns Pipeline和FeatureUnion进行模型准备。
主要的输入特征包括一个名为response的文本列，以及5个主题概率(从以前的LDA主题模型生成)，称为t1_prob - t5_prob，用于预测5个可能的标签。在生成TfidfVectorizer的管道中还有其他特征创建步骤。
最后，我使用调用每个列，并对这些主题概率列分别执行5次ArrayCaster (请参阅下面的代码了解函数定义)。有没有更好的方法来使用在管道中选择多个列？(所以我不需要重复5次)
我想知道是否有必要复制topic1_featu
浏览 0提问于2018-07-13得票数 4
回答已采纳
使用葡萄酒质量数据集，我尝试执行一个简单的KNN分类(w/ a scaler，以及管道中的分类器)。它可以工作，但我从未以这种方式使用过cross_val_scores，我希望确保没有更好的方法。对我来说，使用管道内的cross_val_scores (包括n个范围)变得不那么简单了。
我已经包含了我的全部代码，因为它相当短。
import pandas as pd
import pylab as pl
from sklearn.preprocessing import StandardScaler, LabelEncoder
from sklearn.neighbors import K
浏览 0提问于2016-07-22得票数 5
我试图使用FeatureUnion()函数组合不同的features:dentisty_undictionary、file_length、tdm。tdm是由TfidfVectorizer().the代码生成的一种矢量，如下所示：
process_features = Pipeline(
[
('features',FeatureUnion(transformer_list=[('dentisty_undictionary',train_set.dentisty_undictionary),
浏览 0提问于2018-03-23得票数 1
回答已采纳
我有一堆有文章的文件。对于每一篇文章，都应该有一些特性，比如：文本长度，text_spam (都是in或floats，在大多数情况下它们应该从csv加载)。我想做的是-把这些特性和CountVectorizer结合起来，然后分类这些文本。
我看过一些教程，但我仍然不知道如何实现这些东西。找到了一些，但实际上无法实现它以满足我的需要。
有什么好办法用科学工具来做吗？
谢谢。
我现在遇到的是：
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import Count
浏览 0提问于2014-03-27得票数 15
我有一个熊猫数据框架，包含有关用户发送信息的信息。对于我的模型，我感兴趣的是预测一个消息的丢失收件人，我给收件人A，B，C的消息，我想预测谁应该是收件人的一部分。
我正在使用OneVsRestClassifier和LinearSVC进行多标签分类。对于功能，我想使用邮件的收件人。主体和身体。
由于收件人是用户列表，所以我希望使用MultiLabelBinarizer转换该列。对于主体和身体，我想使用TFIDF。
我的输入泡菜文件的数据如下所示:除了接收者之外，所有值都是字符串，后者是set()
[[message_id,sent_time,subject,body,set(recipients
浏览 1提问于2017-11-30得票数 4
回答已采纳
我正在准备来自德国信用数据集( )的数据，我构建了一个自定义转换器来从数据集中的属性中提取特性，它只在一个小管道中工作。自定义转换器(AddGenderStatus)增加了性别和地位作为功能。当我使用FeatureUnion将这个管道放入一个完整的管道中时，问题就出现了。
KeyError：“性别”、“地位”不在索引中
import pandas as pd
from sklearn.base import TransformerMixin, BaseEstimator
from sklearn.preprocessing import OneHotEncoder
from sklearn.p
浏览 2提问于2020-10-15得票数 1
回答已采纳
我有一个scikit学习管道来缩放数字特性和编码分类特性。在我尝试从imblearn实现之前，它一直运行良好。我的目标是实现欠采样步骤，因为我的数据集是非常不平衡的1:1000。
我确保使用管道方法从imblearn，而不是滑雪板。下面是我试过的代码。
代码数据工作(使用滑雪板管道)，而不使用欠采样方法。
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from imblearn.pipeline import
浏览 1提问于2019-07-25得票数 4
回答已采纳
我为这个大代码块事先表示歉意。这是我可以提供一个可重复的工作示例的最简洁的方法。
在代码中，我试图使用FeatureUnion从一个dataframe中转换两个列，其中一个列是文本数据，所以是TfidfVectorizer，另一个列是标记列表，所以我想使用MultiLabelBinarizer。
ItemSelector转换器用于从数据中选择正确的列。
为什么我要买TypeError: fit_transform() takes 2 positional arguments but 3 were given ？
，我需要在代码中修改什么才能使这个示例正常运行？
from sklearn.pre
浏览 3提问于2016-12-21得票数 0
我构建了一个modelPipeline，它运行多分类器，并将pipeline和每个分类器的分数作为DataFrame返回。
如何在下面的GridsearchCV中使用modelPipeline？是否可以在流水线中使用多分类器的GridsearchCV？
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import BernoulliNB
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SV
浏览 1提问于2021-12-28得票数 2
我已经挣扎了这么多，但仍然不知道如何使用额外的功能，与FeatureUnion的文本功能，在科学学习的管道。
我有一个句子列表和他们的标签来训练一个模型和一个句子列表作为测试数据。然后，我尝试添加一个额外的功能(如每个句子的长度)到包字。为此，我编写了一个自定义LengthTransformer，它返回长度列表，并具有与我的火车列表相同数量的元素。
然后，我将它与使用TfidfVectorizer的FeatureUnion结合起来，但它只是不起作用。
到目前为止，我想出的是：
from sklearn.base import BaseEstimator, TransformerMixin
fr
浏览 0提问于2017-01-26得票数 2
回答已采纳
我目前正在阅读“使用Scikit- Learning &TensorFlow的手工机器学习”。当我试图重新创建转换管道代码时，会出现一个错误。我怎么才能解决这个问题？
代码：
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
num_pipeline = Pipeline([('imputer', Imputer(strategy = "median")),
('attrib
浏览 2提问于2018-01-28得票数 13
回答已采纳
1回答
我试图构建一个管道，分别转换和编码文本和分类特征，并将它们合并到分类器中。我现在有以下类来选择数据：
class DataFrameSelector(BaseEstimator, TransformerMixin):
def __init__(self, attribute_names):
self.attribute_names = attribute_names
def fit(self, X, y=None):
return self
def transform(self, X):
print(X[self.attr
浏览 0提问于2019-02-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
