使用自定义转换器部署sklearn模型

文章/答案/技术大牛

发布

1回答

python、machine-learning、scikit-learn

我有一个sklearn流水线，它的定义方式如下： from tools.transformers import MyTransformer ├── __init__.py└── tools └── transformers.py 我已经训练了我的模型，并且我的管道保存在一个.joblib现在我想在另一个项目中使用我的模型。但是，我不仅需要移动.joblib文件，还需要移动整个tools/transformers.py结构。我认为这很难维护，也很难

浏览 18提问于2020-07-03得票数 0

回答已采纳

1回答

使用FunctionTransformer时会中断管道

python、scikit-learn、pipeline、scikit-learn-pipeline

我正在学习使用管道，因为它们看起来更干净。所以，我在Kaggle的桌面操场比赛上工作。我正在尝试遵循一个非常简单的管道，在这个管道中，我使用FunctionTransformer向dataframe添加一个新列，执行Ordinal Encoding，并最终将数据拟合到LinearRegression模型上。

浏览 0提问于2022-01-02得票数 0

2回答

如何使用自定义转换器保存滑雪板管道？

python、machine-learning、scikit-learn、pickle、mlflow

我试图用mlflow保存一个sklearn机器学习模型，它是一个包含我定义的自定义转换器的管道，并将它加载到另一个项目中。我的自定义转换器继承自BaseEstimator和TransformerMixin。我认为mlflow提供了一种简单的方法来保存模型并序列化它们，这样它们就可以在任何地方使用，如果您有本地sklearn模型(或者keras，.)，这是真的吗？使用conda_env参数log_mo

浏览 17提问于2020-03-04得票数 8

1回答

使用Sharepoint对象模型调用自定义文档转换器

sharepoint

如何调用为特定网站激活的自定义SharePoint转换器。converter.ConvertTo.ToLower().Equals("jpg")) 通常使用但是当我尝试使用SpFile.Convert方法调用文档转换器时，它并没有调用它。我的自定义转换程序接受2个命令行参数。当我使用SharePointObject

浏览 2提问于2011-03-07得票数 1

3回答

如何在sklearn中保存自定义变压器？

python、session、scikit-learn、pickle

我无法加载使用sklearn.externals.joblib.dump或pickle.dump保存的自定义转换器的实例，因为当前python会话中缺少自定义转换器的原始定义。假设在一个python会话中，我定义、创建并保存了一个自定义转换器，它也可以在同一个会话中加载：from sklearn.base在一个会话中保存自定

浏览 0提问于2017-09-06得票数 15

1回答

创建新的功能，作为其他人的线性组合，作为科学学习管道的一部分？

python、scikit-learn、feature-engineering、pipelines

我有一些原始的功能，进入一个科学的学习模型。我已经有了许多预处理步骤(比如PolynomialFeatures)，这些步骤创建了额外的特性，作为我的管道的一部分。

浏览 0提问于2022-12-20得票数 0

回答已采纳

1回答

Google Cloud ML引擎scikit-learn框架中的自定义依赖项

scikit-learn、google-cloud-ml

我一直在寻找在我的ML项目中添加用户定义函数和自定义转换器的可能性，但我只找到了在张量流框架中如何做到这一点的示例。我已经创建了一个可以与pip一起安装的自定义包，但是我不知道setup.py文件在scikit-learn框架中应该是什么样子。from custscaler import StdScalerfromsklear

浏览 0提问于2018-04-24得票数 3

2回答

将自定义文档转换器部署到Sharepoint并在Sharepoint web应用程序中使用它的步骤

sharepoint

我想安装此应用程序作为“文档转换器”ino Sharepoint 2010。我想了解将应用程序转换为文档转换器并将其部署为功能，然后从Sharepoint web应用程序访问该应用程序的步骤使用SharePoint对象模型。如何使用Sharepoint对象模型从Sharepoint web应用程序调用自定义文档转换器。如何使用Sharepoint对象模型将文档(文档库中要转换为图像的pdf文件)作

浏览 4提问于2011-03-04得票数 1

1回答

使用自定义模型在AWS Sagemaker中运行flask应用程序

amazon-sagemaker

我有一个Sagemaker notebook实例，我在其中构建了一个自定义模型(而不是sklearn/tf/torch)，该模型将计算结果csv文件并将其保存在notebook中。现在，我需要使用csv文件提供预测。输入是id，输出是csv的预计算结果。sagemaker“部署自定义模型”示例仅包括sklearn/tf/torch模型。有没有办法创建一个模型端

浏览 17提问于2021-10-06得票数 0

2回答

如何在使用sklearn时不使用数值列？

python、pandas、scikit-learn、one-hot-encoding

环境：from sklearn.pipeline import Pipelinefrom sklearn.ensemble import RandomForestClassifierX_train = pd.DataFrame({'AX_train) encoder.transform(X_train) # Columns C is encoded

浏览 3提问于2020-03-22得票数 4

回答已采纳

2回答

使用AWS SageMaker，是否有可能使用sagemaker部署经过预先培训的模型？

python、amazon-web-services、scikit-learn、amazon-sagemaker

我试图避免将现有的模型培训过程迁移到SageMaker，并避免创建自定义的Docker容器来承载经过培训的模型。我的希望是将我们现有的、经过训练的模型注入到预建好的scikit学习容器中，这是AWS通过提供的。我发现的所有示例都需要首先对模型进行培训，这将在SageMaker中创建模型/模型配置。然后使用deploy方法进行部署。是否有可能为deploy方法提供经过训练的模型，并将其托管在AWS提供的预构

浏览 1提问于2019-02-28得票数 8

1回答

自定义类(Inheritrance TransformerMixin)，sklearn2pmml生成PMML文件报告编码错误。

python-3.x

我定制了一个类，用空值替换字符串，以便在DataFrameMapper中使用。当我使用sklearn2pmml生成PMML文件时，我报告了一个编码错误。这是我的示例转换器： def fit(self,X,y=None): X = X.astype(float)DataFr

浏览 1提问于2018-11-26得票数 1

回答已采纳

1回答

将MultiLabelBinarizer封装到scikit学习管道中，以便对新数据进行推断。

python、pandas、machine-learning、scikit-learn、mlflow

我想使用MultiLabelBinarizer()对包含所有适用的体裁标签的列进行二进制化。例如，['action','comedy','drama']被分成三列，值为0/1。我使用MultiLabelBinarizer()的原因是为了能够使用内置的inverse_transform()函数将输出数组(例如array([0, 0, 1, 0, 1])直接转换为用户友好的文本输出一种解决方案是将其单独保存为泡菜对象，并每次加载，但我希望避免在生产中使用此依

浏览 4提问于2019-09-13得票数 3

1回答

从滑行柱变压器中提取特征名

python、pandas、scikit-learn、pipeline

我使用sklearn.pipeline来转换我的特性并拟合一个模型，所以我的一般流程如下所示:列转换器->通用管道->模型。我希望能够从列转换器中提取特征名(从下面的步骤开始，一般管道对所有列(例如nan_to_zero)应用相同的转换)，并将它们用于模型可解释性(例如特性重要性)。我也希望它也能与自定义转换器类一起工作。这是设置：import pandas as pd from <

浏览 5提问于2022-04-01得票数 1

回答已采纳

1回答

基于嵌套CV的滑雪板管道目标编码

python、scikit-learn

我正在为我的专栏做目标编码，使用嵌套交叉验证方法(以避免泄漏)，正如前面提到的、和。如果我必须包括我的目标编码(通过自定义转换器)，在sklearn管道，我需要不同的转换功能与火车集和测试集。这是因为，对于列车折叠，编码是使用列车数据的进一步k折叠分割来计算的。而对于测试褶皱，编码是火车的平均值。我知道sklearn管道将对cv中的列车和测试分割应用相同的转换，是否有一种方法可以使用sklearn管道和自定义转换器

浏览 13提问于2022-08-21得票数 1

回答已采纳

1回答

在sklearn管道中转换估计器的结果

python、scikit-learn、pipeline、xgboost

我有一个sklearn管道，它由一个自定义转换器组成，后面是XGBClassifier。我想在转换器中添加的最后一步是另一个自定义转换器，它转换XGBClassifier的结果。最后一个自定义转换器将预测的概率排序为等级(5-百分位数)。', custom_trsf1), ('custom_trsf2', cus

浏览 1提问于2020-11-26得票数 1

1回答

如何在nyoka中添加自定义Transformer/Estimator，并将管道转换为PMML文档？

pmml

我正在编写一个Python scikit-learn管道，它需要自定义的转换器/估计器(而不是sklearn中已经定义的常规转换器)。如何添加此支持并使用skl_to_pmml (python nyoka lib)将管道转换为PMML文档？

浏览 26提问于2019-05-23得票数 0

1回答

如何使用convert_coreml转换自定义管道(分类get_dummies)？

python、scikit-learn、onnx-coreml

我尝试将自定义sklearn管道保存为onnx模型，但在此过程中遇到错误。示例代码： from sklearn.preprocessing import OneHotEncoderfrom winmltools import conv

浏览 48提问于2020-07-06得票数 3

1回答

在管道的帮助下，使用SelectKBest或卡方或方差分析删除冗余特征？

python-3.x、scikit-learn、feature-selection、chi-squared、tfidfvectorizer

我尝试了一些方法来删除这些冗余功能，但是我需要手动执行很多步骤，如下所示：from sklearn.feature_extraction.text importTfidfVectorizer 1 0.000000 0.1682753

浏览 8提问于2021-03-26得票数 0

1回答

如何将scikit-learn模型部署到android？

android、tensorflow、machine-learning、keras、scikit-learn

我有一个实现sklearn的RandomForestClassifier的模型。我已经将模型保存在一个'pickle‘文件中，我想将它部署到一个android应用程序中。我已经看到，这可以使用Tensorflow Lite文件来完成，而'hdf5‘文件也可以转换为相同的文件。然而，我不知道如何将我的pickle文件转换为hdf5，然后再转换为tflite。我需要使用Tensorflow重新实现随机森林吗？我还能做些什么来把它部署到android上？

浏览 102提问于2019-05-16得票数 1

点击加载更多