1回答
我已经使用pyspark.ml.classification.RandomForestClassifier训练了一个分类模型，并将其应用于一个新的数据集进行预测。在将数据集提供给模型之前，我删除了customer_id列，但不确定如何在预测之后映射回customer_id。因此，我无法确定哪一行属于哪个客户，因为Spark数据帧本质上是无序的。
浏览 9提问于2019-09-17得票数 1
回答已采纳
2回答
我有一个包含地理信息的火花数据。.| 42.6753 | 23.3218 |k = 120print ("Final centers: " + str(model.clusterCenters有谁知道如何在我的数据中添加匹配中心吗？
浏览 6提问于2017-08-15得票数 0
我用PySpark MLlib内建的LogisticRegression类训练了一个Logistic回归模型.然而，当它被训练时，它不能被用来预测其他的数据，因为AttributeError: 'LogisticRegressionfrom pyspark.ml.classification import LogisticRegression
model = LogisticRegression(regParam=0.5, elasticNetParam=1.
浏览 8提问于2021-08-12得票数 0
回答已采纳
1回答
我希望使用pyspark.mllib.tree.RandomForest模块为我的观察得到一个接近矩阵。
直到现在，我的数据还很小，可以直接加载到内存中。因此，我使用sklearn.ensemble.RandomForestClassifier以以下方式获得邻近矩阵:假设X是包含特征的矩阵，Y是包含标签的向量。我训练随机森林来区分标签"0“和标签"1”的对象。有了经过训练的随机森林，我希望通过计算两个观测得到相同的最终节点(=叶)<
浏览 0提问于2016-02-20得票数 5
回答已采纳
我有一个火花Dataframe与两个库仑“标签”和“稀疏向量”后，应用Countvectorizer的推文语料库。
在尝试训练随机森林回归模型时，我发现它只接受LabeledPoint类型。有谁知道如何把我的火花DataFrame转换成LabeledPoint吗？
浏览 0提问于2018-06-29得票数 4
回答已采纳
2回答
我试图将存储在格式键中的tweet聚集起来，列表中的单词。StringType(),False)]#Data in format <key>,<listofwords>#Extract TF-IDF From https://spark.apache.org/docs/1.5.2/
浏览 4提问于2016-02-23得票数 5
回答已采纳
我遇到了一个问题，无法在实际环境中加载PipelineModel i测试我的模型，但是无法在生产环境中应用这个模型和代码。"/home/fwfx_yaofei/telbd-yjy/src/ml/complain_user_it/predict/model_predict.py", line 215, in mainxdr_df_predict = xdr_predict(xdr_df,model_file)
File &
浏览 3提问于2021-12-03得票数 0
2回答
我刚开始使用pyspark，我刚刚将我的RandomForestRegressor模型保存在一个名为" model“的文件夹中。我有三个文件夹:数据、元数据和treesMetadata。这是我加载模型的代码：import pyspark
from pyspark.sql.types import FloatTypefrom pyspark.m
浏览 0提问于2019-07-15得票数 4
回答已采纳
1回答
我有以下Python测试代码( ALS.train的参数在其他地方定义)： r2 = (3, 1) model= ALS.train(ratings, rank, numIter, lmbda) print predictions.count()这是可行的，因
浏览 4提问于2016-05-22得票数 6
回答已采纳
1回答
Spark MLlib是否支持Python的主成分分析？如果是这样，请给我举个例子。如果没有，如何将Spark与scikit-learn结合起来？
浏览 2提问于2015-08-03得票数 10
回答已采纳
1回答
包含ID列的训练模型
、、、
我正在使用scikit-learn训练一个模型，其中我的数据集中有一个ID列。当我使用测试数据集训练model.But时，我删除了ID列，在进行预测后，我需要将其映射回ID列。做这件事最好的方法是什么？在scikit-learn中构建模型时，我们可以设置一个非预测器列。另外，像TensorFlow，Spark ML这样的其他<e
浏览 1提问于2018-04-18得票数 2
import Pipelinefrom pyspark.ml.feature importVectorIndexerfrom pyspark.sql import SparkSession编辑:我试着通过pyspark.ml
浏览 0提问于2021-01-15得票数 1
我有以下使用pyspark.ml包进行线性回归的代码。：U‘IllegalArgumentException:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是org.apache.spark.ml.linalg.VectorUDTpyspark.ml中有LabeledPoint在pyspark.mllib中的替代品吗？from pyspar
浏览 5提问于2017-02-14得票数 8
回答已采纳
我试图从文件(用逗号分隔的项)中读取数据，并使用FPGrowth算法将这些数据传递给PySpark算法。到目前为止，我的代码如下：from pyspark import SparkContext
rdd = sc.parallelize(data, 2)
from pyspark.ml.fpm import FPGrowt
浏览 4提问于2017-12-11得票数 0
回答已采纳
遵循所提到的git页面上"Python API“部分中提到的代码片段。从pyspark.ml.feature导入VectorAssembler导入os从pyspark_iforest.ml.iforest导入临时文件导入* col_1:integer col_2:integerorg.apache.spark.ml.param.Param必须为java.lang.Double重写jsonEncode。下面是我在执行"model.tr
浏览 16提问于2019-06-27得票数 0
1回答
以前，我将数据规范化，使用VectorAssemble进行转换，并对列进行索引，在运行以下操作时会发生错误：#pipeline = Pipelinepython/pyspark/ml/base.py in fit(self, dataset, params)
130 return self.copy(paramsor a list/tuple of param
浏览 5提问于2020-07-06得票数 0
回答已采纳
我试图调优使用隐式数据的ALS矩阵因式分解模型的参数。为此，我尝试使用pyspark.ml.tuning.CrossValidator在参数网格中运行并选择最佳模型。据我所知，我还应该能够为二进制分类评估器使用AUC度量，因为隐式矩阵因式分解的预测是用于预测二进制矩阵c_ui的置信矩阵p_ui 。我的思想之一是，在将隐式数据矩阵r_ui转换为二进制矩阵p_ui和置信矩阵c_ui之后，我不确定在评估阶段将预测的
浏览 4提问于2016-05-16得票数 15
1回答
我正在使用PCA进行数据分析，我用PySpark编写了这段代码，它工作得很好，但它只适用于从一个csv文件中读取的数据，该文件包含精确的5列"a“、"b”、"c“、"d”、"e"，我想编写一个通用代码来计算从csv文件读取的列数的PCA。########################from pyspark.<em
浏览 1提问于2017-03-08得票数 0
回答已采纳
1回答
创建距中心的列
、、
我正在使用Kmeans运行pyspark算法。输入是长度为20的Vector (文本verbatims上的word2vec输出)。然后转换我的输入dataframe，得到与每个verbatim相关联的预测中心。from pyspark.ml.clustering import KMeans
kmeans = KMeans().setK(n_centres).setSeed(1)中添加一个列，其中包含功能
浏览 1提问于2018-03-14得票数 1
回答已采纳
我在使用保存的MultiLayerPerceptronClassifier模型运行预测时遇到了问题。# reading the saved modelfrom pyspark.ml import PipelineModelfrom pyspark.ml import Pipeline
saved_model = "/home/user&#
浏览 1提问于2021-09-02得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
