我正在尝试对一个具有大约15.000.000个唯一字符串值的列使用Spark的功能转换器。不管我投入多少资源，Spark总是死在我身上，出现某种类型的内存不足异常。from pyspark.ml.feature import StringIndexer
data = spark.read.parquet("s3:&#
浏览 6提问于2018-08-24得票数 7
回答已采纳
我正在寻找逻辑回归的Spark 1.5 和。据我所知，其中的train方法首先将dataframe转换为RDD[LabeledPoint] as，
override protected def train(dataset: DataFrame):让我感到困惑的是，DataFrame的类型是RDD[Row]，而Row可以有任何valueTypes，例如(1, true, "a string", null)似乎是数据帧的有效行。它似乎只选择了Array[Double]作为
浏览 1提问于2015-09-04得票数 3
我使用Spark的Logistic回归模型来解决100个类别(0-99)的分类问题。我在dataset中的列是"_c0、_c1、_c2、_c3、_c4、_c5“，其中_c5是目标变量，rest是特性。我的代码如下：import org.
浏览 0提问于2017-06-15得票数 0
回答已采纳
2回答
我试图用IntellijIDEA中的线性回归在Spark中建立一个模型。import org.apache
浏览 4提问于2017-12-06得票数 0
我开始编写一个ML模型，用于对一系列文档中的段落进行分类。我写了我的模型，结果看起来很棒！但是，当我尝试提供一个不包含labelCol的CSV (即标记的列，我试图预测的列)时，它抛出一个错误！我试图预测的是"tag“列，那么当我调用model.transform(
浏览 10提问于2019-02-19得票数 0
回答已采纳
5回答
如何使用spark-ml而不是spark-mllib处理分类数据？虽然文档不是很清楚，但似乎分类器(例如RandomForestClassifier、LogisticRegression )有一个featuresCol参数，它指定了DataFrame中的特性列的名称，还有一个labelCol参数，它指定了DataFrame中标记类的列的名称。显然，我希望在我<em
浏览 10提问于2015-08-28得票数 49
我正在尝试提取我使用PySpark训练的随机森林对象的特征重要性。但是，我在文档中没有看到这样做的示例，也不是RandomForestModel的方法。如何在PySpark中从RandomForestModel回归器或分类器中提取特征重要性？
浏览 2提问于2015-03-11得票数 16
是否可以使用QuantileDiscretizer，keeping NaN值，并使用RandomForestClassifier18/03/23 17:38:15 ERRORBad data point: (1.0,[1.0,2.0])这里的想法是创建一个数字列，并使用分位数对其进行离散，将无效数字(NaN)保存在一个特殊的桶中
浏览 1提问于2018-03-23得票数 1
回答已采纳
1回答
我很难找到如何转换我的标记化wiki数据，以便通过NaiveBayes或LogisticRegression对其进行训练。我的目标是使用经过训练的模型与tweet*进行比较。我尝试过用管道处理LR，使用HashingTF和IDF进行NaiveBayes，但是我总是做错误的预测。以下是我尝试过的：
*请注意，我想使用wiki数据中的许多类别作为我的标签.我只看到了二进制分类(这是一个
浏览 3提问于2015-09-19得票数 5
回答已采纳
我正在尝试将吸光度(Abs)值转换为浓度(ng/mL)，基于已建立的线性模型和标准曲线。我计划通过使用predict()函数来实现这一点。我在获取predict()以返回期望的结果时遇到了麻烦。下面是我的代码示例： Abs550nm=c(1.7535,1.5896,1.4285,0.9362)
浏览 0提问于2014-10-01得票数 7
回答已采纳
在使用IBM Watson Machine Learning在IBM Data Science Experience (DSX)中构建二进制分类模型时，如果其中一个特征列具有唯一的分类值，则会出现评估错误我使用的数据集看起来像这样-Ford,1000,8,0Chrysler,3000,10,0
浏览 2提问于2018-01-24得票数 0
我遇到了一个问题，无法在实际环境中加载PipelineModel i测试我的模型，但是无法在生产环境中应用这个模型和代码。line 193, in xdr_predict File "/usr/bch/1.5.0/spark/python/lib/pyspark.z
浏览 3提问于2021-12-03得票数 0
2回答
我有一个特殊的分类问题，我可以使用Python的abs()函数来改进它。当谈到机器学习时，我还是个新手，我想知道我所做的事情是否真的是“允许的”，可以说，是为了改进回归问题。下面这行描述了我的方法：predicted = abs(cross_val_predict(lr, features, labels_postop_IS, cv=10))
我尝试了这个解决方案，因为线性回归
浏览 0提问于2018-02-10得票数 2
我使用GLM (在Spark2.0中使用ML )对有一个分类自变量的数据运行一个模型。我使用StringIndexer和OneHotEncoder将该列转换为虚拟变量，然后使用VectorAssembler将其与连续自变量组合成一列稀疏向量。如果我的列名是continuous和categorical，其中第一列是浮点数列，第二列是表示不同类别(<
浏览 12提问于2016-08-18得票数 9
2回答
假设我有一个带有20k行的csv文件，并将其导入。然后，我运行模型，如随机森林或Logistic回归从sklearn包，它运行良好。但是，当我导入PySpark数据格式并从PySpark包运行相同的模型(随机森林或Logistic回归)时，我会得到一个内存错误，我必须将csv的大小缩小到3-4k行。这一切为什么要发生？这是一个概念性的</
浏览 0提问于2019-02-06得票数 2
回答已采纳
1回答
允许空值的PySpark特征向量
、、、、
我想在包含空值的数据集上使用PySpark中的分类器。空值出现在我创建的功能中，比如成功率。我需要保留空值，因为我通过熊猫展示了保留空值会导致一个更强的模型。因此，我不想将零或中间值归责于零。我知道vectors可以用来创建特征向量，但是当数据包含空值时它就不能工作了。我想知道是否有一种方法可
浏览 1提问于2019-02-20得票数 4
回答已采纳
我想在由三列组成的数据帧上应用随机森林算法，即JournalID、IndexedJournalID(使用Spark的StringIndexer获得)和特征向量。我使用下面的代码从拼图文件中读取数据帧，并在JournalID列上应用字符串索引器将其转换为分类类型。import IndexToString, StringIndexer, VectorIndexer
from pyspark.ml.evaluation import MulticlassCl
浏览 26提问于2018-12-21得票数 4
2回答
我有一个包含多个分类列的数据帧。我正在尝试使用两列之间的内置函数来查找菱形统计数据：但是，它给出了一个错误：
IllegalArgumentException: 'requirement failed: Column
浏览 1提问于2020-04-06得票数 8
回答已采纳
我正在运行中的示例代码，以便使用pyspark和附带的培训总结代码进行逻辑回归：training = spark.read.format("libsvm").load("/user/tim/sample_svm/sample_libsvm_data.txt也许它过度拟合</
浏览 0提问于2018-03-10得票数 0
我试图调优ALS矩阵分解模型的参数。错误如下图所示，参考中的答案，当从ALS模型中的有效数据推断非列车数据的用户时，似乎会发生错误。另外，参考，假
浏览 15提问于2022-06-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
