1回答
我正在编写一个要应用于向量(spark.ml.linalg.Vector)类型的Spark数据帧列的UDAF。我依赖于spark.ml.linalg包，因此我不必在数据帧和RDD之间来回切换。在UDAF中，我必须为输入、缓冲区和输出模式指定数据类型：def中使用Vecto
浏览 1提问于2016-08-17得票数 8
回答已采纳
1回答
我正在尝试使用org.apache.spark.ml.regression.LinearRegression来拟合我的数据。因此，我已经将原始的RDD转换为dataframe，并尝试将其提供给linearRegression模型。val spark: SparkSession = SparkSession.builder.master("local").getOrCreate
val parsedData = dataRDD.mapval schema = List(
浏览 2提问于2020-09-29得票数 1
回答已采纳
1回答
VectorUDT使用
、、、
我必须得到数据类型，并做一个案例匹配，并将它转换成某种所需的格式。但是org.apache.spark.ml.linalg.VectorUDT的用法表明VectorUDT是private。另外，我特别需要使用org.apache.spark.ml.linalg.VectorUDT，而不是org.apache.spark.mllib.linalg.VectorUDT。
浏览 8提问于2017-08-22得票数 2
我正在使用星星团2.0，我想将向量从org.apache.spark.mllib.linalg.VectorUDT转换为org.apache.spark.ml.linalg.VectorUDT。# Import LinearRegression classlr = LinearRegression
浏览 5提问于2016-12-13得票数 6
1回答
spark版本为2.2.0，scala版本为2.11。当我使用ml时，会发生以下错误：“列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是org.apache.spark.ml.linalg.VectorUDT这是我的密码：
import org.apache.spark.ml.classific
浏览 0提问于2018-04-09得票数 1
1回答
我是星火(使用PySpark)的新手。我尝试从运行决策树教程。‘：U’IllegalArgumentException:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7
from pyspark.ml
浏览 7提问于2016-10-30得票数 5
回答已采纳
在2.0.0版本中使用pySpark ML对于一个线性回归的简单示例，我在新的ML库中得到一个错误。sqlContext.createDataFrame(Lp,["label","features"])from pyspark.ml.regressiontrainingData)IllegalArgumentExcept
浏览 1提问于2016-08-11得票数 8
1回答
如何将DTO的列表转换为Spark输入数据集格式public class MachineLearningDTO implements Serializable {在执行代码之后，我将得到：
java.lang.IllegalArgumentException:需求失败:列特性必须是org.apache.spark.ml.linalg.VectorUDT如果用代码将
浏览 5提问于2017-06-13得票数 0
回答已采纳
我有以下使用pyspark.ml包进行线性回归的代码。但是，当模型适合时，我得到了最后一行的错误消息：
org.apache.spark.mllib.linalg.VectorUDT@f71b0bce.：U‘IllegalArgumentException:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是org.apache.spark.
浏览 5提问于2017-02-14得票数 8
回答已采纳
1回答
我需要将RDD转换为单列o.a.s.ml.linalg.Vector DataFrame，以便使用ML算法，特别是这种情况下的K-方法。{Vectors, VectorUDT}
.add("features", new VectorUDT())import org.apache.spark.ml.linalg{Vectors, VectorUDT</
浏览 0提问于2016-09-02得票数 2
回答已采纳
1回答
我试图访问似乎被锁在模型对象返回的向量中的值。我见过一些关于旧的/新的向量类型的帖子，但这并没有帮助我弄清楚我缺少的是什么。
来自CountVectorizer模型的代码设置了这个问题。似乎与org.apache.spark.ml.linalg.VectorUDT有关，但我不确定。我被这封信挡到了有点尴尬的地步。请有人提供一个代码示例，说明如何解析features向量<e
浏览 1提问于2017-06-17得票数 1
回答已采纳
我在尝试构建ML Pipeline时遇到以下错误
pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Column featuresmust be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 but was actually ArrayType(DoubleType,我的features列包含一个浮点值数组。听起来我需要将它们转换成某种类
浏览 2提问于2016-08-19得票数 14
1回答
我使用Spark 2.1编写了以下代码：mycolumns.map(cname => stddevPerColumnName.setOutputCol("stddev") .fit(df)每一列都具有最初从CSV文件推断的DoubleType当我运行代码时，我得到了一个异常：
Column First
浏览 1提问于2017-03-18得票数 1
1回答
我可以使用向量列和DataFrame方法创建一个星火toDF。val dataset = Seq((1.0, org.apache.spark.ml.linalg.Vectors.dense(0.0, 10.0, 0.5))).toDF("id", "userFeatures= StructType(StructField(id,DoubleType,false), StructField(userFeatures,org.apache.spark.ml.linalg.<em
浏览 0提问于2018-05-13得票数 1
我知道错误了
我有一个函数，我将其转换为udf，用于从dataframe转换列的值。有谁想解决这个问题或者暗示吗？
提前谢谢
浏览 0提问于2016-07-07得票数 7
回答已采纳
假设我们有4列A，B，C，D的数据帧。现在我想要的是将B，C，D列值组合为向量，并将它们作为新列添加到现有的数据帧中。因为这不是一个好的解决方案。
因此，我希望一些Java解决方案直接在Dataframe API中完成这项工作。
浏览 0提问于2017-01-13得票数 1
我是星火机器学习的新手(两天前)，我正在执行下面的代码，在Spark中，我试图预测一些值，我在Stackoverflow中看到了这个错误帖子，但是我无法用正确的解决方案修复我的代码，所以再次为同样的问题道歉java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.spark.ml.linalg.Vector
浏览 5提问于2017-06-14得票数 0
回答已采纳
1回答
我有一个看起来像这样的DataFrame：| features| labels|这两列都是字符串类型(StringType())，我想将其放入spark ml randomForest为此，我需要将功能列转换为包含浮点数的向量。有没有人知道怎样做呢？
浏览 4提问于2017-06-02得票数 3
回答已采纳
我在Spark v1.6.0上使用spark.ml.util.SchemaUtils时遇到了问题。:17)package org.apache.spark.ml
import org.apache.spark.ml.util.SchemaUtilsimport
浏览 0提问于2017-03-17得票数 0
1回答
Spark的格式化数据
、、、、
我是新来的火花和火花ML。我用函数KMeansDataGenerator.generateKMeansRDD生成了一些数据，但是在格式化这些数据时失败了，这样ML算法就可以使用这些数据了(这里是K-方法)。错误是
浏览 3提问于2016-12-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
