我正在编写一个Java Spark应用程序，并且正在尝试为我的一个UDF编写单元测试。此UDF接受字符串数组并返回Long： protected UDF1<WrappedArray<String>, Long> convertMyArray() {
return (WrappedArray转换为wappedArray。我也尝试过使用基于WrappedArray.scala::Make的make WrappedArray&
浏览 55提问于2021-08-03得票数 0
回答已采纳
如果我做了df.select(col1,col2,col3...).rdd.map.collect()，那么它就给了我这样的东西：Array[[col1,col2,col3]]。我想要的是Array[[col1],[col2],[col3]]。在星火里有什么办法吗？例如，我有一个dataframe：A B C1 2 3我需要将列设置为这种格式：
Array[[1,4],[2,5
浏览 4提问于2017-07-24得票数 0
回答已采纳
当我将数组传递给function时，Spark 2会自动将scala数组转换为WrappedArray。然而，在Spark 1.6中，数组被转换为类似'a，b，c‘的字符串。df_date_agg = df .agg(sum($"d&qu
浏览 38提问于2020-10-05得票数 0
回答已采纳
3回答
示例：输出：调用map.values时，它将输出输出打印为下面的输出MapLike(WrappedArray</em
浏览 0提问于2016-11-23得票数 9
回答已采纳
1回答
其中两个是用户标识符数组，另一个是他访问过的状态。用户标识符列存储为数组的数组(WrappedArray作为它的Spark)，其中每个子数组都将标识符类型作为第一个元素，并将其值作为第二个元素。例如，名为Jon Smith、ID为1045的用户将存储为：WrappedArray(WrappedArray("name","Jon Smith"), WrappedArray(&qu
浏览 3提问于2016-08-27得票数 0
1回答
例如：val rdd2:RDD[((Array[Byte]), (String,Int)] = from dest rdd
我想使用ArrayByte作为键在rdd1和rdd2上执行连接操作，但总是得到resultRdd.countval serRdd1= rdd1.map { case (k,v) => (new SerByteArr(k), v)
浏览 0提问于2016-09-29得票数 1
因此，当我调用UDF时，它会抛出一个异常，即caused by java.lang.classcastexception scala.collection.mutable.wrappedarray$ofref cannot be cast to java.lang.List
但是，如果我像String一样将类型更改为UDF3<String,String,String,Double>，它就不会抱怨inputDs.withColumn("value_new",callUDF("getAggreg
浏览 0提问于2019-03-26得票数 2
回答已采纳
我试图将求和函数应用到星星之火中的数据栏的每个单元格中。每个单元格都包含一个整数列表，我想把它们加起来。但是，我得到的错误是：
import org.apache.spark.sql.functions._
val spark = SparkSession.builder().getOrCreat
浏览 0提问于2018-10-30得票数 0
回答已采纳
如果将其转换为df，就会得到以下结果：aDF.printSchema
|---id: string |---- element: struct |-----_2: doubleroot
|--id
浏览 2提问于2016-10-05得票数 2
回答已采纳
1回答
我正在尝试运行Spark MLlibs word2vec实现。我正在为this.My输入使用scala，模型是strings.It序列数组，如下所示res11: Array[org.apache.spark.sql.Row] =val v=f.map(l=>Seq(l.toString))res31: Array[Seq[String]] = Array(List([Wra
浏览 0提问于2018-01-09得票数 0
回答已采纳
1回答
setBucketLength(2). setInputCol("features").containsNull = true)val euclideanDistance = udf { (v1: Vector, v2:Vector) =>}
.joi
浏览 1提问于2019-07-01得票数 3
回答已采纳
我希望将dataframe中的字符串数组转换为具有不同分隔符的字符串，而逗号也会删除数组括号。我希望将"，“替换为";#”。这是为了避免在其中包含"，“元素，因为它是一个自由格式的文本字段。
浏览 1提问于2019-09-11得票数 0
回答已采纳
我试图将Spark中的一个视图写到一个CSV文件中，但是它失败了，因为视图中有几个类型为WrappedArray的列。我得到的错误信息是
spark.table("my_view").repartition(1).write.mode("overwrite").option(&q
浏览 2提问于2018-03-24得票数 0
$1.hasNext(WholeStageCodegenExec.scala:636)at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:247(RDD.scala:324)
at org
浏览 40提问于2019-11-25得票数 1
回答已采纳
我试图在Dataframe中转换json文件，但我被困在基于数组的字段中。我使用的是Spark 1.6和Java。当我读取嵌套的Json并转换为Dataframe时，我可以读取一些字段，但当我尝试输入特定路径时，会显示错误。$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:65)
at org.apache.spark.sql.catalyst.analysis.CheckAnal
浏览 29提问于2019-09-11得票数 0
1回答
我有了这个数据帧，我想把数据列中的所有数组组合成一个大数组，独立于DataFrame。Scala和DataFrame应用程序接口对我来说仍然很新，但我已经尝试过了：+------++------+|[2, 2]|+------+
当我运行此命令时，我得到以下错误：: <
浏览 1提问于2016-08-23得票数 0
回答已采纳
1回答
我正在编写一个java来处理数组类型列。java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to
浏览 3提问于2020-08-02得票数 0
回答已采纳
我有两个DataFrame(Spark)，如下所示：org.apache.spark.sql.DataFrame= [id: int, features: array<float>]
df2 is Array((1,WrappedArray(4,5,6)),(2,Wrap
浏览 1提问于2017-11-08得票数 0
回答已采纳
2回答
] scala> managerIdDf.show我也尝试过转换为List和Seq，但是它只生成一个错误。与下面一样，当我尝试转换为Seq并重新运行查询时，它会引发一个错误：seqDf: Seq[org.apache.spark.sql.Row] = WrappedArray</e
浏览 0提问于2018-10-02得票数 3
回答已采纳
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。下面是我到目前为止掌握的代码：import2]]|scala.collection.mutable.WrappedArray<
浏览 8提问于2022-05-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
