我的Dataset<Row>中有一列包含WrappedArray<WrappedArray<Double>>。我将此列传递给一个UDF，以提取其中一个值。sparkSession.udf().register(ADD_START_TOTAL, (UDF1<WrappedArray<WrappedArray&
浏览 12提问于2017-08-17得票数 4
回答已采纳
，它接受三个参数并返回一个Double值UDF3<String,List<Long>,List<String>,Double>。因此，当我调用UDF时，它会抛出一个异常，即caused by java.lang.classcastexception scala.collection.mutable.wrappedarray$ofref cannot be cast to java.lang.List
但是，如果我像String
浏览 0提问于2019-03-26得票数 2
回答已采纳
使用Spark 2.2 Java 1.8# +-----+----------------------------------------------+ # |2 |[WrappedArray(2), Wrapp
浏览 0提问于2018-09-10得票数 1
| | |-- value: integer (valueContainsNull = true) UDF1 mode1 = new UDF1<WrappedArray<Map<Double, Integer>>, String>() { public Stringcall(WrappedArray<
浏览 3提问于2020-03-02得票数 1
回答已采纳
1回答
UDF中的火花类
、、
但是，当我在UDF中调用该函数时，它将无法工作。}
/////////df: org.apache.spark.sql.DataFrame = [vec: array<<em
浏览 6提问于2017-08-25得票数 2
回答已采纳
我正在编写一个Java Spark应用程序，并且正在尝试为我的一个UDF编写单元测试。此UDF接受字符串数组并返回Long： protected UDF1<WrappedArray<String>, Long> convertMyArray() { };
} 当我使用Spar
浏览 55提问于2021-08-03得票数 0
回答已采纳
+---++---+|c ||a |我已经尝试了用这个udf来做这个： val myArrays = myMaps.get(myKey)
val res = myArrays.get.toArray.filte
浏览 0提问于2016-11-28得票数 0
回答已采纳
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。下面是我到目前为止掌握的代码：importorg.apache.spark.sq
浏览 8提问于2022-05-06得票数 0
声明：
throws Exception {
当我运行代码时，执行不会超过UDF(BufferedRowIterator.java</e
浏览 40提问于2019-11-25得票数 1
回答已采纳
1回答
sqlContext.udf().register("NAME_SELECTOR", (UDF1<List<String>, String>) brandNames -> {brandNames.sort(Comparator.comparing(String::length));
return brandNames.get我知道在scala中，我需要使用Seq[String]作为输入类型，那么在
浏览 3提问于2020-08-02得票数 0
回答已采纳
我正在使用一些代码从dataframe中的一个项目中获取一个可重复的数组。percentile_approx(ts, array (0.5,0.7)) from df")java.lang.ClassCastException: scala.collection.mut
浏览 1提问于2017-05-08得票数 1
好的, 我正在使用Scala中的spark框架。([3,spain]), WrappedArray([,]), WrappedArray([3,spain])] |+---------------------------struct (contains
浏览 53提问于2019-03-04得票数 0
2回答
这是我的问题，我有一个Map[Array[String],String]的映射，我想把它传递给一个UDF。这是我的UDF： udf((input:Array[String]) => lookupMap.lift我谷歌了一下，显然我不能将非列类型直接传递到一个UDF中。有人能帮忙吗？荣誉。
val srdd = df.rdd.ma
浏览 2提问于2017-07-14得票数 1
回答已采纳
containsNull = true) -- element: double(containsNull = true)
在Java中，如何使用Spark行访问double元素？
浏览 2提问于2016-11-10得票数 2
回答已采纳
1回答
我希望创建一个udf，如果数组包含目标字符串，它可以返回索引。我试图像这样写一个udf：n.indexOf(s) elsequestion.withColumn("index", indexOf("d11")(question("Dates"))).show()org.apache.spar
浏览 0提问于2017-06-20得票数 2
回答已采纳
1回答
我正在将以下函数迁移到sql udf spark函数。anyelement) ASSELECT value SELECT unnest($1) AS value$$我不知道spark SQL输出与在sql中获得的输出相似。-------- (2,322) (4,53
浏览 0提问于2016-03-15得票数 1
1回答
fList: org.apache.spark.sql.DataFrame = [features: array<double>]
+----------------------------------fList: org.apache.spark.sql.DataFrame = [features: vector]
浏览 1提问于2017-11-29得票数 3
回答已采纳
2回答
false),false)每当我调用这个距离函数时： sqrt((xs zip ys).map { case (x,y) => pow(y - x, 2) }.sum)我得到一个类型错误：
df.withColumn("distances" , distance($"col1",$"
浏览 0提问于2018-08-28得票数 4
回答已采纳
我在Array[string]集合中有两个MongoDB列，现在通过Scala UDF函数组合它，如下所示： mutable.WrappedArray[String]): mutable.WrappedArray[String] = }
浏览 0提问于2018-10-03得票数 1
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号