在spark中使用scala的collect_list()和array()有什么不同？ 我看到到处都是用法，但用例并不清楚，我无法确定其中的区别。
浏览 15提问于2019-04-24得票数 2
回答已采纳
我有一个大约有80列的DataFrame，我需要将其中的12列放到一个集合中，无论是Array还是List都行。我做了一点谷歌，发现了这个：问题是，这适用于一列。如果我做了df.select(col1,col2,col3...).rdd.map.collect()，那么它就给了我这样的东西：Array[[col1,col2,col3]]。提前谢谢。
浏览 4提问于2017-07-24得票数 0
回答已采纳
import scala.collection._import org.apache.spark.sql.functions.udf$.require(Predef.scala:212)
浏览 0提问于2018-05-20得票数 1
这是我的密码： .concat_ws(",",org.apache.spark.sql.functions.collect_list
浏览 3提问于2017-11-27得票数 2
回答已采纳
2回答
我对Spark和Scala相当陌生，我只能以一种过程的方式构建我的想法，在A上遍历每一行并散列，并以这种方式构建一个完整的行，但我不相信它是一个干净的解决方案，也无法使用spark有效地表达它。
浏览 0提问于2018-03-27得票数 0
回答已采纳
当我将数组传递给function时，Spark 2会自动将scala数组转换为WrappedArray。然而，在Spark 1.6中，数组被转换为类似'a，b，c‘的字符串。,$"b",$"c") .groupBy($"a&
浏览 38提问于2020-10-05得票数 0
回答已采纳
我使用DataFrame来处理spark中的数据。我在这个数据帧中有一个数组列。在我要做的所有转换的最后，我得到了一个包含一个数组列和一行的dataframe。为了应用groupby、map和reduce，我想把这个数组作为一个列表，但我做不到。("WordsArray"))
.withColumn("FlattenWords", flatten($"collect_list(WordsArray)")).
浏览 33提问于2021-04-11得票数 0
如何在spark-sql中将多行聚合到有限大小的数组中。 我尝试过使用聚合函数，但无法帮助指定数组的大小。
浏览 29提问于2021-09-19得票数 2
"abc","234"我试图将数据格式化为JSON映射：我创建了一个数据框架，然后使用_list/spark对名称和收集数字进行分组，但我无法获得字符串中的引号，我也不知道如何将其格式化为JSON映射：
scala> val df = spark.r
浏览 5提问于2022-09-13得票数 1
我有两个Spark DataFrames： 包含以下列的cities DataFrame： cityLondon
var resultDf = spark.sql
浏览 11提问于2019-01-21得票数 1
回答已采纳
我正在使用Spark1.6并尝试使用
线程"main“org.apache.spark.sql.AnalysisException中的异常:未定义函数collect_list；at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry$$anonfun$2.apply(
浏览 2提问于2016-02-10得票数 5
回答已采纳
:377) at org.apache.spark.shuffle.sort.UnsafeShuffleWriter.write(UnsafeShuffleWriter.java:166)
浏览 0提问于2018-05-02得票数 2
我在Spark中有以下DataFrame (我正在使用Scala)：我是Scala的新手，找不到合适的匿名map函数。提前感谢您的帮助
浏览 1提问于2019-12-09得票数 1
回答已采纳
在Spark 1.6.0 / Scala中，有没有机会获得collect_list("colC")或collect_set("colC").over(Window.partitionBy("colA")
浏览 2提问于2017-07-17得票数 14
我有一个看起来像这样的DataFrame：|Id | value || 1622| 139685|| 1622| 127955|| 1622| 727761|| 3837|1504923
浏览 1提问于2016-05-25得票数 13
回答已采纳
例如：+---+-----+----+-----++---+-----+----+-----+combList: List[String] = List(event, date, place)
scala> val v = w.groupBy("iid").
浏览 2提问于2018-02-13得票数 9
我想创建一个数组数组。sqlContext.createDataFrame(x)
df.registerTempTable("df")sqlContext.sql("SELECT collect_list(age) as age from df&qu
浏览 2提问于2016-03-22得票数 5
回答已采纳
1回答
我有两个表雇员(Id，姓名)，EmployeeSalary (EmployeeId，指定，工资)。一名员工可以在公司中持有多个职务，并具有多个薪资。我如何得到EmployeeId，名字，工资的总和，所有指定的塞克。 employeeDS.join(employeeSalaryDS, employeeDS.col("Id").groupBy(employeeDS.col("Id")).
浏览 1提问于2018-10-05得票数 0
回答已采纳
在Spark中，根据映射表(String -> Integer)，有没有办法将字符串数组转换为相应的整数数组？例如:在Spark中，有5亿个数组， Array String 1 : ['TOM','White','Black']
Array String 2 : ['BCD','TTTT','Black']
浏览 25提问于2019-09-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
