我有一个元组列表，(String，String，Int，Double)，我想把它们转换成Spark RDD。
一般来说，如何将Scala Iterable(a1，a2，a3，...，an)转换为Spark RDD？
浏览 0提问于2015-10-22得票数 10
回答已采纳
我知道这可能是一个愚蠢的问题。SparkSessiondf = SparkSession.createDataFrame(rows)df.show()
但是我得到了一个错误
浏览 1提问于2018-03-12得票数 2
回答已采纳
我有两个RDDs，我想用pyspark把它们组合在一起。first_rdd = ['Mike', 'Kate', 'Robert']
result_rdd = [('Mike', 23), ('Kate
浏览 43提问于2020-12-10得票数 0
在Spark中，为什么CountbyKey()是作为动作而不是转换来实现的。我认为它的功能类似于Reducebykey或combinebykey。有没有什么特别的原因让它实现为Action..
浏览 1提问于2019-04-12得票数 2
我对scala/spark很陌生，在编写spark程序时对函数式编程不太确定。res17: org.apache.spark.rdd.RDD[(Int, List[(Int, Int)])]
我想从双数中计算出一个新的三元组的列表，但是三元组的列表应该有所有它的子集存在于我们正在计算的原始列表中因此，我们不能简单地平平对列表，然后生成所有的三元组。在上面
浏览 1提问于2017-02-25得票数 1
回答已采纳
1回答
我正在了解火花，并想把一个列表(大约1000个条目)转换为一个火花df。 at org.apache.spark.rdd.RDD.at org.apache.spark.rdd.RDD.iterator(RDD
浏览 7提问于2022-01-24得票数 0
回答已采纳
如何将包含np.array (或list)的Spark转换为星火DataFrame？我尝试了一个列表，并得到了一个相当接近的错误：print(rdd.collect'>
在“学习火花书(O‘’reilly)”中，它是编写的ArrayType =>列表、元组或数组Python类型。为什么我需
浏览 3提问于2022-04-03得票数 1
回答已采纳
1回答
我一直难以将rdd中两个浮动的键元组组合成一个列表，将这些键元组组合成一个列表，并对每个键进行计数。我在用rdd。combineByKey会这么做的。如果我将值传递给combineByKey之外的三个lambda，就会得到我所期望的结果，一个键和一个元组列表以及计数。但是，当我使用combineByKey进行此操作时，我会得到<
浏览 2提问于2016-05-08得票数 0
回答已采纳
1回答
如何将下列所有列表连接起来：要获得一个集合：
val values: org.apache.spark.rdd.RDD[Record
浏览 3提问于2015-02-17得票数 3
回答已采纳
我对Spark和Scala还不熟悉，所以我有一个非常基本的问题。我有Spark1.5.2和Scala2.10.4。我创建了一个配置，允许我在使用spark-shell命令启动--config时直接从ES中以JSON的形式获取一些数据；我还导入了elasticsearch-hadoop的--jar。一旦我启动了星火，我做了以下几件事：val rdd = sc.esRDD("my-index&qu
浏览 3提问于2017-05-11得票数 0
回答已采纳
1回答
带字典的PySpark约简键
、、、、
为什么Spark强制从元组列表中构建RDD，以便在进行还原键转换的情况下？) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apache.spark.<em
浏览 0提问于2018-01-18得票数 1
1回答
按键组合配对
、、
使用pyspark，我有网格坐标(x,y)和位于每个网格广场内的各个点，所以我有：我也有一个rdd点被移动到那个网格中，所以：我想把它们合并，这样我就有了：
merged_rdd = ((x,y), [point1, point2,
浏览 2提问于2022-07-28得票数 0
我有几个Excel文件，我需要加载和预处理，然后才能将它们加载到Spark中。我有需要处理的这些文件的列表。(file_path) file_list_rdd = file_list_rdd.union(current_file_rdd)
然后，我有了一些映射函数，它将file_list_rdd从一组(路径，字节)元组转换为(path，Pandas DataFrame)<e
浏览 3提问于2017-04-17得票数 0
回答已采纳
2回答
我有一个表示x，y点的元组列表。我还有一个这些点的值列表。我如何将它们组合成一个列表列表(即每个点x，y，val对应一个条目)或一个元组列表？
谢谢
浏览 0提问于2010-02-18得票数 3
回答已采纳
2回答
我有一个如下形式的RDD：这是RDD的第一个元素：我想将该列表分成几列，因为它是用逗号分隔的，因此预期输出将是：有什么帮助吗？解决方案：
我最终解决了这个问题:我所做的是用mkstring("，")将数组组合成<em
浏览 0提问于2016-10-03得票数 1
2回答
的格式各有两个RDD。
RDD2-> {string1,HashMap[{long c,object}]RDD->{string1,HashMap[{l
浏览 3提问于2015-03-26得票数 1
回答已采纳
我在RDD上遇到了glom()方法。根据文件
glom是在分区间对数据进行洗牌，还是只将分区数据作为数组返回？
浏览 4提问于2016-03-02得票数 15
回答已采纳
我正在尝试用java编写一个spark作业，它将打开与Impala的jdbc连接，并允许我加载表和执行其他操作。
我该怎么做呢？任何例子都会有很大的帮助。谢谢!
浏览 1提问于2016-02-02得票数 0
我有一个包含structure - [('100', 'class 1'), ('110', 'class 2'), ('1030', 'class 2'),.....]学生数据的列表。这个结构是我使用这个命令得到的：现在，我想将学生分数添加到上面列表的每个元素中，这样输出就变成：学生成绩显示在名为score的列
浏览 1提问于2015-08-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
