腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
RDD
take
()
方法
在内部
是
如何
工作
的
?
、
、
我知道
take
(n)将返回
RDD
的
n个元素,但是Spark
如何
决定从哪个分区调用这些元素,以及应该选择哪些元素?它
在内部
维护Driver上
的
索引吗?
浏览 14
提问于2019-03-22
得票数 0
3
回答
检查数据中
的
记录数是否大于零而不使用计数火花
我想检查我创建
的
数据文件是否
是
空
的
,并且至少有1条记录。除了使用 count
方法
和检查计数值是否大于0之外,还有其他更好
的
方法
吗?
浏览 3
提问于2017-05-17
得票数 1
回答已采纳
1
回答
为什么在将
RDD
更改为DataFrame时不会出现可序列化
的
异常?
、
、
我使用结构化流,下面的代码
工作
batchDF.
rdd
.mapPartitions(...)但是下面的代码抛出一个异常,object not serializableto batchDF我
的
Jedis代码应该在驱动程序上执行,永远不要到达执行器。context: TaskContext,
浏览 1
提问于2020-03-03
得票数 0
回答已采纳
1
回答
星星之火
RDD
isEmpty
方法
在
RDD
不为空时抛出NullPointerException。
、
、
、
这让我大吃一惊(不幸
的
是
,当我向某人解释时)。
rdd
== null //false在您问之前,我同意并行化null
是
有争议
的
,但这只是我们在流应用程序中遇到
的
一个条件。我在某个地方读到“isEmpty”
在内部
调用<em
浏览 2
提问于2017-09-18
得票数 1
回答已采纳
3
回答
Spark (1)和first()
的
区别
、
、
我以前认为
rdd
.
take
(1)和
rdd
.first()完全一样。然而,在我
的
同事告诉我之后,我开始怀疑这是否真的
是
真的。 first()
的</
浏览 1
提问于2016-05-28
得票数 14
回答已采纳
4
回答
仅在
RDD
的
子集上执行操作
我只想在
RDD
的
一个子集上执行一些转换(以使REPL中
的
实验更快)。
RDD
有
take
(num: Int): Array[T]
方法
,我想我需要类似的
方法
,但是返回RDDT
浏览 0
提问于2014-05-11
得票数 11
回答已采纳
1
回答
如何
批量收集
RDD
中
的
元素
、
、
我有一个pyspark
RDD
,它有大约200万个元素。我不能一次收集它们,因为它会导致OutOfMemoryError异常。
如何
批量采集?这是一个潜在
的
解决方案,但我怀疑还有更好
的
方法
:收集一个批处理(使用
take
、https://spark.apache.org/docs/3.1.2/api/python/reference/api/pyspark.
RDD
.
take<
浏览 29
提问于2021-10-12
得票数 0
回答已采纳
2
回答
Spark:测试
RDD
是否为空
的
有效
方法
、
、
RDD
上没有isEmpty
方法
,那么测试
RDD
是否为空
的
最有效
方法
是什么?
浏览 0
提问于2015-02-11
得票数 27
回答已采纳
2
回答
参加
rdd
并保持
rdd
、
我找不到一种
方法
只在
rdd
上占一部分。
take
看起来很有希望,但它返回
的
是
list而不是
rdd
。当然,我可以将其转换为
rdd
,但这看起来既浪费又丑陋。my_
rdd
= sc.textFile("my_file.csv")我有更好
的
方法
吗?
浏览 5
提问于2016-03-03
得票数 5
回答已采纳
2
回答
按部门ID统计员工数量,找出员工ID最多
的
前两个部门
、
、
、
首次使用Spark
的
用户。我为两个csv文件(employees和dept)创建了RDDs。我想提供一个按部门ID统计员工数量
的
输出,并确定员工ID最多
的
前两个部门名称。"deptno“
是
我
的
主键,但我不知道
如何
将这两个文件连接在一起。employee文件包含以下列: empno、ename、job、mgr、hiredate、sal、comm、deptno dept文件包含以下列: deptno、dname、location 以下
是
我到目前为止所做
的<
浏览 15
提问于2019-10-04
得票数 0
回答已采纳
2
回答
吡火花-检索
rdd
的
第一个元素- top(1)与第一个()
、
、
我必须从我
的
rdd
中检索满足条件1
的
元素:((-3, 4), (2, 1)),((2, 1), (-3,((-3, 4), (4, 2)),((-3, 4), (6, 3))][((2,1),(6,3),(4,2))]当top(n)排序然后检索时,我将不会使用它获得我想要
的
浏览 0
提问于2020-01-16
得票数 0
回答已采纳
1
回答
无法使用
take
()操作打印
RDD
内容
、
、
当我尝试使用first()操作打印
RDD
内容时,我能够使用foreach循环打印它。但是对于
take
()操作,它不会打印出内容。使用first()111599使用
take
():[Ljava.lang.String;@9fc9f91[Ljava.lang.String;@108a46d6 我期
浏览 35
提问于2018-09-06
得票数 0
回答已采纳
2
回答
Scala:在特性中缺少
方法
计数
的
参数
、
在一行代码中,我试图获取
RDD
的
前10行并计数记录(显然应该是10行)。TraversableOnce;以下
是
代码: logfiles.filter(line => line.contains("jpg")).
take
(10).count
浏览 2
提问于2017-10-06
得票数 0
回答已采纳
1
回答
关于Spark
的
RDD
的
take
和takeOrdered
方法
、
我对Spark
的
rdd
.
take
(n)和
rdd
.takeOrdered(n)
的
工作
原理有点困惑。有人能给我解释一下这两种
方法
吗?谢谢。
浏览 0
提问于2015-11-06
得票数 6
1
回答
如何
知道(广播)联接查询中火花作业和阶段
的
数量?
、
我用
的
是
火花2.1.2。 +- LocalTableScan [Id#24, name#25] 我有两个关于查询执行
的
问题为什么两个
工作
的
舞台视图
是
相同
的
?下面
是
作业id 1
的
舞台视图截图,它与作业id 0完
浏览 0
提问于2018-03-20
得票数 12
回答已采纳
2
回答
将Scala
方法
转换为火花
、
下面的Scala
方法
返回Array
的
k个近邻: distances.filter(v => v._1._1.equals(label) || v._1._2.equals(label)).sortBy(_._2).
take
我可以尝试将Array转换为
RDD
,但是
RDD
类型不支持函数.sortBy(_._2).<
浏览 2
提问于2014-05-21
得票数 0
回答已采纳
2
回答
从火花中
的
另一个
RDD
返回最大N值
的
RDD
、
、
、
我试图过滤一个元组
的
RDD
,根据键值返回最大
的
N个元组。我需要返回格式
是
一个
RDD
。所以
RDD
:对最大
的
3个键进行过滤后,应该返回
RDD
: [(6,'p'), (12,'e'),(49,'y
浏览 1
提问于2015-12-15
得票数 3
回答已采纳
1
回答
将
RDD
[String]转换为
RDD
[Array[String]]
给定一个
RDD
{String],其中行上
的
每个元素都用|字符分隔,例如:将其转换为
RDD
[Array[String]
的
正确
方法
是什么,以便将上面的内容表示为Array("aaa", "bbb", "ccc", "ddd")val rddAsArray =
rdd
.map { x => Array(x.split("""\|&q
浏览 5
提问于2016-03-27
得票数 0
回答已采纳
2
回答
Scala:无法将
RDD
中
的
值赋给ArrayBuffer
、
下面
是
我
的
代码: var cluster = 0;当我执行dataList.size时,我得到
的
输出
是
0,但是数据中有超过4k
的
记录。现在,当我尝试使用
t
浏览 3
提问于2017-05-21
得票数 1
3
回答
如何
从JavaPairRDD中选择顶级N元素?-Apache火花
、
我已经获得了一个密钥/值对,并将其排序为一个新
的
JavaPairRDD我该怎么做?有没有比使用flatMap更简单
的
方法
,因为它似乎
是
不必要
的
额外
工作
? 谢谢!
浏览 2
提问于2015-03-04
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
车载雷达是如何工作的?
卡诺分析是如何工作的?
区块链是如何工作的?
Python CGI编程是如何工作的?
区块链技术是如何工作的?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券