腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
为什么shell无法加载带有
RDD
导入的类的文件?
、
当我试图加载类时,我会得到以下编译错误: 这是我正在处理的代码
浏览 2
提问于2017-06-09
得票数 3
回答已采纳
1
回答
PySpark加入混叠共分区RDDs
、
、
、
from pyspark import SparkContext
rdd
2 =
rdd
1.mapValues(lambda x: x)
rdd
1.keys().glom().collect() >&
浏览 2
提问于2016-07-24
得票数 4
回答已采纳
1
回答
需要
RDD
的实例,但返回了类“pyspark.
rdd
.PipelinedRDD”
、
、
、
df,spark):return result.
rdd
.sample(False, 0.1).map(lambda row : (row.temperature))任何帮助都将是
浏览 0
提问于2017-06-04
得票数 5
回答已采纳
2
回答
cartesianproduct产品的Spark性能调优
、
下面是我的问题, ((substring($"
rdd
2.FIRST_NAME",0,3) === $&quo
浏览 2
提问于2018-06-20
得票数 0
2
回答
在pyspark中创建
rdd
的
rdd
、
、
、
可以在pyspark中创建
rdd
的
rdd
吗?我试过了
rdd
2=sc.parallelize([4,5,6])并得到错误
浏览 22
提问于2019-11-17
得票数 0
回答已采纳
1
回答
根据火花中的第二个
rdd
值减去
rdd
的线
、
我有两个RDDs名称:releventResults和ranoms2:DestIP:173.194.116.42,1:SrIP:172.20.16.121,3:DestPort:80,=>4:Time_Range:11:00-12:00 = 1.02:DestIP:216.92.251.5,4:Time_Range:10:00-11:00,3:DestPor
浏览 3
提问于2015-11-17
得票数 0
回答已采纳
3
回答
如何在PySpark中检查空
RDD
、
、
、
val count =
rdd
.count() var fileName= outputDirectory + "/tweets_" + time.milliseconds.toString outputRDD.saveAsTex
浏览 1
提问于2017-01-07
得票数 3
1
回答
查看PySpark脚本的胶合作业输出的最佳方法
、
、
、
(
RDD
.scala:324)at org.apache.spark.
rdd
.MapPartitionsRDD.compute(
RDD
.scala:324)at org.apache.spark.
rdd
.Un
浏览 22
提问于2020-09-23
得票数 0
回答已采纳
1
回答
持久化后的火花-
RDD
过程两次
我做了一个
RDD
,并从原点创建了另一个
RDD
,如下所示。val
RDD
2 =
RDD
1.map({ ....但不知何故,"
RDD
1“被印在"
RDD</e
浏览 0
提问于2018-11-22
得票数 1
回答已采纳
2
回答
根据位于另一个
RDD
中的键替换
RDD
中的值
、
、
如何根据另一个
RDD
中的键分配/映射
RDD
中的值val
rdd
1 = sc.parallelize(Seq((1, "A"), (2, "B"))) val
rdd
2 = sc.parallelize
浏览 2
提问于2016-01-18
得票数 1
回答已采纳
1
回答
如何删除元素如何从一个
rdd
中删除元素并在pyspark中创建新的
rdd
?
、
、
、
、
我创建了2个
Rdd
,如下所示
rdd
1=
rdd
.groupByKey().map(lambda x :list(x[1]))[['A
浏览 0
提问于2018-12-04
得票数 0
1
回答
星火作业失败,但有org.apache.spark.shuffle.FetchFailedException异常
、
、
at org.apache.spark.
rdd
.
RDD
.iterator(
RDD
.scala:337) at org.apache.spark.
rdd
.MapPartitionsRDD.computeat org.apache.spark.
浏览 19
提问于2022-05-11
得票数 0
1
回答
同一类型(字符串)的Apache火花类型不匹配
、
、
、
type mismatch; required: org.apache.spark.
rdd
.org.apache.spark.
rdd
.org.apache.spark.
rdd
.or
浏览 3
提问于2015-03-31
得票数 2
2
回答
cache()是改变了
RDD
的状态还是创建了一个新的状态?
、
、
、
在
RDD
上调用cache()时,
RDD
的状态是否发生了变化(并且返回的
RDD
只是this,以便于使用),还是创建了一个新的
RDD
--包装了现有的
RDD
?
浏览 4
提问于2016-03-24
得票数 4
回答已采纳
2
回答
如何将两个
rdd
合并为spark中的on (Python)
、
、
例如,有两个
rdd
2,如"
rdd
1 = [1,2,3,4],
rdd
2= [5,6,7,8]“。以及如何将两者结合起来:[1,2,5,6,3,4,7,8]。有什么功能可以解决这个问题吗?
浏览 2
提问于2017-10-27
得票数 1
回答已采纳
3
回答
如何在火花放电中将DataFrame转换回正常的
RDD
?
、
、
我需要用方法,该方法在DataFrame上不可用。那么如何从DataFrame数据创建一个
RDD
呢?从@dpangmao的答案中更新:方法是.
rdd
。@property """ Return the content of the :class:`DataFrame` as an :class:`
浏览 5
提问于2015-03-12
得票数 63
回答已采纳
1
回答
过载星火
RDD
函数zipPartitions中的错误
def zipPartitions[B, C, D, V](
rdd
2:
RDD
[B],
rdd
3:
RDD
[C],
rdd
4:
RDD
[D])(f: (Iterator[T], Iterator[[V] def zipPartitions[B, C, D, V](
rdd
2:
RDD
[B],
rdd
3:
RDD
[C],
rdd
4:
RDD
[D], preservesPar
浏览 5
提问于2014-05-14
得票数 0
回答已采纳
3
回答
理解火花的缓存
=
rdd
1.filter(...)
rdd
2.saveAsTextFile("...")基本上是重复的,不是吗?因为一旦计算了
rdd
2和
rdd
3,我就不再需要
rdd
1
浏览 2
提问于2015-04-27
得票数 47
回答已采纳
1
回答
过滤出pyspark
RDD
中的非数字值
、
、
、
、
我有一个
RDD
,它看起来像这样: [["3331/587","Metro","1235","1000"],["5987/215"我使用以下代码来收集"City“值:
rdd
.filter(lambda row: row[1] == 'City').ma
浏览 23
提问于2020-08-23
得票数 0
回答已采纳
1
回答
在RDDs上点燃左外接和重复键
、
、
、
我有两个
RDD
(键,值)。我的第二个
RDD
比我的第一个
RDD
短。我想将我的第一个
RDD
的每个值与第二个
RDD
中的相应值关联起来,这是关于键的。val (
rdd
1:
RDD
[(key,A)])val (
rdd
3:
RDD
[R]) 对于
rdd
1.count(),>>
rdd
2.count()和
r
浏览 2
提问于2021-03-09
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据技术,Spark之RDD,RDD的两种算子介绍
Spark地基之RDD
Spark 核心编程RDD 行动算子
Spark SQL DataFrame与RDD交互
Spark 核心编程RDD简介与核心属性
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券