1回答
我正在使用scala创建一个RDD，但是当我尝试查看RDD的内容时，我得到的结果如下我想看看RDD的内容，怎么才能看到呢
浏览 11提问于2016-08-24得票数 1
回答已采纳
2回答
火花将工作数据集缓存到内存中，然后以内存速度执行计算。有没有一种方法可以控制工作集在RAM中驻留多长时间？
浏览 2提问于2014-11-11得票数 8
回答已采纳
10回答
我正在尝试将集合的内容打印到Spark控制台。我有一个类型：我使用下面的命令：但这是打印出来的：
如何将RDD写入控制台
浏览 490提问于2014-04-20得票数 130
回答已采纳
在/core/src/main/scala/org/apache/spark/SparkContext.scala，的spark文件中，有以下内容 (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) ={
new PairRDDFunctio
浏览 1提问于2014-05-12得票数 0
回答已采纳
我要把一个RDD保存到磁盘上。但我无法判断它是否会在整个工作中重复使用。一般来说，通过查看工作历史，你如何判断rdd是被重新计算了还是简单地脱水了？
浏览 7提问于2016-06-09得票数 1
0回答
我可以使用以下命令查看elasticsearch数据库中第一个RDD的内容：>>>(u'1', {u'name': u'john'})name=kvs.map(lambda x: x[1])>>>>robert
我打算用"robert“
浏览 3提问于2016-12-30得票数 1
4回答
我需要在这些DataFrame上执行RDD操作。是否可以执行map、flatMap等RDD操作。下面是我的示例代码：这是我的dataframe，我需要将这个dataframe转换成RDD，并在这个新的RDD上操作一些RDD下面是我如何将dataframe转换为RDD的代码
RDD<Row> java = df.select("C
浏览 2提问于2016-12-14得票数 0
我使用numpy的arange创建了一个数组，并希望使用spark.sparkContext.parallelize将该数组转换为RDD。np_array = [np.arange(0,300)]times_twelve = rdd_numbers.map(lambda rdd_numbers: rdd_numbers * 12)
我现在想做一个称为times_twelve的随机数描述，它基本上
浏览 3提问于2017-04-30得票数 0
在使用RDD时，我按键对RDD中的项进行了分组。如果我似乎无法按键访问RDD中的项，那么拥有密钥又有什么意义呢？在我将filter降到单个项目的那一刻，我仍然有一个RDD，因此我必须在RDD上做一个foreach才能打印出来：你可能会问我为什么要这么做！之所以会出现这种情况，是因为为了自己的测试目的，我只是想“看看”
浏览 2提问于2015-03-20得票数 1
回答已采纳
1回答
假设我有2个rdd :第一个rdd由字符串组成，这些字符串是html请求：serverIP:80 clientIP1 - - [10/Jun/2016:10:47:37 +0200] "第二个rdd是简单的整数：0.025...我想按行连接字符串行，以便获得如下第三个rdd：rdd3 :
serverIP:80 clientIP1 - - [10/Jun/2016:10:47:
浏览 5提问于2016-07-11得票数 0
回答已采纳
1回答
._2)
println("--- New RDD with " + rdd.partitions.length + " partitionsand " + rdd.count() + " flight records"); val flightRows = FlightParser.parserow
浏览 1提问于2016-04-12得票数 2
回答已采纳
1回答
我试图计算每个RDD(可以视为文件)中使用for循环的列表‘name’中给出的单词实例数。我希望将每个文件中一个单词的计数存储在一个名称相同的单词列表中。rdds = [hp1RDD,hp2RDD,hp3RDD,hp4RDD<
浏览 5提问于2015-11-05得票数 0
回答已采纳
我正在查看spark的示例HypothesisTestingKolmogorovSmirnovTestExample.scala，但似乎无法弄清楚CDF方面。{SparkConf, SparkContext}import org.apache.spark.rdd.RDDval data: RDD[Double] = sc.parallelize(Seq(0.1, 0.15, 0.2, 0.3, 0.25)) &
浏览 17提问于2017-01-13得票数 2
我有一个这样的方法： def save[T](index: String, data: RDD[T]) = { [A <: Product](rdd: org.apache.spark.rdd.RDD[A])(implicit evidence$1:
浏览 19提问于2020-04-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
