1回答
我有一个问题，如果我有两对RDD： RDD1 = RDD[(1,1), (1,2)]
RDD2 = RDD[(1, obj)] // obj is an mutable scala objectRDD1.join(RDD2)操作应该得到：RDD[(1, (1,obj1)), (1, (2,obj2))] 问题是：obj1和obj2引用的是同一个对象吗？我曾
浏览 3提问于2019-11-27得票数 0
2回答
如何更新RDD？
、、
我们正在开发Spark框架，其中我们正在将历史数据移动到RDD集合中。现在有一个用例，其中RDD中的数据子集被更新，我们必须重新计算值。
HistoricalData以RDD的形式出现。到目前为止，我已经能够想到以下
浏览 45提问于2014-12-16得票数 20
当我从本地RDD注册一个表和从DB注册一个表时，我发现两个表之间的连接操作非常慢。我对它背后的机制很好奇。我们是否从远程DB中提取数据并执行本地Spark集群中的所有任务？
或者我们有一个“有趣的”SQL引擎来向DB发送一个优化的查询并等待查询结果<e
浏览 3提问于2021-10-21得票数 0
回答已采纳
2回答
的格式各有两个RDD。
RDD2-> {string1,HashMap[{long c,object}]RDD</
浏览 3提问于2015-03-26得票数 1
回答已采纳
2回答
我正处于使用Sparc设计应用程序的早期阶段(我还不明白这一点)。RDD将包含大量对象，而这些对象又包含对少量(100)大小(0.5MB)对象的引用，这些对象是不可变的。在RDD上映射的操作将调用对象上的成员函数，而对象又调用引用上的成员函数。
原则上这是可能的吗？
浏览 2提问于2014-11-04得票数 0
回答已采纳
sessionIdList的类型为：res19: org.apache.spark.rdd.RDD[String] = MappedRDD[17] at distinct(RDD.scala:261)})
则不会显示任何异常res19
浏览 0提问于2014-05-22得票数 14
回答已采纳
1回答
但是我的用例需要在间隔之间共享数据。我将如何产生以下字数？单词"hadoop“和”火花“与前一个间隔计数的相对计数
因此，UpdateStateByKey不适合这个需求。对于所有其他单词，它应该给出正常的单词计数。
因此，在处理第二间隔数据时
浏览 2提问于2015-05-05得票数 8
回答已采纳
2回答
我有两个rdd2，第一个具有Code: string, Name: string格式，rdd2的格式是Code: string, Year: string, Delay: float。rdd1 = [('a', 'name1'), ('b', 'name2')]
rdd2 = [('a', '2000', 1.25), ('a', '200
浏览 5提问于2021-06-01得票数 0
回答已采纳
一个RDD在5-1000万个条目之间，另一个RDD在5亿到7.5亿个条目之间。在某种程度上，我必须使用公共密钥连接这两个rdd。val rddA = someData.rdd.map { x => (x.key, x); } // 10-millionvar joinRDD = rddA.join(rddB);
当spark决
浏览 4提问于2015-07-13得票数 11
回答已采纳
1回答
当我执行一个变换时或
dataframe1.join(dataframe2, dataframe1.one == dataframe2.one)第一个PairRDD或DataFrame中的每个元素与第二个元素中的每个元素相比，还是更有效？根据我对星火仓库工作原理的理解，答案是前者。但我被引导相信，有某种火花的魔力，使查找更快。
浏览 1提问于2016-03-03得票数 2
回答已采纳
RDD是：
它是一个不可变的分布式对象集合。RDD中的每个数据集被划分为逻辑分区，这些逻辑分区可以在集群的不同节点上计算。从形式上讲，RDD是一个只读的、分区的记录集合.RDDs可以通过对稳定存储上的数据或其他RDD的确定性操作来创建。RDD是一个可以并行操作的容错元素集合。我不是在寻找一个
浏览 3提问于2017-08-15得票数 0
回答已采纳
2回答
= sc.cql3Cassandra[SCALACLASS_1](cas1) var rddResult1 = rdd1.persist(persistLevel)
class B val cas2= CasBuilder.cql3.withColumnFamily("cassandra_keyspace", "cassandra_coulmn_family 2") var rdd2 =sc1.cql3Cassandra[SCALACLASS_2](cas2) var rddResult2 = <em
浏览 4提问于2014-06-12得票数 1
回答已采纳
我是Spark/Scala的新手。Scala中的Spark RDD可以是var而不是val吗？我正在尝试编写一个for循环来在每次迭代中更新RDD。如果我将它定义为val，那么它将是不可变的，所以我想知道是否使用var RDD来代替。
浏览 3提问于2016-03-11得票数 0
1回答
我即将进入并学习scala，就像我在最初的步骤中一样，出现了一个需求，并且需要知道如何加入两个领域，比如一个关系数据库。目前我：
接下来我需要做什么？
浏览 2提问于2015-09-19得票数 0
回答已采纳
2回答
转换基于现有的RDD创建新的RDD。基本上，RDDs是不可变的，而Spark中的所有转换都是惰性的。RDDs中的数据在执行操作之前不会被处理，但是如果不处理数据，如何创建新的RDDs？例如，在filter操作中，如何在不实际将RDD加载到内存并进行处理的情况下创建新的RDD？
浏览 2提问于2016-09-03得票数 4
回答已采纳
我想从另一个RDD中减去一个RDD。我查看了文档，发现subtract可以做到这一点。实际上，当我测试subtract时，最终的RDD仍然是相同的，并且值没有被删除！ val vertexRDD: org.apache.spark.rdd.RDD[(VertexId, Array[Int])] val clus
浏览 3提问于2015-06-14得票数 4
回答已采纳
我的课程说明有以下几句：“RDD支持两种类型的操作:转换(从现有的数据集创建新数据集)和操作(在数据集上运行计算后将值返回给驱动程序)。”但我认为这是误导性的，因为转换reduceByKey是在本地对工作人员执行的，然后也是在驱动程序上执行的(尽管在执行操作之前不会发生更改)。如果我错了，请你纠正我好吗？
浏览 2提问于2018-08-26得票数 3
回答已采纳
1回答
我对RDD在星火中的范围感到困惑。# there is an rdd called "otherRdd" outside the fun
浏览 3提问于2016-07-10得票数 5
1回答
我试图理解当前，RDD是如何工作的。例如，我希望根据某些RDD对象中的上下文来计算行数。A', 'B']).count()
这段代码的逻辑部分对我来说很清楚--我在DF中对列名执行groupBy操作。在RDD中，我没有列名，只是类似的行，可以是元组或行对象.如何计算相似的元组并将其作为整数添加到唯一的行中？我执行映射操作</e
浏览 1提问于2016-03-28得票数 0
回答已采纳
1回答
我的问题如下。我已经有了一个包含数据的pairRDD。现在，我需要对它应用一个map转换，这样我就可以得到一个具有新值的新RDD，该值依赖于map函数内部的一些内部转换，如下所示。some other code here that process auxfinal and returns a
//new tuple to RESULT(rdd或者spark context会意识到这一点，并为此创造新的
浏览 0提问于2018-09-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
