我在Scala/Spark中使用箭头操作符创建了一个键值对： val picardsShip = "Picard" -> "Enterprise-D" 我使用println(picardsShip._2)提取了值，正如预期的那样，它返回值Enterprise-D。但是，在本例中，我希望提取密钥以获取Picard。当我在我正在使用的</e
浏览 63提问于2020-09-29得票数 0
1回答
我有一个，其中一个字段是maptype .我可以获取映射类型字段的任何键的数据，但是当我为特定键的特定值应用筛选器时，我无法获取数据.
val line = List (("Sanjay", Map("one" -> 1, "two" -> 2)), ("Taru", Map("one" -> 10, "two" -
浏览 3提问于2015-09-15得票数 4
回答已采纳
1回答
我对Spark和Scala非常陌生，我想测试一个值是否是RDD中的一个键。我掌握的数据如下：
RDD :关键的->统计数据
我想要做的是过滤数据中的所有键值对，其中的键位于stat中。我的总体想法是将RDD的
浏览 1提问于2015-01-12得票数 1
回答已采纳
我正在尝试使用scala语言在spark中创建查询，数据在cassandra数据库中以表格的形式提供。在Cassandra表中，我有两个键，1)主键2)分区键CREATE TABLE A.B ( id2 text,当我对"value“进
浏览 0提问于2017-10-25得票数 2
我想把下面的RDD转换成键值对，每个键有两个值。第一列应该是键，第二列和第三列应该是值。如何使用scala中的Case类执行转换？scala> input[Market,Market,Markets]
[A
浏览 0提问于2018-05-29得票数 0
第二次尝试，正如最初提出的错误例子。从医生那里：
preservesPartitioning指示输入函数是否保留分区器，除非这是一对RDD，并且输入函数不修改键，否则它应该是false。这里是一个人为的琐碎例子，不管我是否将true或false传递给mapPartitions，对于新的RDD，每个分区的数据分区仍然是相同的，即使我改变了K，V的K值，那么，意义是什么呢？一定是我错过了一些基本的东西。import o
浏览 0提问于2020-01-02得票数 2
回答已采纳
1回答
我尝试从HDFS中的文件中聚合数据。我需要添加一些细节，从这些数据的价值在hbase中的一个特定表。:80)我知道在map我的问题是:如何使用hbase表中包含的值来
浏览 11提问于2017-02-02得票数 2
回答已采纳
在Spark中，为什么CountbyKey()是作为动作而不是转换来实现的。我认为它的功能类似于Reducebykey或combinebykey。有没有什么特别的原因让它实现为Action..
浏览 1提问于2019-04-12得票数 2
我现在正在笔记本电脑上使用Spark和Scala。我的代码是：我在哪里写键，值<e
浏览 4提问于2016-02-17得票数 5
回答已采纳
1回答
TL:DR或者，是否有一种方法可以将星火数据帧行转换为一组文本键/值对( Scala会理解)？全面问题：不过，我能够将该文件读入Spark</
浏览 4提问于2020-12-29得票数 1
回答已采纳
我有一个包含键、值对数组的RDD。我想得到一个带key的元素(比如4)。scala> val a = sc.parallelize(List("dog","tiger","lion","cat","spider","eagle"),2)
a: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[0] a
浏览 15提问于2017-01-28得票数 1
回答已采纳
我在cassandra表中有数百万条记录，希望获得所有分区键列的值。我得到了java.lang.OutOfMemoryError: Java堆空间错误。请参阅我的示例代码。, endDate)我的目标是获取给定日期范围内的所有行。因此，我应用了如下逻辑:首先从表中获取所有分区键，然后使用分区键<
浏览 0提问于2016-02-12得票数 0
我是Spark的新手，这个问题困扰了我一段时间。
我的输入文件是逗号分隔的文件，并创建了RDD，它的关键字是Store，值是促销列表。一个键(my case产品)可以有多个值。我已经使用GroupByKey对RDD进行了分组。它解决了我的问题，把所有的促销都归入同一个关键字下。到目前为止，一切都很好。现在，我希望遍历每个键的值列表，以找出我的<e
浏览 2提问于2016-04-12得票数 1
我们需要高效地转换大的键/值对列表，如下所示： (new Key("1"), new Val("one")), (new Key("2"), new Val("deux")),
(new Key("2"), new Val("zwei&qu
浏览 6提问于2015-06-20得票数 5
我通过读取文件创建了一个包含( key，value)对的RDD。我想读取指定键的值并将其分配给一个字符串。我尝试使用get获取值，但它不起作用。a member of org.apache.spark.rdd.RDD[(String, String)]然后，我想知道是否应该先映射()，然后再获
浏览 16提问于2019-07-20得票数 0
我运行的火花流24/7和使用updateStateByKey是可以运行火花流24/7？如果是的，updateStateByKey不会变大，该如何处理呢？当我们运行24/7的时候，我们是否必须定期重置/删除updateStateByKey，如果不是的话，如何以及何时重置它？还是星火以分布式的方式处理？如何动态递增内存/存储。当updateStateByKey增长时，我会得到以下错误
Exception while deleting l
浏览 3提问于2014-10-26得票数 3
回答已采纳
UpdateStateByKey很有用，但是如果我想对所有现有的键(不仅仅是这个RDD中的键)执行一个操作，该怎么办？
例如，单词计数--是否有办法将到目前为止所见的所有单词减少1？我正在考虑在每个节点上保留一个静态类并使用计数信息，并发出一个广播命令来执行特定的操作，但是找不到广播到所有节点的功能。
浏览 2提问于2015-07-03得票数 1
回答已采纳
换句话说，键在1到10000之间，但是值列表从100 K到900 k不等。
at org.apache.spark.rdd.RDD.itera
浏览 5提问于2016-01-26得票数 6
我的应用程序需要使用spark计算一系列值，我正在尝试让它成为元数据驱动。[ key : "myKeyName", }]
我有一个类似于上面的json，它将与"app.jar“一起提交给火花在spark作业的main()中，我希望加载这个json并执行spark中的
浏览 0提问于2018-03-15得票数 0
这是我的初始RDD输出 scala> results
scala.collection.Map[String,Long] = Map(4.5 -> 1534824, 0.5 -> 239125, 3.02200156, 2.0 -> 1430997, 1.5 -> 279252, 4.0 -> 5561926, 1.0 -> 680732, 2.5 -> 883398, 5.0 -> 2898660) 根据值对RDD进行排序，它会给出预期的</
浏览 147提问于2017-04-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
