1回答
我有一个RDD，假设dataRdd有像timestamp，url这样的字段...var fewfieldsRDD= dataRdd.map(r=> ( "timestamp" -> r.timestamp我如何创建一个新的Rdd，字段名映射到另一个Rdd</e
浏览 11提问于2016-09-28得票数 0
回答已采纳
1回答
我正在尝试向RDD.scala类添加新的成员变量，然后在从工作节点(执行器)访问rdd时访问这些变量。在 answer中，其中一位spark贡献者提到，在executors中只能调用RDD的某些方法。所以，我想知道如何向RDD.scala添加新的成员字段，以便可以在executor中访问它？
浏览 1提问于2015-04-27得票数 2
1回答
我有一个相当大的RDD，有400个字段来自Kafka spark流，我需要创建另一个RDD或Map，当我转换流时，从初始RDD流中选择一些字段，并最终编写Elasticsearch。我知道我的字段的字段名称，但不知道字段索引。
如何按字段名称将特定字段投影到新Map？
浏览 3提问于2016-03-25得票数 1
2回答
有一些API可用于为RDD分配名称。val y = sc.parallelize(List(1,2,3))它的优点是什么？
浏览 7提问于2016-03-17得票数 6
回答已采纳
我想修改现有的包装单SSRS报告，添加一个新的字段，以显示TNR号码。当我将该字段包括在dataset中并试图添加表达式并保存它时，它将显示一个错误：
字段不能用于查询参数表达式。
浏览 4提问于2019-04-28得票数 0
/hw2-files-10mb.txt')1)如何通过rdd方式选择用户中的'id_str‘？
我尝试了将rdd映射到返回field_list = 'user.id_str‘的函数，但它不起作用。SYSTEM RIGGED CLASS WAR"}
浏览 0提问于2018-10-03得票数 1
1回答
我有两个需要加入的RDDs其中v_id是唯一的idg_id, p_id, timestamp=t1val rdd2 = RDD[(g_id, inputObject2)]p_id, timestamp=t2, e_idval resuldR
浏览 3提问于2017-03-07得票数 1
我试图将数据从RDD[string]中提取到另一个RDD[string]中17.808 15.749 6.649 -0.548 15.9994ansRDD = rawRDD(._split(" ")(4)).(_.toFloat)
rawRDD包含字符串。但我需要将这两个字段提取
浏览 0提问于2015-12-03得票数 1
回答已采纳
3回答
星火上下文不能序列化吗？
、、、、
下面是相关的代码块：所以基本上，我的问题变成这样：
我有一个叫RDD的events。这是整个HBase表。注意:每个event都由一个performerId执行，这个字段又是event中的一个字段，即event.performerId。
浏览 7提问于2016-09-22得票数 0
回答已采纳
1回答
我需要修改数据以输入CEP系统，我的当前数据如下所示Check = { var = "system-ready",value = 0.0, objectID = "2018", partnumber = 2 }
我必须编写RDD</
浏览 0提问于2018-03-26得票数 2
回答已采纳
是否可以从类外部向类添加成员变量？(或者模仿这种行为？)有办法获得这种功能吗？这样做不对吗？implicit def toExtendedRDDFunctions(rdd: RDD[Map[
浏览 3提问于2015-07-07得票数 0
回答已采纳
我想做以下几点： T.StructField("AA", T.LongType(), True),]), True) T.StructField("B", subschema, True),])
d = [Row(
浏览 1提问于2021-02-03得票数 2
回答已采纳
1回答
我有一个cassandra表，其中包含一个名为snapshot的文本类型字段，其中包含JSON对象：我知道，为了能够使用Spark对该字段进行转换，我需要将该RDD的字段转换为另一个RDD，以便对JSON模式进行转换。编辑:目前，我设法从单个文本字段创建了一个RDD：
val conf = new SparkConf().setAppName("signal-aggrega
浏览 1提问于2015-05-04得票数 8
回答已采纳
1回答
我有两个配对的RDDs，我使用相同的键将它们连接在一起，现在我想添加一个新的计算列，使用来自values部分的2列。新加入的RDD类型是：我想将另一个字段添加到新的RDD中，它显示了两个DateTime字段之间的增量。
浏览 4提问于2015-04-14得票数 1
回答已采纳
3回答
在上面，rdd1将只从磁盘(例如HDFS)加载一次。(当保存rdd2时，我假设)，然后从缓存(假设有足够的内存)保存rdd3 )基本上是重复的，不是吗？因为一旦计算了rdd2和rdd3，我就不再需要rdd1了，我可能应该取消它，对吗？(...)
val rdd3 = rdd1
浏览 2提问于2015-04-27得票数 47
回答已采纳
1回答
我从csv文件中加载了一个RDD。但是，此文件包含无效数据。所以，当我试图输出这个RDD与first的联系时。例外是
当一个记录包含空字符串时，我希望找到删除RDD中所有记录的解决方案。此外，这个RDD包含这么多字段，因此很难逐一处理每个字段。我记得DataFrame有这样的函数，比如。我需要这类函数可以用于RDD。= sc.textFile("&#x
浏览 3提问于2017-10-13得票数 0
回答已采纳
我有两个不同的RDD，每个RDD都有一些公共字段，基于这些字段，我希望从RDD1或RDD2获取不匹配的记录。记录在RDD1中可用，但在RDD2中不可用alex,34,cricket,usa更新：
目前，我正在使用Spark从
浏览 2提问于2015-07-01得票数 0
回答已采纳
我正在尝试读取一个ElasticSearch索引，该索引有数百万个文档，每个文档都有可变数量的字段。我有一个模式，它有1000个字段，每个字段都有自己的名称和类型。现在，当我创建一个RDD低谷ES-Hadoop连接器，然后通过指定模式转换为DataFrame时，它失败了-
我有几个问题。1.是否可能有一个包含可变字段数的RDD/DF？如果不是，除了为每个列中缺少的字段添加空值之外，还有什么其他选择
浏览 0提问于2019-03-11得票数 2
我从Spring java应用程序处理csv文件来触发清理。
获取序列化异常。由: scala.collection.immutable.List$SerializationProxy :无法将org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_实例分配给java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStream
浏览 0提问于2019-05-07得票数 2
1回答
我正在使用星火数据集(星火1.6.1版本)。下面是我的代码.setMaster("local")sc.setLogLevel("ERROR")import sqlContext.implicits._
override def readDataTable(table
浏览 2提问于2016-06-14得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
