age":30,"name":"Andy"},在Json中，我有一个DataFrame| 19| Justin| 54326|我想转换这个DataFrame
浏览 0提问于2017-08-23得票数 0
回答已采纳
1回答
，应用DataFrame的每个行的自定义函数来满足需求：
dataframe的每一行都有两个或更多的元素，它们具有我在问题中发布的结构。首先，我希望将行列表中的每一行元素分开，因为我需要对它们进行比较。其中一个是我想应用另一个映射的DataFrame[ListRow]，因此我可以合并每个列表的元素(为此，我编写了一个递归函数，检查列表中的顺序，并用旧元素的值填充新元素的空字段)。由于模式相当复杂(至少我不知道如何生成一个StructType，而<em
浏览 2提问于2017-09-26得票数 1
回答已采纳
1回答
我正在尝试使用spark_apply将R函数应用于Spark DataFrame。在我最初的问题中，我有一个列表列表，我已经将其转换为R数据帧，我将能够将其转换为Spark DataFrame。但是在我的R函数中，我需要使用一个列表列表，而我不知道如何从数据帧中取回我的初始列表列表。我已经找到了如何将dataFrame<
浏览 10提问于2019-07-05得票数 2
回答已采纳
我有一个dataframe，我对它应用了一个函数。此函数返回一个numpy array，代码如下：dataframe = dataframe.withColumn('vector', create_vector_udf('text'))
dmoz_spark_df.select('lang','url','v
浏览 4提问于2017-07-07得票数 10
0.0, 0.0]), DenseVector([0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0])]>>> spark.createDataFrame(frequencyDenseVectors, ['rawfeatures']).collect()Traceback_createFromRDD(data.map(prepare), schema, samplingR
浏览 3提问于2016-12-26得票数 11
回答已采纳
我正在使用Spark2.1.0。对于下面的代码，它读取文本文件并将内容转换为DataFrame，然后输入到Word2Vector模型中：它抛出一个异常
java.lang.RuntimeException:编码时出错: java.util.Arrays$ArrayList不是数组模式的有效外部类型不同的是，我正在将Ja
浏览 3提问于2017-04-23得票数 3
目前，我正在将Cassandrarow RDD转换为dataframe：}
正如您所看到的，我首先将cassandraRow rdd转换为string，然后映射到我想要的格式。
浏览 5提问于2017-05-30得票数 0
回答已采纳
2回答
如何在将Mongodb集合映射到Spark dataframe时避免冲突的数据类型。我们不能将冲突的数据类型转换为字符串。并在执行select操作时出错。我使用的是Mongodb-Spark-connector v2.10:1.0.0
浏览 4提问于2016-07-21得票数 0
因此，如果df2中的值是df1中的“类似”键，我将尝试从df1中删除行。我不确定这是否可行，或者是否需要首先将df1更改为列表？
浏览 4提问于2018-08-02得票数 1
回答已采纳
1回答
我正在使用带有elasticsearch的apache spark 1.5数据帧，我试图从包含id列表(数组)的列中过滤id。例如，elasticsearch列的映射如下所示： "people":{ "artist中，我尝试这样做：val dataFrame = sqlContext.read
浏览 0提问于2016-02-25得票数 2
回答已采纳
另一个单元表(tbl_b)在id到new_id之间有相应的映射。这个表很大，不能加载到内存中。1 | 'aiks'...我打算创建一个新的hive表，使其具有与tbl_a相同的结构，但将id数组转换为new_id数组：A | ['aiks','fsijo','fsdix','sssxs','有
浏览 4提问于2017-06-01得票数 1
回答已采纳
我准备使用spark dataframe (不是pandas)的内置CSV打印工具。我已经构建了一个IndexedRowMatrix。因此，它中有稀疏数组列。到密集数组的转换是由x.vector.toArray()映射调用执行的(如下所示)。我似乎想不出，如何将密集的numpy数组元素放入Spark DataFrame的单独列中。(我不是在介绍熊猫。)问题是RDD tuple有2列，但我需要在DataFrame中有7
浏览 0提问于2018-06-12得票数 0
1回答
摧毁星火DataFrame
、、、、
Spark版本的1.5和我正试图将具有名称值组合的输入数据name转换为一个新的数据name，其中所有的名称都被转换为列，并将值转换为行。I/P DataFrame：1 Country US 2 State NY 4 State MH 5 State NJ
5
浏览 10提问于2016-03-02得票数 5
目前，我有一个工作实现，将性别从0、1、2、3(整数)转换为“男性”、“女性”、“跨”等(字符串)。尽管下面的方法确实有效，但将带有这些映射的独立数组添加到DataFrame中、将其连接到主表/DataFrame、然后删除、重命名等等，似乎效率很低。由于这段代码将处理数据的TBs，是否有一种更少重复和更有效的方法来完成这一任务。谢谢您提前提供帮助！, "Prefer not to answer")}
private
浏览 1提问于2017-09-11得票数 2
回答已采纳
1回答
将数据流中的数据写入拼接
、、、
': 'test'}, {'name': 'more'}, {'name': 'other'}])我现在要做的是将元组的第二部分写到元组的第一部分所标识的位置在其他地方，我使用以下命令将每个字典列表转换为DataFrame：
dataframe
浏览 1提问于2015-07-28得票数 4
( col1中的col1和col2 ordered.If x索引2的值以及col2中的值索引也是2)|id |col1 |col2 |
|1 |["x
浏览 3提问于2019-11-25得票数 0
当配置单元表有像映射或数组这样的值时，如果你在配置单元客户端选择它，它们会显示为JSON，例如：{"a":1,"b":1}或[1,2,2]。在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。当我使用Spark的HiveContext时，我想使用与Hive客户端相同的格式。
我该怎么做呢？
浏览 1提问于2018-07-20得票数 0
2回答
按照的描述，我正在从Mongo加载一个bson转储到Spark中。它是有效的，但我得到的是：它基本上应该是包含所有String字段的JSON。我的其余代码需要一个DataFrame对象来操作数据。但是，当然，toDF在该RDD上失败了。如何将其转换为所有字段均为String的Spark DataFrame？如果能有类似于spark.read
浏览 1提问于2016-10-04得票数 1
在这里，我想创建一个Dataframe/Dataset。 .read .option(
浏览 2提问于2018-06-06得票数 0
回答已采纳
我是spark的新手，我有一些简单的问题。我想使用prefixspan的方法，但它只支持数据集和数据帧。因此，我将list转换为rdd，然后将其转换为dataframe。为什么列表不能直接转换为dataframe？Row([[1, 2], [3]]), Row([[1], [3, 2], [2]]), Row([[1, 2], [5]]), Row([[6]])]rdd = spark<
浏览 71提问于2021-09-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
