我正在尝试将下面的json扁平化成一个单行的数据帧。我已经看过很多文章，展示了如何使用数组将复杂的/嵌套的json对象展平为多行。但是，我不想将json展平为多行。我只想要一个如输出所示的单行数据帧。数组索引将转换为列名。我如何在
浏览 39提问于2021-08-26得票数 1
我在定义json文档的结构时遇到了问题。
现在，我正尝试在streamread上执行相同的模式。StringType,transmitDateTime:StringType>, True), StructField("
浏览 0提问于2019-06-27得票数 0
sql/dataframes，请帮我解决这个问题，或者就如何阅读这个json提供一些好的建议。
浏览 0提问于2016-09-07得票数 9
回答已采纳
我有一个很大的嵌套NDJ (新行分隔的JSON)文件，我需要将其读取到单个spark dataframe中并保存到parquet中。在尝试呈现模式时，我使用以下函数：我还将其切换为val df = spark.read.json(path)，这样
浏览 2提问于2016-12-10得票数 5
给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。root
|-- array(CAST(45 AS STRING), something, C
浏览 30提问于2020-01-21得票数 3
Spark 2.4.5在我的数据帧中，我有一个结构数组，该数组时不时地保存字段的快照。root | |-- element: struct (containsNull = true) | | |-
浏览 2提问于2020-04-01得票数 1
1回答
我有一个单行多列的数据帧。我希望它能将其转换为多行。我在stackoverflow上发现了一个类似的问题。import org.apache.spark.sql.Column
var ColumnsAndValues: Array[Column] = df.columns.
浏览 18提问于2021-03-11得票数 0
回答已采纳
我想以以下格式读取JSON文件： "titlename": "periodic", { "intervalvalue": 25687, } }}
我把我的
浏览 153提问于2017-07-26得票数 3
回答已采纳
我正在用Scala编写一个Spark应用程序，它使用Spark结构化流，接收一些来自Kafka的JSON格式的数据。此应用程序可以同时接收以这种方式格式化的单个或多个JSON对象：
[{"key1":"value1","key2":"value2"},{"key1":"value1","key2"
浏览 0提问于2018-12-16得票数 1
回答已采纳
实际上，我试图在scala中的for循环中将一个dataframe附加到一个空的dataframe中。但是附加的数据文件每次都变成空的。下面是代码import org.apache.spark.sql._
import org.apache.spark.sql.t
浏览 4提问于2020-09-28得票数 0
回答已采纳
1回答
我有一个下面的数据，其中有用户和主管关系。---b | c | 2e | b | 4c | d | 3e | c | 4正如您所看到的，所以间接地'c‘也是'a’的监督者，以此类推。例如，我
浏览 0提问于2017-07-17得票数 0
from_json with alternatives:
(e: org.apache.spark.sql.Column,schema: org.apache.spark.sql.Column,options,schema: org.apache.spark.sql.types.DataType,options: scala.collection.immutable.Map[String,String])org.apache.<e
浏览 7提问于2022-03-03得票数 0
回答已采纳
我需要从提供REST接口的web服务中读取一些JSON数据，以便从我的SPARK SQL代码中查询数据进行分析。我能够读取存储在blob存储中的JSON并使用它。我想知道从REST服务读取数据并像使用任何其他DataFrame一样使用它的最佳方式是什么。顺便说一句，如果有帮助的话，我正在使用SPARK 1.6 of Linux cluster on HD insight。也将感谢，
浏览 4提问于2016-05-09得票数 12
回答已采纳
我正在使用给定here的方法来扁平化Spark SQL中的DataFrame。下面是我的代码： package com.acme.etl.xml
import org.apache.spark.sql.(new org.apache.spark.sql.Column(colName))
case _: LongType =&g
浏览 19提问于2019-04-20得票数 6
回答已采纳
我陷入了将avro数据帧转换为GenericRecord/ByteArray的困境，在那里我在google上冲浪，他们为我提供了相反的解决方案。有人尝试过在scala中将AVRO RDD/Dataframe转换为GenericRecord或ByteArray吗？
我使用这个命令来读取我的avro文件。spark.read.avro("/app/q.a
浏览 4提问于2017-10-16得票数 0
5回答
有没有办法扁平化一个任意嵌套的Spark Dataframe？我看到的大多数工作都是为特定的模式编写的，我希望能够用不同的嵌套类型(例如StructType、ArrayType、MapType等)来通用地扁平化数据帧。,nested_array,...)))希望将其调整为具有如下结构的扁平表：field2
nested_a
浏览 0提问于2015-12-14得票数 14
有没有一种简单的方法可以将给定的Row对象转换为json？ 找到了关于将整个数据帧转换为json输出的内容：Spark Row to JSON 但我只想把one Row转换成json。下面是我想要做的伪代码。 更准确地说，我将json读取为Dataframe中的输入。我正在生成一个新的输出，它主要基于列，但使用一个jso
浏览 150提问于2017-01-12得票数 10
回答已采纳
3回答
我从PySpark开始，在使用嵌套对象创建DataFrames时遇到了问题。我有用户。":399.99,"userid":2} |-- orders: array (nullable = true) |
浏览 0提问于2015-08-10得票数 16
回答已采纳
我在Elasticsearch中有一些数据，我想和Spark一起使用。问题是我的Elasticsearch文档包含数组类型。myArray") .load("Index_Name/Type_Name")
这将返回一个数据帧，其中包含除数组之外的所有数据。我现在想获得一个包含所有<e
浏览 3提问于2018-04-17得票数 0
1回答
我们开发了一个spark流媒体应用程序，它从kafka中获取数据并写入mongoDB。在输入DStream的foreachRDD中创建连接时，我们注意到了性能方面的问题。spark streaming应用程序在插入到mongoDB之前会做一些验证。我们正在探索避免为处理的每一条消息连接到mongoDB的方法，而是希望一次处理一个批处理间隔内的所有消息。以下是spark streaming应用程序<e
浏览 3提问于2017-08-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
