1回答
我正在尝试使用结构化流媒体从Kafka中读取数据。从kafka收到的数据为json格式。我使用样例json创建模式，稍后在代码中使用from_json函数将json转换为数据帧以进行进一步处理。我面临的问题是嵌套模式和多值。示例模式将标记(比如a)定义为结构。从kafka读取的json数据对于同一标签可以有一个或多个值(两个不同的值)。val df0= spark
浏览 6提问于2019-06-11得票数 0
如何读取Spark中的多个嵌套JSON数据。我有JSON文件
我需要将此模式格式提取为TherapeuticArea行项，如下所示：
trialTherapeuticAreas_ID,trialTherapeuticAreas_name,trialDiseases_id
浏览 3提问于2018-02-07得票数 1
回答已采纳
1回答
我在Java中使用Spark 1.5.2，并且我试图读入一个包含来自JSON文件的数据的parquet文件。我很难弄清楚应该如何读取一个最初包含嵌套JSON的字段，但现在它是一个WrappedArray<WrappedArray<String>>。我已经浏览了Spark页面以读取拼图文件，但似乎没有一个示例与我正在寻找的相匹配。我做了一些搜索，找到了与scala相似但特定于scala的东西。以下是原始JSON的
浏览 1提问于2016-01-30得票数 3
我有以下json文件，我想将其读取到数据帧中，但由于json文件在string.for示例中有双引号，因此我遇到了错误： 数据：{ "Field1":"val"ue 1"，"Field2":"value2
浏览 162提问于2021-09-20得票数 1
回答已采纳
1回答
我有一个嵌套的JSON字典，我需要将其转换为spark dataframe。此JSON字典显示在数据框列中。我一直在尝试使用"from_json“和"get_json_object”来解析dataframe列中存在的字典，但一直无法读取数据。以下是我一直在尝试读取的源数据的最小片段： {"value": "\u0000\u0000\u0000\u00
浏览 36提问于2021-04-01得票数 1
回答已采纳
有一个嵌套的json，结构非常深。文件的格式为json.gz大小3.5GB。一旦这个文件被解压缩，它的大小是100 of。这个json文件的格式是Multiline = True (如果这个条件用于通过spark.read_json读取文件，那么我们只能看到正确的json模式)。此外，该文件只有一条记录，其中有两列Struct类型数组，带有多级嵌套。
我应该如何读取这个文件并提取信息。使用何种集群/技术从该
浏览 8提问于2022-08-09得票数 0
这是我尝试过的， 1> df = spark.read.schema(schema).json('/input/data/path') 这为我提供了所有空行，因为输入文件在数据字段中具有头和主体，而数据字段在结构模式中不存在/path') df2 = spark.read.schema(schema).json('/output/path') 这也为我提供了所有空行，因为结
浏览 22提问于2020-09-13得票数 2
我使用Spark2.3.2并读取一个多行JSON文件。| |-- pid: string (nullable = true)可以看出，JSON文件有一个嵌套的结构，检索特定的嵌套特性(例如季节、速度等)并不容易。我就是这样读取数据的：
SparkSession spark = SparkSession.builder(
浏览 2提问于2018-11-29得票数 2
1回答
在文件1中，JSON元素"image“是嵌套的。": 200, "height": 200}}val df1 = spark.read.json("/xxx/xxxx/xxxx/nested1.json"){"id": "0002", "type"
浏览 0提问于2017-10-29得票数 1
回答已采纳
2回答
Java火花流JSON解析
、、、、
我已经开始学习火花流从火花引擎和非常新的数据分析和火花。我只想创建一个小的IOT应用程序，在其中我想预测未来的数据。我有Tiva硬件，它发送实时传感器JSON数据如下，
[{"t":1478091719000,"sensors":[{"s":"s1","d":"+253.437"},{"s":"s2","d":"+129.750传感器是
浏览 4提问于2016-11-04得票数 3
1回答
我的Json文件看起来像这样 """{ "b":2 }"""
val data2=data.toDF()当我运行这段代码时，我得到了一个名为“_corrupt_record”的表，.
浏览 6提问于2019-11-18得票数 2
sql/dataframes，请帮我解决这个问题，或者就如何阅读这个json提供一些好的建议。
浏览 0提问于2016-09-07得票数 9
回答已采纳
我在Spark中处理JSON数据时遇到了问题。示例jsonString:"{\"sample\":\"value\"}";我正在寻找的目标DF
浏览 0提问于2018-04-16得票数 1
1回答
它读取巨大的JSON文件并创建数据库模式。sc <- spark_connect(master = "local", config = conf, version = '2.2.0') # Connection它创建了以下数据库模式
浏览 0提问于2018-09-10得票数 0
5回答
我正在尝试使用Spark v2.0.0读取Json文件。在简单数据的情况下，代码工作得非常好。在数据有点复杂的情况下，当我打印df.show()时，数据没有以正确的方式显示。SparkSession.builder().master("local").appName("jsonreader").getOrCreate();
Dataset<Row> list = session.read().json("&#
浏览 2提问于2016-10-24得票数 5
2回答
Kinesis将文件的持久性(在本例中为时间序列JSON )管理为一个文件夹层次结构，该层次结构由YYYY/MM/DD/HH (直到24小时编号)...great划分。那么我如何使用Spark2.0来读取这些嵌套的子文件夹，并从所有的叶json文件中创建一个静态的Dataframe呢？数据阅读器有“选项”吗？我的下一个目标是成为一个流DF，火龙将新文件持久化到s3中，使用Spark2.0中的新结构化流自然成为流数据的一部分
浏览 4提问于2016-10-30得票数 8
我正在尝试使用结构化流从Kafka读取数据。从kafka收到的数据采用json格式。我的代码如下所示:在代码中，我使用from_json函数将json转换为dataframe以供进一步处理。",new StructType() . )
val df: DataFrame = spark.readStreamoption(&quo
浏览 3提问于2019-10-15得票数 4
回答已采纳
2回答
在Parquet文件格式中使用嵌套数据类型会带来任何性能上的好处吗？使用嵌套数据类型(如struct )有什么好处？
浏览 0提问于2018-03-25得票数 3
回答已采纳
我有一个嵌套的json文件，我将其读取为Spark DataFrame，并且希望在使用自己的转换时替换某些值。现在，让我们假设它看起来如下所示(遵循this) import org.apache.spark.sql.DataFrameimport org.apache.spark.sql.types._
// Convenience function for turn
浏览 16提问于2020-08-12得票数 0
我有一个在电子病历上运行的Spark作业，从S3 (嵌套的json文件)读取数据集，将其与其他数据集连接，并显式覆盖一些S3文件。
浏览 2提问于2018-04-29得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
