1回答
我是Apache Spark的新手，所以如果这是一个新手问题，请原谅。为了加快处理速度，我正在尝试在读取数据集之前定义一个特定的架构。有一些数据类型我不确定如何定义(ArrayType和StructType)。 下面是我正在使用的模式的屏幕截图： ? StructField("value", DoubleType(), True)
]) 我的问题是:如何说明属性列下的名称和
浏览 17提问于2021-05-04得票数 0
回答已采纳
我正在使用Scala中的Spark，希望将现有的数据集(dataframe)转换为包含嵌套结构的新表。columnB columnC columnD columnE 示例输出: columnA columnB columnC columnF:{columnD，columnE} (创建一个同时包含D和E作为嵌套结构的新列) 转换columnA-C很简单，因为我可以使用.withColumn()，但是我不确定如何指定新的嵌套列结构并从同一个表中填充数据。我认为定义嵌套<em
浏览 25提问于2021-08-12得票数 0
1回答
在文件1中，JSON元素"image“是嵌套的。正确地推断出了结果模式：df1.printSchema
|-- id:(nullable = true) |-- type: string (nullable = true)
some文件包含一些嵌套元素和
浏览 0提问于2017-10-29得票数 1
回答已采纳
对于传入的数据集，我有一个预定义的架构(基本架构)。但在某些情况下，dataset可能具有略微不同的架构，其中包含一些附加列或嵌套列字段。在处理数据时，我希望使用组合模式(基本模式+推断模式)，以便考虑所有列/字段。我现在遵循下面的方法。我想知道是否有更好/更快的方法来实现这一点。predefinedSchema = (StructType) DataType.fromJson(predefinedSchemaJsonString);
Dataset<Row> dfWith
浏览 14提问于2021-09-07得票数 1
2回答
火花版本: 3.0.1import spark.implicits._root但是，如果自定义类型是嵌套在product类型(即case class)中，则会提供一个错误：
java.lang.UnsupportedOpe
浏览 3提问于2020-10-03得票数 0
回答已采纳
1回答
我使用样例json创建模式，稍后在代码中使用from_json函数将json转换为数据帧以进行进一步处理。我面临的问题是嵌套模式和多值。示例模式将标记(比如a)定义为结构。val df0= spark.read.format("json").load("contactSchema0.json")val df1 = spark.readStream.format：
"co
浏览 6提问于2019-06-11得票数 0
1回答
我正在尝试使用spark.read.json("<path>")读取一个json文件，但是默认情况下，列顺序是按sorted排序的。
有很多嵌套列/新列经常被添加到模式中，我无法为所有列定义模式。在不手动定义模式的情况下，我们可以在读取preserve column order时使用spark.read.json吗？""{"zip":"a","
浏览 6提问于2021-04-28得票数 0
在EMR集群上使用Apache Spark，我读入了xml数据，推断出了模式，并将其以parquet格式存储在s3上。从本质上讲，它现在是一个嵌套表。因为我正在处理多个“外部表”，所以手动干扰模式是不可行的。我还没有找到任何现有的工具来完成从星火模式格式
浏览 16提问于2019-08-02得票数 0
回答已采纳
1回答
我们嵌套了json消息，但无法解析相同的消息： {"Name"："Rohit"，"Salary"："29292"，"EmpID"：12，"Projects"：{"ProjectID"："9191"，"ProjectName"："abc"，"Duration"："79"}，{"ProjectID"："9192&q
浏览 19提问于2021-04-06得票数 1
回答已采纳
3回答
我想在Spark中迭代一个模式。使用df.schema提供了嵌套StructType和StructFields的列表。当我尝试访问嵌套的IN: temp.getClass
IN: temp
浏览 1提问于2018-07-17得票数 7
回答已采纳
我想使用提供的Avro模式编写Avro格式的DataFrame，而不是Spark的自动生成模式。我如何告诉Spark在写入时使用我的自定义模式？
浏览 7提问于2018-02-21得票数 2
回答已采纳
我知道我可以使用自定义方言在db和spark之间进行正确的映射，但是当我使用spark的jdbc.write选项时，如何创建具有特定字段数据类型和长度的自定义表模式？当我从spark加载一个表时，我想要对我的表模式进行粒度控制。
浏览 1提问于2017-12-04得票数 4
回答已采纳
1回答
在Databricks/Spark/Python (SparkVersion2.4.0中，使用pyspark)，我从MongoDB获得一个包含可以嵌套的不同对象数组的字段的集合。我想把它转换成某种我可以选择的模式/结构。 "field5" : "55",
浏览 0提问于2019-01-24得票数 1
Romania 15United States Ireland 344如果我读了它，Sparkscala> val data = spark.read.csv("./data/flight-data/csv/2015-summary.csv")
data: org.apache.spark.sql.DataFrame = [_c0: string, _c1: st
浏览 0提问于2019-02-03得票数 0
2回答
背景:我想从模式中移除一些深嵌套的字段。我尝试了以下方法，但是模式没有改变：reduced_ds.limit(1).collect() // Array(myCaseClass(bar!))
浏览 7提问于2022-10-21得票数 0
回答已采纳
1回答
我在Java中使用Spark 1.5.2，并且我试图读入一个包含来自JSON文件的数据的parquet文件。我很难弄清楚应该如何读取一个最初包含嵌套JSON的字段，但现在它是一个WrappedArray<WrappedArray<String>>。我已经浏览了Spark页面以读取拼图文件，但似乎没有一个示例与我正在寻找的相匹配。我做了一些搜索，找到了与scala相似但特定于scala的东西。true),true))
我猜我需要为该字段创建一个模式，但是我不知道如何
浏览 1提问于2016-01-30得票数 3
下面是我的代码 val query = """ """
df.createOrReplaceTempView("tbl") 在mysql表tbl中的字段b_data是varchar类型的，并且具有如下所示的JSON (只是一个示例)，它可以被嵌套，我希望能够使用这个JSON，而不必使用固定的模
浏览 110提问于2020-04-29得票数 0
在以下模式中，我有一个名为“住户”的数据框架： |-- country_code: string (nullable = true)where exists(individuals, id -> exists(id.ids, dev -> dev.year_released > 2018))val v = spark.sql该计划显示，Spark必须读取嵌套结构的所
浏览 20提问于2020-07-20得票数 3
我正在尝试使用Spark来处理具有可变结构(嵌套JSON)的JSON数据。输入的JSON数据可能非常大，每行超过1000个键，一批可能超过20 GB。整个批次是从30个数据源生成的，每个JSON的“key2”都可以用来标识源，并且每个源的结构都是预定义的。
处理这些数据的最佳方法是什么？我尝试过使用如下所示的from_json，但它只适用于固定模式，要使用它，首先需要根据每个源对数据进行分组，然后应用该模式。由于数据量很大，我的首选选择是只扫描数据一次，然后根据预定义的模式</e
浏览 1提问于2018-03-04得票数 14
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
