架构StructType中的整数类型()

文章/答案/技术大牛

发布

0回答

apache-spark、dataframe、struct、schema、pyspark

我正在尝试定义一个模式，按照下面的语法将空白列表转换为dataframe：StructField("Table_Flag",StringType只有StringType和DataType可用作数据类型。根据文档，示例中定义了types.py IntegerType。请提个建议。我正在开发spark版本2.0.1

浏览 3提问于2016-12-20得票数 1

1回答

Spark read avro

apache-spark、avro

val df = spark.read.avro(file)尝试手动创建架构，但现在遇到以下问题： .avro(file) com.d

浏览 0提问于2018-06-15得票数 1

1回答

为什么几个数据集在Apache中有一个结构数组

apache-spark、apache-spark-sql

element: struct (containsNull = true)我想知道为什么，因为最终我想要的是能够表示一个

浏览 3提问于2020-01-16得票数 0

回答已采纳

3回答

将特定格式的JSON文件“Structs”解析为

java、json、apache-spark、apache-spark-sql

浏览 0提问于2018-06-25得票数 1

回答已采纳

3回答

将模式数据类型JSON混合到PySpark DataFrame

python、json、pyspark

我需要将JSON的列表转换为pySpark DataFrames。JSON都有相同的架构。问题是JSON中dicts的值条目有不同的数据类型。例如:字段complex是一个Dicts数组，Dict有四个键，但类型不同(整数、字符串、浮点数和嵌套Dict)。参见下面的示例JSON。PySpark决定complex-field的架构应为：StructType("complex

浏览 23提问于2022-03-28得票数 0

回答已采纳

1回答

在scala中读取spark.structType

scala、struct、apache-spark

all_index")val firstStruct=rows.first.get(4)//now it failslog.println(fs.apply("name")) 我

浏览 1提问于2016-06-16得票数 0

1回答

火花读取json数字为字符串

apache-spark、apache-spark-sql、spark-java

我有一个json文件，我正在将它加载到dataframe中问题是，在我的json文件中，我有一个值是数字的属性，但是当我对dataframe进行printSchema()时，它将该属性显示为StringType"field":7569, --> reading it

浏览 11提问于2022-11-14得票数 0

回答已采纳

2回答

是否可以使用StructField创建一个元组类型的PySpark？

pyspark

我需要为Spark中的dataframe创建一个架构。创建常规StructFields (如StringType、IntegerType )没有问题。但是，我想为元组创建一个StructField。我尝试了以下几点： StructField("dst_ip", StringType()), 是否可以为元组<em

浏览 0提问于2018-04-20得票数 2

回答已采纳

1回答

添加数组类型的结构类型添加方法

pyspark、struct

structtype有一个方法调用add。我看到了可以用的例子schema.add('testing',string)如何使用add()在架构中添加Structype和数组类型？

浏览 2提问于2022-03-19得票数 0

2回答

如何更改StructField中StructType中列的数据类型？

scala、apache-spark、apache-spark-sql

我试图更改我正在从RDBMS数据库读取的dataframe i中列的数据类型。为此，我以下面的方式获得了dataframe的架构：为了查看dataframe的架构，我使用了以下语句： Output: StructType(StructField(je_header_id,LongType,true), StructF

浏览 0提问于2019-01-29得票数 2

回答已采纳

1回答

TypeError: StructType无法接受类型架构中的对象

pyspark

我的rdd是由一个整数列表的并行化完成的，而我在转换为数据帧时遇到了问题。它返回"TypeError: StructType无法接受类型中的对象60651“。在这里你可以看得更清楚： # Create a schema for the dataframe schema = StructType([StructField('zipcd', IntegerTypepyspark_env\lib\site-pa

浏览 107提问于2021-06-30得票数 1

回答已采纳

3回答

修改Spark dataframe中的结构列

apache-spark、pyspark、struct、apache-spark-sql、schema

dataframe，其中包含一个列"student“，如下所示： "name" : "kaleem",}structType(List( rollno: String))"student" : { "student_d

浏览 3提问于2020-05-27得票数 2

回答已采纳

1回答

Spark的from_json返回空值

json、apache-spark-sql

我将一个拼花文件加载到一个火花数据文件中，如下所示：message.printSchema() |-- publishTime: string (nullable = true) |-- data: string (nullable

浏览 0提问于2018-08-21得票数 5

1回答

在一列中存储不同的PySpark模式

python、apache-spark、pyspark、apache-spark-sql

我尝试从PySpark中的REST中提取不同的表。我跟踪了这个。我想要将不同的模式存储在一列中的中。from pyspark.sql import Row A = [{"TableName": "Table1", "Schema": StructTypeStructField("a", StringType(

浏览 16提问于2022-08-23得票数 0

回答已采纳

1回答

Spark:如何定义嵌套模式？

dataframe、apache-spark、pyspark

我是Apache Spark的新手，所以如果这是一个新手问题，请原谅。为了加快处理速度，我正在尝试在读取数据集之前定义一个特定的架构。有一些数据类型我不确定如何定义(ArrayType和StructType)。下面是我正在使用的模式的屏幕截图： ? 这是我到目前为止所知道的： jsonSchema = StructType([StructField("attribution", ArrayType(), T

浏览 17提问于2021-05-04得票数 0

回答已采纳

1回答