我正在使用几个StructType创建一个StructFields --名称和数据类型似乎工作得很好，但是不管在每个StructField中将nullable设置为False，对于每个StructField，最终得到的模式报告nullable都是True。from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StringType, FloatType,SparkSession.buil
浏览 0提问于2017-06-16得票数 1
我有一个带有“周”&“年”列的dataframe，需要计算如下所示的月份：+----+----++----+----+| 50|2012|
浏览 2提问于2016-05-30得票数 1
回答已采纳
我需要为Spark中的dataframe创建一个架构。创建常规StructFields (如StringType、IntegerType )没有问题。但是，我想为元组创建一个StructField。我尝试了以下几点： StructField("dst_ip", StringType()),
是
浏览 0提问于2018-04-20得票数 2
回答已采纳
我正在努力创建一个空的数据在火花(火花)。df = sqlContext.createDataFrame(sc.emptyRDD(), schema)Traceback (most recent call last):File "<stdin>", line 1, in <module>
File "/Users/Me/Desktop/spark
浏览 4提问于2016-01-06得票数 34
回答已采纳
3回答
我想在Spark中迭代一个模式。使用df.schema提供了嵌套StructType和StructFields的列表。当我尝试访问嵌套的StructTypedoes not take parameters
浏览 1提问于2018-07-17得票数 7
回答已采纳
我只是仿效“星火”中的“最终指南”(第五章)： StructField('DEST_COUNTRY_NAME', StringType(), True), StructField('
浏览 4提问于2020-03-16得票数 0
回答已采纳
在AWS Glue中初始化一个完全空的动态框架是可能的吗？我目前的方法是这样的，但似乎很麻烦：from pyspark.sql.types import StructType,StructField, StringType
spark = SparkSession.builder.appName('Sesh').getO
浏览 13提问于2021-06-12得票数 0
我正在将一些代码从Spark1.6迁移到Spark2.1，并努力解决以下问题：import org.apache.spark.sql.types.{LongType, StructField, StructType}
val schema = StructType(Seq(StructField("i", LongType,nullablerows = sparkContext.parallelize(Seq
浏览 4提问于2017-06-02得票数 2
回答已采纳
我是PySpark的新手，所以这可能是一个基本的问题。我正在尝试使用JPMML库将PySpark代码导出到PMML。从同一个页面运行Scala代码时会弹出相同的错误。有人知道这个标签字段指的是什么吗？似乎是隐藏在后台执行的火花代码中的东西。我怀疑这个标签字段是否是Iris数据集的一部分。完整的错误消息：
Traceback (most recent call last): File "/usr&#
浏览 2提问于2017-06-27得票数 1
回答已采纳
1回答
我在读第三方的镶木地板文件。似乎无论文件是如何编写的，parquet总是将文件的模式转换为可空的列。 在读取这些文件时，我希望拒绝在特定列中包含空值的文件。(myPath) 如果在col1中包含NULL，则加载将被拒绝。我可以对空值的列进行筛选或计数，然后引发错误-从性能角度来看，这是很糟糕的，因为我将在工作中获得额外的阶段。它
浏览 29提问于2020-09-25得票数 0
回答已采纳
1回答
在花了很多时间弄清楚为什么我得到以下错误之后在我的rdd中有一个名为rrdRows的行，如下所示：我的dfSchema定义为：
浏览 2提问于2015-11-03得票数 3
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？from pyspark.sql import SparkSession
import os, glob
spark
浏览 1提问于2019-09-06得票数 3
回答已采纳
2回答
用电火花替换结构型柱的空白点
、、、、
我有一个用例，希望用空值替换StructType列中的空值。下面是示例，您可以使用它重新创建场景： StructField(
浏览 3提问于2022-01-31得票数 1
回答已采纳
我有一个行类型的RDD，即RDDRow和avro schema对象.I需要用这个信息创建一个数据帧。
为了创建DataFrame，我需要将avro schema对象转换为StructType。
浏览 5提问于2016-11-24得票数 8
9回答
我想用Scala中指定的模式在DataFrame上创建。我尝试过使用JSON read (我的意思是读取空文件)，但我不认为这是最佳实践。
浏览 3提问于2015-07-17得票数 106
1回答
我有大约500-700 csv文件的日志加载每周。文件名是每周随机生成的。这些文件存储在google云存储上，pyspark在google dataproc上运行，有几个工作节点。我已经创建了一个pyspark文件，它基本上只是迭代文件并按原样加载到bigquery中。我以为我会在bigquery表上看到增量加载，但似乎pyspark会将整个gz输入文件合并到dataframe中，
浏览 22提问于2021-10-10得票数 1
数据帧：但是，我得到了以下错误：----> 1 spark_my_df = sc.createDataFrame(my_df)2 spark_my_df.take(20)
/usr/local/spark
浏览 1提问于2016-11-10得票数 34
所以我想从一个目录中读取csv文件，作为pyspark dataframe，然后将它们附加到单个dataframe中。而不是像我们在熊猫身上做的那样，在pyspark中得到替代方案。例如，在熊猫中，我们这样做： dff=pd.read_csv(f,delimiter=',')
df
浏览 5提问于2017-04-10得票数 11
1回答
我是PySpark的新手。我有一个列名中包含连字符的csv文件。我可以成功地将文件读取到数据帧中。然而，当将df写入orc文件时，我得到一个错误，如下所示-当我通过删除连字符来重命名列时，我可以将数据帧写入但是我需要列名有连字符，因为我想把这个orc附加到列名中有连字符的现有orc上。
有没有人能帮我一下？任何帮助都将非常感谢！
浏览 32提问于2021-02-13得票数 0
2回答
我正在处理来自非常长的嵌套JSON文件的数据。问题是，这些文件的结构并不总是与其他文件的列相同。我希望从包含所有列的空JSON文件中创建一个自定义模式。如果我稍后将JSON文件读入这个预定义的模式中，则不存在的列将被空值填充(至少计划是这样的)。我试过了
schemaFromJson = StructType.fromJson(json.load
浏览 7提问于2021-10-26得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
