创建PySpark可为空的Lit列

文章/答案/技术大牛

发布

1回答

pyspark、google-bigquery

我有一个pyspark dataframe，我想在其中添加一个新的lit列，如下所示 my_dataframe.select(col("col1"), lit("this is data").alias("col2")) 默认情况下，当我将其写入BigQuery时，lit列类型是string (好)，但模式是必需的(坏)。如何编写一个lit列并让BigQue

浏览 20提问于2020-01-14得票数 1

1回答

如何使最近生成的列可为空？

pyspark

我创建了一个新列并将其转换为整数。但是该列不能为空。如何使新列可为空？from pyspark.sql import functions as Fzschema = T.StructType([T.StructField1.0,2.0), ("a","b", 2.0,3.0) ], zschema) df.printSch

浏览 4提问于2019-05-17得票数 0

回答已采纳

2回答

AssertionError: col应该是列

python、apache-spark、pyspark、apache-spark-sql

如何在PySpark中创建一个新列并用今天的日期填充该列？这就是我试过的：now = datetime.datetime.now()我知道这个错误： AssertionError: col应该是列

浏览 4提问于2017-12-20得票数 30

回答已采纳

1回答

PySpark比较空地图文字

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我想在PySpark DataFrame中删除行，其中某个列包含一个空映射。我该怎么做？我似乎不能声明一个类型化的空MapType来比较我的列。我已经看到，在Scala中，您可以使用typedLit，但是在PySpark中似乎没有类似的东西。我还尝试过使用lit(...)并将其转换为struct<string,int>，但我没有为lit()找到可接受的参数(尝试使用返回null的

浏览 2提问于2019-09-29得票数 2

回答已采纳

1回答

在Spark dataframe中添加可空列

python、apache-spark、pyspark、apache-spark-sql、nullable

在星火中，文字列在添加时是不可空的：spark = SparkSession.builder.getOrCreate() # root #

浏览 3提问于2021-07-29得票数 4

回答已采纳

1回答

pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型

apache-spark、pyspark、types、parquet、void

我试图在PySpark中的dataframe PySpark中添加一个列。我试过的密码：df1 = df1.withColumn("empty_column", F.lit(None)) 但我知道这个错误：pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型。

浏览 23提问于2022-10-18得票数 3

回答已采纳

2回答

在连接时在表之间添加clolumns

pyspark

Need to add new columns with constant values while joining two tables from pyspark.sql import functions as F from <e

浏览 0提问于2019-06-04得票数 0

回答已采纳

1回答

如何创建数据帧中所有/大多数列的副本

python、pyspark

我希望保持原始列集不变，但使用映射来创建具有更新列名的副本。例如，如果原始的现有数据帧有列： 'first_name_2020','other_name_2020', 'last_name_2020' 我想输入参数： forename = 'first_namemiddlename = 'other_name_2020'previous_s

浏览 11提问于2020-10-25得票数 0

1回答

星星之火:从另一列创建新列，但不能为空

apache-spark、apache-spark-sql

我有一个简单的问题，但可以找到一个简单的解决办法。myDF.withColumn("newColumn", col("aNullableColumn"))我谷歌了一下，我找到的唯一解决方案是重写模式并重新创建dataframe，但这不是很好的解决方案。

浏览 2提问于2019-10-22得票数 1

回答已采纳

3回答

根据列值是否等于Spark中的列表进行过滤

python、apache-spark、pyspark、apache-spark-sql

我正在尝试根据列中的值是否等于列表来过滤Spark数据帧。我想做这样的事情：其中filtered_df仅包含filtered_df.a的值为['list','of' , 'stuff']且a的类型为array (nullable = true)的行。

浏览 1提问于2016-03-25得票数 13

回答已采纳

1回答

Pyspark:如果列包含来自另一列的字符串，则过滤数据帧(SQL LIKE语句)

python、apache-spark、pyspark、sql-like

我正在尝试用以下方式过滤我的pyspark数据框:我有一个包含long_text的列和一个包含数字的列。如果长文本包含我想要保留的列的number。我正在尝试使用SQL LIKE语句，但似乎不能将其应用于另一列(这里是number)我的代码如下： from pyspark.sql.functions import regexp_extract, col, concat, l

浏览 10提问于2019-02-25得票数 9

回答已采纳

2回答

来自多列的Pyspark日期格式

apache-spark、pyspark、apache-spark-sql

我的数据框中有四个字符串列'hour', 'day', 'month', 'year'。我想创建格式为'dd/MM/yyyy HH:mm'的新列fulldate。df2 = df1.withColumn("fulldate", to_date(concat(col('day'), lit('/'), col('

浏览 2提问于2021-02-04得票数 0

2回答

向PySpark数组中添加None

arrays、apache-spark、pyspark、apache-spark-sql、nonetype

我希望创建一个基于现有列有条件填充的数组，有时我希望它包含None。in range(size)]))) 这是我所犯的错误：lit：不w

浏览 4提问于2022-07-01得票数 1

回答已采纳

1回答

结构列withField中的update字段不替换

dataframe、apache-spark、pyspark、apache-spark-sql

我有一个带有日期的列的表，我想用它来更新我为新列定义的结构中字段的值。T.StructField("to_date", T.StringType(), True), ]用于创建一个新的空列，然后用以下代码更新该列： dateOfBirth_d

浏览 3提问于2022-02-10得票数 1

回答已采纳

3回答

当一些值为null时，如何将DataFrame中的多个列连接到另一个列中？

pyspark、spark-dataframe

searches_df.withColumn('unique_id',reduce(column_concat,(searches_df[col] for col in search_parameters))) 除非列包含空值，否则整个级联字符串为空。

浏览 3提问于2016-09-08得票数 6

回答已采纳

1回答

如何根据列值组合对S3输出文件进行分区？

apache-spark、amazon-s3、pyspark、aws-glue

我有正在AWS Glue中爬行的数据。在那里，我使用PySpark并将其转换为拼图格式。我的原始数据是CSV，如下所示：s3://bucket/outputdata/{id}_{date}/{data}.parquet 其中

浏览 7提问于2020-06-06得票数 1

回答已采纳

1回答

如何从火花放电中的数据中选择行的范围

pyspark、apache-spark-sql

我有一个有10609行的dataframe，我希望一次将100行转换为JSON，并将它们发送回一个webservice。我尝试使用SQL的限制子句，如这将返回前100行，但如果我想要下：：org.apache.spark.sql.catalyst.parser.ParseException:不匹配的输入“，”期望(第1行，pos 44) select it

浏览 0提问于2019-04-15得票数 4

2回答

PySpark在pyspark.sql.functions.col和pyspark.sql.functions.lit中的差异

pyspark、apache-spark-sql

我发现很难理解这两种方法与pyspark.sql.functions之间的区别，因为PySpark官方网站上的文档并不能提供很好的信息。例如，以下代码：print(F.col('col_name'))研究结果如下：

浏览 10提问于2017-09-24得票数 15

1回答

当同一个数据帧在pyspark内部重复时发生堆栈溢出错误。

pyspark、azure-databricks

当在循环中重复相同的数据时，就会发生堆栈溢出错误。数据量仅为40k记录。在单节点14 is /28 is时，尝试使用集群大小。 

浏览 8提问于2022-06-07得票数 0

1回答

将列添加到Pyspark，该列将多个组分配给相应的行

group-by、pyspark、apache-spark-sql

我有一个数据框架： from pyspark.sql import SparkSession|column2|value|gr_val|| a| 65 | 1|

浏览 27提问于2019-04-12得票数 0

回答已采纳

点击加载更多