删除空列的快速方法[PySpark]
在PySpark中，可以使用DataFrame API来删除空列。以下是一个快速的方法：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 读取数据并创建DataFrame：
df = spark.read.csv("data.csv", header=True, inferSchema=True)这里假设数据文件为"data.csv"，并且包含表头。
- 删除空列：
df = df.drop(*[col for col in df.columns if df.select(col).na.drop().count() == 0])这行代码会遍历DataFrame的所有列，如果某列的非空值数量为0，则删除该列。
- 查看删除空列后的DataFrame：
df.show()这个方法可以快速删除空列，适用于PySpark中的数据处理任务。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算服务（Tencent Cloud Computing Services）：https://cloud.tencent.com/product
- 腾讯云数据库（Tencent Cloud Database）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（Tencent Cloud Artificial Intelligence）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（Tencent Cloud Internet of Things）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（Tencent Cloud Mobile Development）：https://cloud.tencent.com/product/mobile
- 腾讯云存储（Tencent Cloud Storage）：https://cloud.tencent.com/product/cos
- 腾讯云区块链（Tencent Cloud Blockchain）：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙（Tencent Cloud Metaverse）：https://cloud.tencent.com/product/mv
相关·内容
在Pyspark中，我们有:第一个()函数返回列中的第一个元素，当ignoreNulls设置为True时，它返回第一个非空元素，()函数返回列中的最后一个元素，当ignoreNulls设置为True时，它进一步返回最后一个非空元素。
我想知道，我们是否有相同的scala方法。
提前谢谢你。
浏览 21提问于2022-10-10得票数 0
回答已采纳
我正在进行一个PySpark转换，以便根据另一个列中的空值创建一个新列。下面是示例输入数据：
这是预期的输出数据：
浏览 2提问于2022-09-07得票数 -2
使用Pyspark，如何选择/保留包含非空值的所有列；或者等效地删除不包含数据的所有列。
编辑:根据Suresh请求，
for column in media.columns:
if media.select(media[column]).distinct().count() == 1:
media = media.drop(media[column])
我在这里假设，如果伯爵是一个，那么应该是南。但我想看看那是不是南。如果还有其他内置的火花函数，请告诉我。
浏览 4提问于2017-08-11得票数 8
我有一个数据帧(testdf)，希望在另一列(booking/rental)不为null或非空(即“”)的列(memid)上获得计数和非重复计数。
testdf
memid booking rental
100 Y
100
120 Y
100 Y Y
预期结果：(对于预订列不为空/非空)
count(memid) count(distinct memid)
3 2
如果是SQL：
Select count(memid), count(distinct memid) from m
浏览 44提问于2018-06-05得票数 0
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。 我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
1回答
有一个数据集，并希望使用pyspark进行一些清理。删除空值大于75%的所有列。使用python：
df = df.dropna(axis='columns', thresh = int(0.75 * len(df)))
如何使用pyspark实现这一点？
浏览 0提问于2019-05-14得票数 0
在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
1回答
有没有一种简单的方法可以在pyspark中删除一个巨大的数据集(300+列>100k行)的空列？例如Python语言中df.dropna(axis=1,how='all')
浏览 10提问于2019-10-29得票数 0
回答已采纳
1回答
我试图将列LOW的字符串值转换为双倍，但在dataframe中获取空值。
from pyspark.sql.types import *
df3 = df2.withColumn("LOW",df2["LOW"].cast(DoubleType()))
df3.printSchema()
df3.show()
浏览 2提问于2022-06-23得票数 0
回答已采纳
我是PySpark的新手，正面临一个奇怪的问题。在加载CSV数据集时，我尝试将某些列设置为不可为空。我可以用一个非常小的数据集(test.csv)重现我的案例：
col1,col2,col3
11,12,13
21,22,23
31,32,33
41,42,43
51,,53
在第5行，第2列有一个空值，我不想在我的DF中获取该行。我将所有字段都设置为不可空(nullable=false)，但是我得到了一个所有三列都具有nullable=true的模式。即使我将所有三列都设置为不可空，也会发生这种情况！我运行的是Spark的最新版本，2.0.1。
代码如下：
from pyspark.sql
浏览 0提问于2016-10-07得票数 14
回答已采纳
2回答
我在AWS、table_1和table_2中有两个表，它们的模式几乎相同，但是table_2有两个额外的列。我试图将这两个表连接到相同的列上，并为模式不包括这些值的“旧”数据添加对table_2唯一的列，并将其为空值。
目前，我可以使用类似于以下内容的方法加入两个表：
joined_table = Join.apply(table_1, table_2, 'id', 'id')
其中第一个' id‘是table_1中的id列，第二个'id’是table_2中的id列。这个调用成功地将表连接成一个表，但是，生成的joined_table具有匹配列的
浏览 0提问于2018-02-13得票数 4
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StructType
import os, glob
spark = SparkSession.builder.\
config("spark.jars.packages","saurf
浏览 1提问于2019-09-06得票数 3
回答已采纳
我有一个这样的电火花数据仓库：
+-----+---+-----+
| id| name|state|
+-----+---+-----+
|111| null| CT|
|222|name1| CT|
|222|name2| CT|
|333|name3| CT|
|333|name4| CT|
|333| null| CT|
+---+-----+-----+
对于给定的ID，即使列" name“是空的(如果它的ID不重复)，但如果ID是重复的，我想保留该记录，但是如果ID重复，那么我想检查name列，确保它不包含该ID中的重复项，如果"name”仅
浏览 1提问于2020-05-06得票数 1
回答已采纳
如果我已经存在数据帧，且我想要向数据框中添加新列
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
from pyspark.sql import Row
numbers=[1,2,30,4]
rdd1 = sc.parallelize(li)
row_rdd = rdd1.map(lambda x: Row(x))
test_df = sqlContext.createDataFrame(row_rdd,['numbers'])
------------------------------------
浏览 0提问于2020-10-05得票数 1
我试图在PySpark中的dataframe PySpark中添加一个列。
我试过的密码：
import pyspark.sql.functions as F
df1 = df1.withColumn("empty_column", F.lit(None))
但我知道这个错误：
pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型。
有人能帮我吗？
浏览 23提问于2022-10-18得票数 3
回答已采纳
2回答
火花空映射键
、、
原谅我的无知，我对火种并不熟悉。我正在尝试改进udf，以便使用字典根据来自另一列count_adj的值创建一个新的列a_type。如何说明在此过程中创建新列的无/空类型。这在熊猫身上是非常容易的(df['adj_count'] = df.a_type.map(count_map))，但在火星雨中却很难做到。
抽样数据/进口：
# all imports used -- not just for this portion of the script
from pyspark.sql import SparkSession, HiveContext, SQLContext
from
浏览 1提问于2022-02-02得票数 1
回答已采纳
1回答
在星火中，文字列在添加时是不可空的：
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([(1,)], ['c1'])
df = df.withColumn('c2', F.lit('a'))
df.printSchema()
# root
# |-- c1: long (nullable = true)
# |-- c2: string
浏览 3提问于2021-07-29得票数 4
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
1回答
我有一个pyspark dataframe，其中一列填充了列表，要么包含条目，要么只包含空列表。我想高效地过滤掉所有包含空列表的行。
import pyspark.sql.functions as sf
df.filter(sf.col('column_with_lists') != [])
返回以下错误：
Py4JJavaError: An error occurred while calling o303.notEqual.
: java.lang.RuntimeException: Unsupported literal type class
也许我可以检查列表的长度，
浏览 17提问于2017-02-24得票数 7
回答已采纳
在读取带有推断模式的文件(使用Spark2.0)之后：
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('foo').getOrCreate()
df = spark.read.csv('myData.csv', inferSchema=True)
所有列(string和numeric )都是可空的。
但是，如果我使用显式模式读取文件，则只有string列是可空的。
是否有一种方法可以强制read()与inferSchema=True一起设置空值，与使用显式模式
浏览 3提问于2017-09-14得票数 2
我正在使用pyspark中的to_json将dataframe中的结构列转换为json列，但是在json中忽略了少数结构字段中的空值，我不希望这些空值被忽略。
浏览 6提问于2020-10-14得票数 0
1回答
我有一份数据文件。它有几个列，大多为null。我使用下面的代码将它写到一个s3桶中。然后，我抓取s3桶以获取数据记录中的表模式。我发现当我抓取数据时，大部分为null的字段会被删除。我已经检查了输出的json，我发现有些记录有字段，而另一些则没有。有人知道问题可能是什么吗？我想包括这些字段，即使它们大部分是空的。
代码：
# importing libraries
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context impor
浏览 0提问于2019-08-29得票数 1
1回答
检查火花数据中的行值是否为空。
、、、、
我正在使用pyspark中的自定义函数来检查星火数据true中每一行的条件，如果条件为true，则添加列。
守则如下：
from pyspark.sql.types import *
from pyspark.sql.functions import *
from pyspark.sql import Row
def customFunction(row):
if (row.prod.isNull()):
prod_1 = "new prod"
return (row + Row(prod_1))
else:
p
浏览 3提问于2016-08-19得票数 7
我有一个大数据与天气列，可以采取5个不同的数值(晴天，多云，雨，雪和其他)。我必须添加另一列，更多的信息，完全取决于天气值(例如。如果是晴天，将值x添加到新列，如果是阴天，则添加值y，.)。
我想知道什么是“更好”的方法(更多的“标准”方法)。要么使用另一个具有天气列(此列上的join )和一个"new_data“列来添加这些新值(5行和2列)的小数据行进行连接，要么使用一个字典将数据的每一行映射为一个以天气值作为键和要添加的新数据作为值的字典。最后一种方法的一个例子如下：
new_data = {"sunny": x, "cloudy": y,
浏览 2提问于2021-05-26得票数 2
回答已采纳
4回答
PySpark Dataframe的格式如下：
要只访问stddev列( c1、c2、c3 )行，我使用：
df.describe().createOrReplaceTempView("table1")
df2 = sqlContext.sql("SELECT c1 AS f1, c2 as f2, c3 as f3 from table1")
ddd = df2.rdd.map(lambda x : (float(x.f1) , float(x.f2) , float(x.f3))).zipWithIndex().filter(lambda x:
浏览 7提问于2017-02-22得票数 10
回答已采纳
1回答
我有一个列名和一个数据帧。我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。
我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
我是PySpark的新手。
我只想保留至少有10个值的列
我已经使用describe来获取每列的非空记录的计数
现在如何提取值小于10的列名，然后在写入新文件之前删除这些列
df = spark.read.parquet(file)
col_count = df.describe().filter($"summary" == "count")
浏览 1提问于2019-09-28得票数 1
1回答
我正在使用PySpark，并希望利用多节点的优势来提高性能时间。 例如： 假设我有3列，有100万条记录： Emp ID | Salary | % Increase | New Salary
1 | 200 | 0.05 |
2 | 500 | 0.15 |
3 | 300 | 0.25 |
4 | 700 | 0.1 | 我想要计算新的薪水列，并希望使用pyspark中多个节点的能力来减少整体处理时间。 我不想做一个迭代的逐行计算新工资。 df.withColumn是否在数据帧级别进行计算？当使用更多的节点时，它是否能够提供更好的性能？
浏览 16提问于2021-03-24得票数 0
我有如下样本表(Table1)的pyspark数据帧(df)：id，col1，col2，col3 1，abc，null，def 2，null，def，abc 3，def，abc，null
我试图通过忽略NULL值附加所有列来获得新列(最终)。我尝试过pyspark代码，并使用了f.array(col1，col2，col3)。值将被追加，但它不会忽略空值。我还尝试过UDF仅附加非空列，但它不起作用。
<code>A0</code>
如果问题不清楚或需要更多信息，请让我知道。任何帮助都将不胜感激。:)
浏览 24提问于2019-08-23得票数 3
回答已采纳
我有一个电火花数据，我想删除任何一行至少有一个NA。
我知道如何只对一列(下面的代码)这样做。
如何对dataframe的所有列执行相同的操作？
可复制示例
# Import modules
from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.sql.functions import col
from pyspark.sql import Row
# Defining SparkContext
SparkContext.getOrCreate()
# Defining Spa
浏览 14提问于2022-10-05得票数 1
回答已采纳
1回答
我想在PySpark DataFrame中删除行，其中某个列包含一个空映射。我该怎么做？我似乎不能声明一个类型化的空MapType来比较我的列。我已经看到，在Scala中，您可以使用typedLit，但是在PySpark中似乎没有类似的东西。我还尝试过使用lit(...)并将其转换为struct<string,int>，但我没有为lit()找到可接受的参数(尝试使用返回null的None和返回错误的{} )。
我确信这是微不足道的，但我还没有看到任何关于这方面的文档！
浏览 2提问于2019-09-29得票数 2
回答已采纳
我有一个PySpark模式，它描述数据集的列及其类型(我可以手工编写这些数据集，也可以从现有的数据集获取，然后转到“PySpark”选项卡，然后“复制PySpark模式”)。
我想要一个包含此架构的空数据集，例如，它可以用作只写回写的本体对象的支持数据集。我怎样才能在铸造中创造这个呢？
浏览 16提问于2022-08-18得票数 3
回答已采纳
3回答
我试着通过终端机运行火星雨。从我的终端，我运行snotebook，它将自动加载木星。在此之后，当我选择python3时，错误就来自终端。
处理PYTHONSTARTUP文件/Users/simon/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py中的IPKernelApp警告
这是我的.bash_profile设置：
export PATH="/Users/simon/anaconda/bin:$PATH"
export SPARK_HOME=~/spark-1.6.0-bin-hadoop2.6
export PA
浏览 10提问于2017-10-04得票数 2
我有许多PySpark数据格式，其中两个列中的数据是强制性的，其他列是可选的。强制列包含日期和记录ID；最有价值的数据驻留在可选列中。我试图捕捉可选列中元素之间的连接。
数据过滤，预过滤器：
id col1 col2 col3 date
123 xyz 20160401
234 abc pqr 20160401
345 def hij klm 20160401
456 20160401
在过滤后，数据文
浏览 3提问于2016-04-03得票数 1
我创建了一个新列并将其转换为整数。但是该列不能为空。如何使新列可为空？ from pyspark.sql import functions as F
from pyspark.sql import types as T
zschema = T.StructType([T.StructField("col1", T.StringType(), True),\
T.StructField("col2", T.StringType(), True),\
T.S
浏览 4提问于2019-05-17得票数 0
回答已采纳
我正在尝试使用PySpark读取分区数据，但不知何故，对于某些分区，它为所有列(分区列除外)提供了空值。 当我检查HUE/Hive中的数据时，一切正常。我一直在谷歌上搜索这个问题，发现了这个： https://community.cloudera.com/t5/Support-Questions/Pyspark-Table-Dataframe-returning-empty-records-from/td-p/35836 这与我的问题非常接近，但是，如果我没有弄错的话，这只指的是自己创建的数据，然后以拼图格式存储。但是，我想要读取的表是“外部表”格式，并且我已经设法用 df = spark.
浏览 20提问于2021-10-29得票数 1
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？ 我已经尝试了很多东西，但所有的代码都需要当前的格式，但如何转换为正确的时间戳，如果我不知道什么格式的csv文件。 我也尝试过下面的代码，但这是在创建一个空值的新列 df1 = df.withColumn('datetime', col('joining_date&#
浏览 16提问于2020-12-30得票数 2
我有一个具有空值的数据集。
+----+----+----+
|col1|col2|col3|
+----+----+----+
| 1| 0|null|
| 1|null| 0|
|null| 1| 0|
| 1| 0| 0|
| 1| 0| 0|
|null| 0| 1|
| 1| 1| 0|
| 1| 1|null|
|null| 1| 0|
+----+----+----+
我编写了一个函数来计算数据集中每个列的空值百分比，并从数据集中删除这些列。以下是功能
import pyspark.sql.fun
浏览 7提问于2022-07-14得票数 0
回答已采纳
我有另一种解决方案，但我更喜欢使用PySpark 2.3来实现它。
我有一个二维PySpark数据框架，如下所示：
Date | ID
---------- | ----
08/31/2018 | 10
09/31/2018 | 10
09/01/2018 | null
09/01/2018 | null
09/01/2018 | 12
我希望通过查找过去最接近的值来替换ID空值，或者如果该值是空的，则向前看(如果它再次为空，则设置一个默认值)。
我想象过用.withColumn添加一个新列，并使用一个UDF函数来查询数据帧本身。
类似于伪代码的内容(并不完美，但它是主要思想)：
浏览 0提问于2019-02-02得票数 0
回答已采纳
1回答
我对火花公子很陌生。通过使用下面的dataframe，如何根据"_Value“字段将其划分为两个不同的数据帧。如果为_Value (String)的数组中有任何空元素或空元素，那么它应该转到一个dataframe中，其余的转到另一个数据中。
+----+-----+-----+-------------------------------+-------------+--------------+
|key |Size |Color|AdditionalAttributeMetric |_Name |_Value |
+----+-----+---
浏览 1提问于2020-03-27得票数 2
回答已采纳
尝试弄清楚如何用空值随机替换Pyspark中的特定列。因此，像这样更改数据帧： | A | B |
|----|----|
| 1 | 2 |
| 3 | 4 |
| 5 | 6 |
| 7 | 8 |
| 9 | 10 |
| 11 | 12 | 并将列'B‘中25%的值随机更改为空值： | A | B |
|----|------|
| 1 | 2 |
| 3 | NULL |
| 5 | 6 |
| 7 | NULL |
| 9 | NULL |
| 11 | 12 |
浏览 29提问于2020-09-18得票数 2
回答已采纳
我正试图在pyspark中创建空的struct列。对于数组，这可以工作。
import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([]))
但这给了我一个错误。
df = df.withColumn('newCol', F.struct())
我也看到了类似的问题，但对于scala来说，这并不能真正帮助我。
浏览 4提问于2021-09-21得票数 2
我正在尝试对包含空值的列的数据帧使用sparkML库的standardScaler。我想保留NULL值，但是当我使用带有mean的标准缩放器时，具有NULL值的列的平均值也变成了null。有没有办法让标准的定标器跳过均值计算的空值(就像向量汇编程序中的handleInvalid选项)？ 下面是代码示例 from pyspark.sql import SparkSession
import pyspark.sql.functions as F
sqlContext = SparkSession.builder.appName('test').config("spark.
浏览 37提问于2021-06-24得票数 2
回答已采纳
我发现PySpark有一个名为drop的方法，但它似乎一次只能删除一列。关于如何同时删除多个列有什么想法吗？
df.drop(['col1','col2'])
TypeError Traceback (most recent call last)
<ipython-input-96-653b0465e457> in <module>()
----> 1 selectedMachineView = machineView.drop([['GpuName',
浏览 1提问于2016-02-28得票数 42
回答已采纳
调用下面的对象时出错是在不丢失空值的情况下分解dataframe中的数组，但在调用列时我得到错误，说对象没有属性‘_ code.This _ object _id’。需要帮助，在其他方式调用列，可以工作。
from pyspark.sql import SparkSession
from pyspark.sql import DataFrame
from pyspark.sql import Row
from pyspark.sql.types import ArrayType
from pyspark.sql.functions import *
from functools import
浏览 2提问于2018-07-05得票数 2
我有一个pyspark dataframe，它包含N个包含整数的列。某些字段也可能为空。例如： +---+-----+-----+
| id| f_1 | f_2 |
+---+-----+-----+
| 1| null| null|
| 2|123 | null|
| 3|124 |127 |
+---+-----+-----+ 我想要的是将所有以f为前缀的列组合成一个新列中的pyspark数组。例如： +---+---------+
| id| combined|
+---+---------+
| 1| [] |
| 2|[123] |
| 3|[1
浏览 67提问于2020-06-18得票数 1
回答已采纳
我有一个包含许多列的pyspark ，我希望选择包含特定字符串的和其他列。例如：
df.columns = ['hello_world','hello_country','hello_everyone','byebye','ciao','index']
我希望选择包含'hello'的列和名为'index'的列，因此结果如下：
['hello_world','hello_country','hello_everyone',
浏览 0提问于2018-11-21得票数 6
回答已采纳
2回答
在PySpark中，可以使用列对象和字符串来选择列。这两种方法返回相同的结果。有什么不同吗？什么时候应该使用列对象而不是字符串？例如，我可以使用column对象：
import pyspark.sql.functions as F
df.select(F.lower(F.col('col_name')))
# or
df.select(F.lower(df['col_name']))
# or
df.select(F.lower(df.col_name))
或者我可以使用字符串来代替，并得到相同的结果：
df.select(F.lower('col_n
浏览 0提问于2020-11-09得票数 0
我是pySpark的新手。我收到了一个csv文件，大约有1000列。我正在使用databricks。大多数这些列之间有空格，例如“总收入”，“总年龄”等。我需要更新所有的列名与空格下划线‘_’。
我已经试过了
foreach(cloned.Columns中的DataColumn c) c.ColumnName = String.Join("_"，c.ColumnName.Split())；
但它在databricks上的Pyspark中不起作用。
浏览 1提问于2019-08-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
