如何在pyspark中筛选布尔列
在pyspark中筛选布尔列可以使用filter函数。filter函数用于根据指定的条件筛选数据集中的行。
以下是在pyspark中筛选布尔列的步骤：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 加载数据集：
data = spark.read.csv("data.csv", header=True, inferSchema=True)其中，"data.csv"是数据集的文件路径，header=True表示第一行是列名，inferSchema=True表示自动推断列的数据类型。
- 筛选布尔列：
filtered_data = data.filter(col("bool_column") == True)其中，"bool_column"是布尔列的列名，col("bool_column")用于获取该列的数据。
- 显示筛选结果：
filtered_data.show()完整的代码示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
spark = SparkSession.builder.getOrCreate()
data = spark.read.csv("data.csv", header=True, inferSchema=True)
filtered_data = data.filter(col("bool_column") == True)
filtered_data.show()在上述代码中，可以根据实际情况修改数据集的文件路径、布尔列的列名，以及其他筛选条件。
推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），是一种大数据处理和分析的云服务，可用于处理和分析大规模数据集。您可以通过以下链接了解更多关于腾讯云EMR的信息：腾讯云EMR产品介绍。
相关·内容
我有一个包含布尔列的sql表。last_name'))) return output 当我使用where时，我得到了这个错误： keyword can't be an expression 如何根据布尔
浏览 23提问于2019-09-20得票数 0
回答已采纳
3回答
如何过滤两个列值对的列表？
、、、、
因此，我有一个PySpark Dataframe，我想使用两个列的有效对(长)列表进行筛选。假设我们的dataframe名为df，列col1和col21 A3 1A nullB C当我尝试使用.isin()函数(如下所示)时，它告诉我，.isindf.filt
浏览 7提问于2021-02-16得票数 1
回答已采纳
我想使用PySpark读取数据，但不包括包含<hash>_toto.parquet的给定parquets列表。from pyspark.sql import SparkSession, SQLContext
# this code
浏览 8提问于2022-01-20得票数 1
回答已采纳
3回答
我有一个PySpark数据格式，我想根据某些列中的唯一值进行筛选。from pyspark.sql import SparkSessiondata = [("Java", 1, 0.0), ("Scala&quo
浏览 15提问于2022-07-13得票数 1
我有一张带有A、B和C列的HIVE/PySpark的桌子。我想为每一列获得唯一的值，如任何格式(数据、表格等)
如何在或PySpark中高效地执行这个(与每个列并行)？我现在的方法是分别为每一列做这件事，因此花费了很多时间。
浏览 0提问于2018-07-18得票数 0
回答已采纳
3回答
我正在尝试使用列表过滤pyspark中的数据帧。我希望根据列表进行筛选，或者仅包括列表中具有值的那些记录。= df.where(df.score in l)出现以下错误: ValueError:无法将列转换为布尔值:在构建DataFrame布尔表达式时，请使用'&‘表示'and'，'|’表示'or'，
浏览 2提问于2016-11-04得票数 77
这些列是否应该修改为double，如果是的话，在什么时候？在我的查询(如select cast(column as float)altering my表)中，在创建后更改列类型，或者完全忽略此错误消息
浏览 7提问于2021-07-06得票数 1
回答已采纳
1回答
我有一个日期列，列类型为"string“。它有多个日期和每个日期的几行数据。.filter(raw.as_of_date == max(as_of_date)
请建议如何将列类型从字符串转换为日期，如何编码以选择最大日期，以及为什么我的硬编码会导致空表。
浏览 4提问于2022-11-30得票数 0
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame # like column.map(lambda x: __valid_date(x))
浏览 4提问于2021-11-19得票数 0
回答已采纳
1回答
我想从分组的Spark数据帧中计算一列中有多少条记录是真的，但我不知道如何在python中做到这一点。例如，我有一个包含region、salary和IsUnemployed列的数据，其中IsUnemployed是一个布尔值。我想看看每个地区有多少失业人员。我知道我们可以先做一个filter，然后再做groupby，但是我想同时生成两个聚合，如下所示data.groupby
浏览 0提问于2016-02-19得票数 17
回答已采纳
我想在像这样的情况下评估两个条件： 'trueVal', F.when(df.value
浏览 1提问于2016-11-19得票数 30
回答已采纳
2回答
如何在PySpark中创建一个新列并用今天的日期填充该列？= datetime.datetime.now()我知道这个错误：
AssertionError: col应该是列
浏览 4提问于2017-12-20得票数 30
回答已采纳
我在一个PySpark数据框架中有一堆布尔列，每个列都有不同的质量保证标志。我所需要做的就是创建一个具有True值的这些列数的新列，QA计数检查每一行是否失败。例如，对于具有以下值的上述列的一条记录....I希望创建一个计数为2的新列。
有什么好主意吗？
浏览 9提问于2022-06-10得票数 0
回答已采纳
1回答
用火花放电流到HBase
、、、
在线上有相当数量的关于使用Scala进行星火流的批量加载的信息( 是特别有用的)，以及一些用于PySpark的信息，但是使用PySpark似乎缺乏这样的信息。所以我的问题是：
任何语言中的大多数示例都只显示每一行上的一个列。如何在每一行中插入多列？我以前已经取得了一些进展，有很多各种各样的错误(如文档化的和)
浏览 2提问于2016-01-29得票数 3
我有一张名叫result_25的桌子。我使用此代码成功地将数据导出到磁盘上的csv。为了检查是否正确保存了该文件，我用以下代码将表读入：我查了数据，看上去很好。
这
浏览 3提问于2018-10-01得票数 2
回答已采纳
withColumn只将值添加到pyspark中的dataframe中的第一行。from pyspark.sql import SparkSession
columns = [users_count") > 1000, F.concat(F.col("errors"), F.lit("Invalid Users_Count;")))).show(
浏览 2提问于2022-08-15得票数 0
回答已采纳
我正在尝试在一个pyspark dataframe中创建一个新列，该列基于另一个列的内容。另一列包含所有整数，我希望新列使用1或0进行编码。import pyspark.sql.functions as F
df2 = df2.withColumn('Industrial', F.when(F.col('CODE') in (1,2,3,4), 1).otherwise(0)) 这是行不通的，因为它只需要
浏览 10提问于2019-05-30得票数 0
回答已采纳
我试图使用第一列从dataset筛选和创建一个新的new数据。如果我想捕获第一列中< 0.02的所有值，并创建一个包含满足该条件的所有行的新数据框架(同时显然保留其余的列)，那么我将如何处理呢？以下是我的尝试：print(df_new)
它返回布尔人的一维向量。如何在只对第一列进行过滤的同时完整地保留其余的行和列？谢谢。
浏览 4提问于2021-09-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
