根据其他列值从DataFrame获取值(PySpark)
在PySpark中，可以使用filter()函数根据其他列的值从DataFrame中获取特定的值。
具体步骤如下：
- 导入必要的模块：from pyspark.sql import SparkSession from pyspark.sql.functions import col
- 创建SparkSession对象：spark = SparkSession.builder.getOrCreate()
- 创建一个示例DataFrame：data = [("Alice", 25, "Female"), ("Bob", 30, "Male"), ("Charlie", 35, "Male")] df = spark.createDataFrame(data, ["Name", "Age", "Gender"]) df.show()输出：+-------+---+------+ | Name|Age|Gender| +-------+---+------+ | Alice| 25|Female| | Bob| 30| Male| |Charlie| 35| Male| +-------+---+------+
- 使用
filter()函数根据其他列的值获取特定的值：filtered_df = df.filter(col("Age") > 30) filtered_df.show()输出：+-------+---+------+ | Name|Age|Gender| +-------+---+------+ |Charlie| 35| Male| +-------+---+------+
在上述示例中，我们根据"Age"列的值大于30来过滤DataFrame，最终获取到满足条件的行。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云PySpark文档：https://cloud.tencent.com/document/product/849/48288
相关·内容
2回答
min| 1400|+-------+------------------+
如何使用summary min max列值提取mycol中的min和max的值？
浏览 14提问于2016-07-27得票数 1
回答已采纳
1回答
我的星火DataFrame有以下格式的数据：printSchema()显示每一列都是vector类型的。我尝试使用下面的代码从[和]中获取值(对于1列col1)：from pyspark.sql.types import FloatTypefirstelement=udf(lambda v:float(v[0]),FloatType())
df.select(firstelemen
浏览 0提问于2020-02-18得票数 1
回答已采纳
3回答
从数据帧中获取价值
、、、
在Scala中，我可以使用get(#)或getAs[Type](#)从数据帧中获取值。在pyspark中我应该怎么做呢？我有一个两列的DataFrame：item(string)和salesNum(integers)。现在我在一个数据帧中有了一个值的均值。
如何从数据帧中获取该值，以获得浮点数形式的平均值？
浏览 2提问于2016-06-28得票数 21
回答已采纳
我非常绿色的火花，所以我把它转换成一个熊猫DataFrame，然后使用地图功能，我提取所需的元素。问题是，数据是巨大的，因此这种方法是不可扩展的。让我花时间的是toPandas()命令。是否有从每一行访问列表中的值的选项？
谢谢!
浏览 5提问于2021-12-09得票数 1
回答已采纳
我有一个Dataframe: df，它有一个名为: date_index的非惟一列。我想将下面的python命令转换为它的PySpark等效项df.set_index('date_index',inplace=True)
进一步说明:我希望使用pyspark</em
浏览 12提问于2018-07-18得票数 0
我有一个dataframe，我需要从其中提取值Id，并根据它们的公共Id将每一行存储在dataframe B内的dataframe A中，例如： 对于这两个数据帧，我想明确地从Dataframe A中删除具有值23、50、41的行值，这些值是A和B之间的公共列值，并将这些行移到dataframe C中。我试图实现的输出如下： 至于任何代码尝试，除了合并之外，我没有
浏览 13提问于2020-12-09得票数 0
回答已采纳
2回答
尝试从DataFrame获取值时出现问题我做了什么：#It´s a dataframef['COUNTF'].iloc[0]
但是
浏览 1提问于2019-05-29得票数 0
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。, 'ConformedLeaseRecoveryTypeName', 'ConformedLeaseSta
浏览 2提问于2020-05-12得票数 1
回答已采纳
有一系列数值变量的pyspark数据帧。 例如 我的dataframe有一个从1到100的列值。1-10 - group1<== 1到10的列值应包含group1作为值11-20 - group2。。。91-100 group10 如何使用pyspark dataframe实现这一点？
浏览 15提问于2019-04-10得票数 1
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame带有时间戳字符串的pyspark列在验证时间戳格式的基础上，为每个元素创建一个具有布尔值</e
浏览 4提问于2021-11-19得票数 0
回答已采纳
因此，目前，我有一个带有三列的星火DataFrame，我希望根据其他三列是否包含空值来添加第四列，名为target。PASS |如果column_1、column_2、column_2都为null，我希望传递目标列中的值最初，我认为UDF或Pandas会起作用，但据我所知，在使用UDF之前，您应该使用PySpark</
浏览 9提问于2022-06-06得票数 0
在PySpark中有没有一种方法可以同时分解所有列中的数组/列表，并将分解后的数据分别合并/压缩到行中？|col1 |col2 |col3 ||[j,k,l]|[m,n,o]|[p,q,r]||
浏览 17提问于2018-02-27得票数 1
回答已采纳
1回答
我有一个Pyspark数据框架+---+----+----+----+|ID2| 4| 12| 7|+---+----+----+----+|colC||22 |因此，我的问题是，我们如何选择一行，
浏览 0提问于2021-02-20得票数 0
回答已采纳
我有一个pyspark dataframe A，它有3列：-69 40 trp我有另一个pyspark dataframe B，它具有相同的列，但捕获的值将不同：-68 43 trp我希望根据dataframe B中匹配的邮政编码为A的每个记录创建纬度经度对。
浏览 2提问于2017-11-16得票数 0
我有一个包含'people‘和'timestamp’列的PySpark DataFrame (加上其他与问题无关的列)。解释是用户在那个时候做了一些事情。我想对“人物”的所有行进行分组，其中“时间戳”的差异不超过“阈值”值(例如5分钟)。感谢你的想法！
浏览 35提问于2018-08-30得票数 0
回答已采纳
List = ['NYC','Austin','San Diego', 'New Orleans','LA'] 我有一个数据框，其中有一列，"raw“。'raw‘中的所有值都是字典值。COOL','Austin':'mild','San Diego':'hot','New Orleans':'cold&#
浏览 18提问于2020-08-04得票数 1
2回答
我有一个PySpark Dataframe，我想添加一个从其他列的多个值计算出来的列。l = [('Ankit',25),('Jalfaizy',22),('saurabh',20),('Bala',
浏览 1提问于2019-11-29得票数 1
回答已采纳
我正在尝试从pyspark中的dataframe中查找重复的列值。例如，我有一个只有一个列'A‘的dataframe，值如下：A1245====5
浏览 0提问于2019-08-27得票数 4
2回答
我正在使用pyspark==2.3.1。我用熊猫对数据进行了数据预处理，现在我想把我的预处理功能转换成熊猫的火花放电。但是，当使用pyspark读取数据CSV文件时，许多值将变为空列，而该列实际上有一些值。如果我试图对这个dataframe执行任何操作，那么它将与其他列交换列的值。我也尝试过不同版本的火花放电。谢谢
列"property_type“的值<
浏览 5提问于2022-02-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
