使用来自另一个Pyspark数据框的行信息对另一个Pyspark数据框进行过滤和求和
在Pyspark中，可以使用另一个数据框的行信息对另一个数据框进行过滤和求和操作。具体步骤如下：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum- 创建SparkSession对象：
spark = SparkSession.builder.appName("FilterAndSum").getOrCreate()- 创建两个Pyspark数据框：
# 创建第一个数据框df1
df1 = spark.createDataFrame([(1, "A", 100), (2, "B", 200), (3, "C", 300)], ["id", "name", "value"])
# 创建第二个数据框df2
df2 = spark.createDataFrame([(1, "A"), (3, "C")], ["id", "name"])- 使用df2的行信息对df1进行过滤：
filtered_df = df1.join(df2, on=["id", "name"], how="inner")- 对过滤后的数据框进行求和操作：
sum_df = filtered_df.select(sum("value").alias("sum_value"))- 显示求和结果：
sum_df.show()以上代码将使用df2的行信息对df1进行过滤，并对过滤后的数据框进行求和操作，最后显示求和结果。
Pyspark是基于Apache Spark的Python API，它提供了分布式计算和大规模数据处理的能力。Pyspark数据框是一种类似于关系型数据库表的数据结构，可以进行类似SQL的操作和分布式计算。
推荐的腾讯云相关产品：腾讯云Spark服务。腾讯云Spark服务是基于Apache Spark的云端大数据处理服务，提供了高性能、高可靠性的分布式计算能力，适用于大规模数据处理和机器学习任务。
腾讯云Spark服务介绍链接：https://cloud.tencent.com/product/spark
相关·内容
我有两个名为df和cr的不同数据帧，每个帧都有不同的列和行内容，如下所示。我正在尝试查找在cr dataframe中显示的安装日期和删除日期之间，给定机队类型在给定航线上发生的航班数量，并使用此总和创建一个新列。df数据帧包含所需的车队、日期、路线和计数信息。我设想需要从cr的每一行中包含的信息</em
浏览 17提问于2020-04-10得票数 0
1回答
我对pyspark是非常非常陌生的。我的数据框看起来像- id value subject1 80 his2 73 science
3 88 eng 我要我的数据框- id eng his.51
浏览 13提问于2019-05-09得票数 0
1回答
我正在使用Pyspark版本1.6处理Pyspark数据帧。在将此数据框导出到.CSV文件之前，我需要根据特定条件对特定列使用LIKE和OR运算符过滤数据。为了向您介绍我到目前为止所做的工作，我从多个.JSON文件创建了初始数据帧。此数据框已子集，因此仅包含所需的列。然后创建了一个sqlContext临时表。到
浏览 0提问于2017-07-27得票数 0
回答已采纳
1回答
我是AWS Glue和PySpark的新手。假设过滤数据框的SQL查询如下所示 where timestamp >= '2018-1-1'
如何对AWS Glue进行预过滤
浏览 0提问于2018-09-15得票数 1
我有一个spark数据框，其中的" text“列有一些文本。我想要计算出现各种单词的行数-本质上是出现“术语”的“文档”的数量-以及相关的计数，如最频繁的单词，具有最频繁单词的行(或称为文档)。我正在使用来自pyspark.ml.feature的HashingTF。但是似乎找不到一种有效的方法来从输出中提取这些
浏览 25提问于2021-08-31得票数 0
回答已采纳
我有一个pyspark数据帧，如下图所示：例如，我有四列:年份、单词、计数、频率。这一年是从2000年到2015年。我可以对(pyspark) dataframe进行一些操作，这样我就可以得到如下图所示的结果：新的数据框列应该是: word、frequency_2000、frequency_2001、frequency每一年中每个单词的频率来自于先前的数据帧
浏览 35提问于2018-12-11得票数 3
1回答
我有一个只有一列的数据框。在此数据框的每一行中，都有一个列表。def calculate(mylist) : y = mylist[1] + 1.5from pyspark.sq
浏览 25提问于2020-01-23得票数 0
回答已采纳
我正在使用本地窗口，并试图用python上的以下代码加载XML文件，我遇到了这个错误，有人知道如何解决它吗？990.s3.amazonaws.com/201611339349202661_public.xml")
1135 for temp_arg in temp_args:
C:\SPARK_HOME\spark-2.2.0-bin-hadoop2.7\python\
浏览 87提问于2017-11-17得票数 4
回答已采纳
我有一个主数据帧和一个辅助数据帧，我想逐行遍历它们，根据每行中的值过滤主数据帧，在过滤后的主数据帧上运行函数，并保存输出。
输出可以保存在单独的数据帧中，也可以保存在辅助数据帧的新列中。pd.DataFrame({"Age": [22, 66], "Job": ["Doc", "Fireman&
浏览 0提问于2020-05-28得票数 1
我有一个大数据与天气列，可以采取5个不同的数值(晴天，多云，雨，雪和其他)。我必须添加另一列，更多的信息，完全取决于天气值(例如。如果是晴天，将值x添加到新列，如果是阴天，则添加值y，.)。要么使用另一个具有天气列(此列上的join )和一个"new_data“列来添加这些新值(5行和2列)的小数据行进行连接，要么使用
浏览 2提问于2021-05-26得票数 2
回答已采纳
1回答
我正在尝试使用Pyspark中包含25亿条记录的Hive表。我假设表中有一些格式错误的或其他“坏”数据。我使用的是spark版本1.6.2和python版本2.6.6：from pyspark.sql import但是，如果我使用以下命令对表进行采样：
dfsamp = df.samp
浏览 1提问于2017-01-28得票数 1
1回答
我希望能够将调试点添加到我的Spark脚本中，这样我就可以轻松地调试它们。有没有人知道是否有可能在调试模式下让火花提交调用Apache脚本？如果是这样的话，是怎么做的？
浏览 5提问于2015-07-06得票数 22
1回答
更具体地说，我通过一个名为rank_id的变量对数据进行排序，并希望对索引$x+1$和$2x-1$之间的任何索引$x$进行滚动和排序。因此，我的rangeBetween必须依赖于rank_id变量值。使用wind
浏览 3提问于2018-01-10得票数 3
回答已采纳
1回答
我想避免使用pandas，因为我要处理大量数据，而且我相信toPandas()会将所有数据加载到驱动程序的内存中。df1:
+------+----------+-----
浏览 2提问于2017-02-10得票数 33
回答已采纳
我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。Window.orderBy(df.BALANCE)
test = df.withColumn('percentile_co
浏览 14提问于2019-07-11得票数 0
1回答
我正在尝试从df1中选择记录，如果df1.date1位于df2.date2和df2.date3之间(只允许date2、date3组合的三个范围，按行)。在我的例子中，没有公共变量来建立'join‘标准。我尝试了不同的pyspark.sql函数，如'filter'，'when'，'withColumn'，'date_sub'，'date_add‘等，但都找不到解决方案。我确实通过了几篇SO帖
浏览 69提问于2019-03-29得票数 0
回答已采纳
1回答
我正在致力于在pyspark上使用ALS来做协同过滤。这些模型在数据框中给出了预测结果，如下所示。1 7 2.3 2 3 3.1 我希望将数据帧转换为用户到项目矩阵，如下所示，其中productID变为列，每行表示一个用户对所有产品的评分。4.2 0 3 0
0.5 0 0
浏览 21提问于2019-05-21得票数 0
回答已采纳
我有一个pyspark RDD (myRDD)，它是一个可变长度的ID列表，比如我有一个包含列ID和value的pyspark数据框架(myDF)。myDF.select(F.collect_set("
浏览 26提问于2017-08-24得票数 0
Dataframe是使用scala创建的。spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
我正在尝试用以下方式过滤我的pyspark数据框:我有一个包含long_text的列和一个包含数字的列。如果长文本包含我想要保留的列的number。我正在尝试使用SQL LIKE语句，但似乎不能将其应用于另一列(这里是number)我的代码如下： from pyspark.sql.functions import regexp_extract, col, conc
浏览 10提问于2019-02-25得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
