如何在PySpark中检查df1是否等于df2？
在PySpark中，可以使用subtract()方法来检查两个DataFrame是否相等。该方法返回一个新的DataFrame，其中包含df1与df2之间的差异。如果df1和df2相等，那么返回的DataFrame将为空。
以下是在PySpark中检查df1是否等于df2的步骤：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建df1和df2：
data1 = [(1, "Alice"), (2, "Bob"), (3, "Charlie")]
data2 = [(1, "Alice"), (2, "Bob"), (4, "David")]
df1 = spark.createDataFrame(data1, ["id", "name"])
df2 = spark.createDataFrame(data2, ["id", "name"])- 使用
subtract()方法检查df1是否等于df2：
diff_df = df1.subtract(df2)- 检查diff_df是否为空：
if diff_df.count() == 0:
print("df1 is equal to df2")
else:
print("df1 is not equal to df2")使用subtract()方法可以找到df1与df2之间的差异，并通过计算差异的行数来判断两个DataFrame是否相等。如果差异的行数为0，则表示df1等于df2。
在腾讯云中，相关的产品是腾讯云的数据仓库产品TencentDB for TDSQL。该产品提供高性能、高可用的分布式数据库服务，适用于云计算、大数据分析等场景。具体产品介绍可以参考腾讯云官网的TencentDB for TDSQL产品页面。
相关·内容
++---------++---------+| string|+---------+ 我想将df1中的列与df2"Column_name“中的行进行比较(相等检查)。我尝试使用joins来比较它们，也就是通过 df1.join(df2,on="Data_Type",how="left").join(df2,on=&
浏览 27提问于2020-04-27得票数 1
回答已采纳
你能告诉我如何在pyspark中做到这一点吗？ 我使用的是熊猫： 假设df2为空，而df1有一些记录。df2 = pd.concat([df2, df1]) 但是如何在pyspark中执行这个操作呢？df1:
| Programname|Projectnum| Drug
浏览 6提问于2020-12-02得票数 0
1回答
我有两个Pyspark数据格式(DF1和DF2)。我想检查DF1中的城市在DF2中的城市列中是否可用，如果是，则从DF2返回国家名称，并使用Sl.No、City和Country创建一个新的dataframe DF3。DF11 a2 c5 e乡村城市V、b、c、x、d、eSl.No城市国家1 a，西部
浏览 2提问于2019-10-30得票数 1
回答已采纳
我需要连接两个表，条件是表中的一列与非常长的列表中的任何列匹配，即： columns = ['name001', 'name002', ..., 'name298']
df = df1.join(df2, (df1['name']==df2['name1']) | (df1['name']==df2['name2']) | ...
浏览 15提问于2019-01-15得票数 0
回答已采纳
在PySpark中，我尝试比较两个常见列的数据帧.Tha数据帧如下所示：aa1 ... ...ab3 ... ...df2 ... ...b3 ... ...resultab3
或者在伪代码中
浏览 7提问于2018-02-28得票数 0
回答已采纳
我有两个数据：df2 = pd.DataFrame(columns=['name', 'age'], data=[['Sami', 25], ['Danielle', 22]])
我希望使用fuzzywuzzy库检查df
浏览 6提问于2022-02-28得票数 0
1回答
如果我有两个数据文件，比如： | a | b | 1 | 0 | 1 |
| c | d | 1 | 1 | 1 |如何从df2中选择df1[df2['c']]['b'] != 0中的行。换句话说，df2中的行(它在column c中
浏览 4提问于2016-11-06得票数 1
回答已采纳
假设我有数据帧df1： R12 B4 D6 F8 Hdf21A 23 D 75 F 12如何在df1中创建一个名为R2的新列，根据df2$R1的匹配条目将df2$R2分配到df1但是，我
浏览 0提问于2014-06-07得票数 4
回答已采纳
我想对第一个数据框架中的所有观察结果进行分析，并添加一个列来说明第二个数据框架中符合某种条件的观察结果的数量。例如：observation Value 2 53 85 1
observation Value1
浏览 2提问于2017-03-09得票数 1
回答已采纳
我有两个数据框架，我想检查df1是否包含df2中的任何行，其中键为a和b，如果等于，则在df2中存在更改为true，并从df1中添加新行(其中存在为False )。df11 | 1 | 3 | 43 | 3 | 5 | 3a | b | c | d4 | 4 | 3False
1 |
浏览 0提问于2020-08-03得票数 1
回答已采纳
1回答
我有2个df1，df2。df1和df2都包含数百万条记录。HOUSTON| 02356 |+--------------------+--------+--------+在匹配df1 Pincode的第2行的第2行中</em
浏览 1提问于2020-02-17得票数 0
回答已采纳
1回答
我希望在数据帧中生成一个虚拟变量，如果在另一个数据帧的观察中存在两个变量值的组合，则该变量的值为1。"df1$Apple <- as.character(df1$Apple)
df2$Tomato <- as.character(df2$Tomato)
两
浏览 2提问于2019-09-21得票数 3
回答已采纳
我有一个从dataframe df1中提取的实例，我想检查该实例是否在Pyspark的另一个dataframe df2中。有没有办法去面对它？-----+------+------++------+------+------+
这样，我希望得到true，因为实例在dataframe (第4行)中。
浏览 0提问于2017-09-04得票数 1
我有两个数据帧：A B C2 sv 234df2：1 ss 123
df2如何在df1中检查是否有匹配的df2行？
浏览 0提问于2018-11-14得票数 1
2回答
我想知道的是，向量的第一个元素是否包含在矩阵的第一行，向量的第二个元素是否包含在矩阵的第二行，等等。df1# [1,] 0 2# [6,] 0 7# [8,] 0 2
# [9
浏览 13提问于2016-02-05得票数 4
回答已采纳
0回答
我有3个数据帧： key value2 rs4845882 A4 rs530296Adf2：1 rs1057079 T3 rs1891932rs1057079 C3 rs1891932 C
4 rs530296 G
浏览 0提问于2017-12-06得票数 0
回答已采纳
和df2：document_nbr, line_id, variant_id, line_nbr as line_numberdf1.document_nbr = df2.document_nbrand df1.line_id == df2.line_id我在dataframes、df1和df1中都有一个列df1，我想从df1中删除同一列并从df2中选择它。为此，我编写了
浏览 1提问于2022-05-10得票数 -1
1回答
我有两个数据格式df1| n|val| distances|| 1| 1|0.27308652|| 3| 1|0.21314497|和df2| x1| x2||0.03103427|| 1| 10|0.26805446|+---+---+-----
浏览 0提问于2018-05-01得票数 4
回答已采纳
我有两个dataframe df1和df2，我需要先对列中的dataframe df1中的值进行计数，然后填充dataframe df2，其中df1中计数的值等于df2中的值。如何在下面的解决方案中检查第二个条件？df1 id member seq
0 48299 Koif
浏览 7提问于2019-01-08得票数 0
2回答
我有两个数据文件，如下所示：index value
2014-05-21 10:0055037，另一个等于index value
2014-05-21 10:00:00 13.0例如，在df1中缺少"2014-05-21 09:00:00“，我如何编写一个函数，放置
浏览 0提问于2018-03-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
