在比较没有键列的PySpark数据帧时，有没有完全外连接的替代方法？
在PySpark中，如果你想要在没有键列的数据帧之间执行类似于完全外连接的操作，你可以使用union和distinct组合来实现。这种方法不是严格意义上的完全外连接，因为它不会保留连接键的匹配信息，但它可以实现将两个数据帧的所有唯一记录合并在一起的效果。
以下是一个示例代码，展示了如何使用union和distinct来实现类似完全外连接的效果：
from pyspark.sql import SparkSession
# 初始化SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()
# 创建两个示例数据帧
df1 = spark.createDataFrame([(1, "A"), (2, "B"), (3, "C")], ["id", "value"])
df2 = spark.createDataFrame([(3, "C"), (4, "D"), (5, "E")], ["id", "value"])
# 使用union将两个数据帧合并
union_df = df1.union(df2)
# 使用distinct去除重复记录
result_df = union_df.distinct()
# 显示结果
result_df.show()输出结果将会是：
+---+-----+
| id|value|
+---+-----+
| 1| A|
| 2| B|
| 3| C|
| 4| D|
| 5| E|
+---+-----+这种方法的优点是简单易行，不需要指定连接键。但是，它不会像真正的完全外连接那样保留连接键的匹配信息。
如果你确实需要执行基于键的完全外连接，你需要确保数据帧中有共同的键列。在这种情况下，你可以使用join函数，并指定how="full_outer"来实现完全外连接。
参考链接：
希望这个答案能帮助你理解在没有键列的情况下如何在PySpark中实现类似完全外连接的操作。
相关·内容
因此，我一直在寻找不同的方法来比较两个没有键列的PySpark数据帧。 假设我有两个数据帧，df1和df2，列分别为col1、col2和col3。这个想法是，我将得到一个输出数据帧，其中包含来自df1的行，这些行与df2中的任何行都不匹配，反之亦然。我还想要一些标志，这样我就
浏览 13提问于2020-07-29得票数 0
1回答
我有两个pyspark数据帧，它们的行数不同。我试图通过在多个键上连接这两个数据帧来比较所有列中的值，这样我就可以找到这些列中具有不同值的记录和具有相同值的记录。df1 and df2 on multiple keys
same=df1.join(df2, on=['id','age',
浏览 14提问于2021-02-13得票数 0
3回答
我使用的是Pyspark 2.1.0。我正在尝试使用下面的代码执行两个数据帧的左外连接:我有两个数据帧，它们的模式如下： |-- CRIME_ID: string (nullable = true)cr_o
浏览 1提问于2017-04-27得票数 3
回答已采纳
1回答
我正在合并两个有一些重叠观察的数据帧。这些观察并不是在所有列上都重叠，因此它们不是完全相同的，但在我认为对链接很重要的列上是相同的。如何合并/连接以排除匹配的观测值？我熟悉不同的连接函数，以及如何使用merge()执行内连接和外连接，但我没有看到排除构成内连接的行的
浏览 16提问于2019-01-04得票数 0
回答已采纳
目前我有一些pyspark代码，它是从kafka主题读取数据(readStream)，我计划使用事务更新SQL Server表。流数据将具有所有三个插入、更新、删除事务。你能建议一下实现这一目标的最佳方法吗？
浏览 2提问于2020-01-29得票数 0
1回答
我想要执行大量的配置单元查询，并将结果存储在数据帧中。我有一个非常大的数据集，结构如下：| visid_high，它使用每一行作为二级查询的输入：for session in sessions.collect()[:100]:
query = "SELECT prop8,但会导致l
浏览 5提问于2018-07-23得票数 0
1回答
我需要检查模式上的外键约束。我需要表名、列名、引用的架构、引用的表和引用的列。谷歌搜索告诉我，我可以使用information_schema来完成这个任务。我对这种做法有些怀疑。
考虑到information_schema是一个系统数据库，包含所有数据库的
浏览 3提问于2011-05-20得票数 2
回答已采纳
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于<e
浏览 13提问于2016-09-22得票数 0
5回答
我有2个pyspark数据帧，如附件所示。expected_df和actual_df在我的单元测试中，我试图检查两者是否相等。我的代码是actual = map(lambda row: row.asDict(), actaual_df.collect()) 因为两个dfs是相同的</e
浏览 4提问于2018-10-03得票数 5
尝试添加外键：add constraint `products_orders_products_id_foreign` foreign key
浏览 0提问于2018-08-19得票数 0
2回答
我有两个数据帧，一个有超过60,000,000行，另一个有500,000行。我想基于多索引合并这两个数据帧。我的IDE是jupyter，我的PC内存是16G，CPU是2.3 the，64位。我需要拿到重叠的部分。此外，我想知道是否有一些更深层次的方法来优化它，比如使用Cpython或其他什么？我不知道，因为我只是在这里读到的， time
浏览 0提问于2017-05-14得票数 2
file_name.csv")
spark_df = spark_session.createDataFrame(dask_df)
但这是行不通的。有没有其他方法可以做到这一点。提前谢谢。
浏览 18提问于2021-02-25得票数 0
我们有多个数据帧。
其中一个数据帧是主数据帧，它使用左-外连接与其他数据帧连接。所有这些数据帧都连接在4列上(比如col1、col2、col3、col4)。为了减少数据混洗，目前我们正在对4个连接列上的所有数据帧进行重新分区，然后连
浏览 2提问于2019-02-08得票数 2
我有一个只有一条记录的pyspark数据帧。它包含一个id字段和一个"value“字段。value字段包含嵌套的语句，如下面的inputdf所示。我想创建一个新的数据帧，如下面的outputdf所示，其中type列是inputdf中value字段中嵌套dict的键，value和active列包含嵌套dict中的相应值。如果更简单，可以使用.toPanda
浏览 0提问于2020-08-08得票数 1
3回答
我在一个数据库中有两列。两个都是ids。我正在使一个数字自动递增。这就是我选择的主key.But，其他列也必须包含唯一的自动生成的ids。必须与主键的ie不同(即，数字自动递增列)。因此，我考虑在本专栏中使用GUID。但是：
如果列不是主键，是否可以对列使用GUID？这是一个很好的实践吗？
浏览 0提问于2012-01-06得票数 0
回答已采纳
我有一个最典型的问题。我的新公司有一个古老的oracle数据库。这些表仅使用主键定义(没有外键或唯一键或..)。现在，模式的创建者退休了。现在很难通过逆向工程来了解表之间的连接。为了进一步解决这个问题，我们确定了两个具有不同名称的表(A，B)列之间的sql连接。发现表A的列是表B列</
浏览 0提问于2019-08-28得票数 0
1回答
我有一张名为“城市”的表格和一张名为“概要文件”的表格。城市是用户在表“配置文件”上输入的可选字段。所以fk_id_city可能是空的。
id_profile (
浏览 2提问于2014-06-02得票数 1
回答已采纳
我需要在我的项目中实现pyspark数据帧连接。 我需要加入3个不同的案例。 1)如果两个数据帧具有相同的名称连接列。我加入如下所示。它消除了重复的列col1, col2。cond = ['col1', 'col2']
df1.join(df2, cond, "inner") 2)如果两个数据<
浏览 35提问于2019-12-03得票数 1
回答已采纳
1回答
我目前正在做一项数据迁移任务，试图使用pyspark比较来自两个不同数据库的两个数据帧，找出两个数据帧之间的差异，并将结果记录在csv文件中，作为数据验证的一部分。我正在尝试一个性能高效的解决方案，因为有两个原因。大型数据帧和表键是未知的
#Approach 1 - Not sure abou
浏览 11提问于2018-01-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
