如何在Pyspark中连接两列，但影响单个行的连接顺序？
在Pyspark中，可以使用concat函数将两列连接起来，并且可以通过when函数来控制连接顺序对单个行产生影响。
具体步骤如下：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat, when- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建示例数据集：
data = [("John", "Doe"), ("Jane", "Smith"), ("Bob", "Johnson")]
df = spark.createDataFrame(data, ["first_name", "last_name"])- 使用
concat函数连接两列，并使用when函数控制连接顺序：
df = df.withColumn("full_name", when(df.first_name < df.last_name, concat(df.first_name, df.last_name))
.otherwise(concat(df.last_name, df.first_name)))在上述代码中，使用when函数判断first_name是否小于last_name，如果是，则将first_name放在前面，否则将last_name放在前面。然后使用concat函数将两列连接起来，并将结果存储在新的列full_name中。
最后，可以通过show方法查看结果：
df.show()连接两列后，每个行的连接顺序会根据条件进行调整。
关于Pyspark的更多信息和使用方法，可以参考腾讯云的产品文档：Pyspark。
相关·内容
我有一个与下面的示例类似的pyspark数据框，忽略名为name的列，它是我需要在列side 1和side 2之外创建的列。问题是，无论side 1是否包含A和side 2 B，或者side 1 B和side 2 A，名称都需要相同；最终结果需要是A/B，因此简单地连接这两列是不起作用的，因为名称看起来不同A/B - B/A我需要在行的下面使用name列</em
浏览 49提问于2020-10-08得票数 0
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接
浏览 2提问于2019-01-21得票数 9
回答已采纳
2回答
我在这里所读到的所有内容都表明，在一个查询中，只在一个列上使用完全连接，连接的表的顺序基本上不重要。我的直觉说，这也应该适用于多个列，只要每个公共列尽可能地列在查询中(也就是说，在两个连接的表都有该列的地方)。但事实并非如此，我想找出原因。
简化为三个表a、b和c。我希望任何
浏览 4提问于2017-07-19得票数 0
我有一个pyspark格式的dataframe，大约有150列。这些列是从连接不同的表中获得的。现在，我的要求是以特定的顺序将数据帧写入文件，例如，首先写入1到50列，然后是第90到110列，最后是第70和72列。也就是说，我只想选择特定的列，并重新排列它们。我知道其中一种方法是使用df.select(“给出你
浏览 1提问于2017-07-14得票数 0
回答已采纳
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于列的数据帧，请指导我
浏览 13提问于2016-09-22得票数 0
1回答
我想要创建一个表，其中每一行都是唯一的ID，places列由一个人访问的所有地点和城市组成，按访问日期排序，使用Pyspark或Hive。df.groupby("ID").agg(F.concat_ws("|",F.collect_list("Place")))
做连接，但我无法在日期之前订购。另外，对于每一列，我需要继续单独执行这个步骤。我还尝试使用windows函数，如本文()所述，但它控
浏览 0提问于2019-06-26得票数 0
回答已采纳
2回答
TableB where ID = '123'; -- 5 rows当以以下方式联接这些表时，它返回1行FROM TableB ) AS D INNER JOIN TableC C ORDER BY A.IDSELECT A.ID
FROM TableA
浏览 0提问于2017-06-16得票数 0
1回答
我希望在将单个列中的列数连在一起之后创建一个列，但使用PySpark格式的字典格式。
浏览 12提问于2022-06-29得票数 -1
回答已采纳
我试图得到垂直立柱实体和光束中线的交点线，但是当这些元素的创建顺序发生变化时，结果发生了变化。
第一次切换连接顺序(横梁优先)：没有找到交
浏览 0提问于2019-02-15得票数 1
我想用两个不同的条件和一个dataframe : df = dataframecol1，col2在Pyspark中创建to列。col1 =基于df_A::MTAV = df_B::CODE将df_B与df_A：：MTAV连接起来
col2 =基于df_A::MTAP = df_B::CODE将df_B与df_A：：MTAP连接起来如何在数据帧中创建两列？
浏览 1提问于2021-12-20得票数 -1
回答已采纳
我想知道是什么决定了SQL查询中返回的列的顺序。例如，在表连接的情况下，SELECT * FROM SOMETABLE LEFT JOIN OTHERTABLE USING (SOME_COL); how is the order now determine
浏览 1提问于2013-02-19得票数 1
1回答
我有一个只有4列的表
First column -根据元数据中的列id连接另一个table.The列中每一行的连接列值。table.The连接的顺序与列id的顺序相同。第二列-I具有逗号分隔的主键列。现在，基于第二
浏览 1提问于2013-06-28得票数 0
3回答
我有两个CSV文件，列如A, B, C。& D, E, F.我想将这两个CSV文件连接到一个新文件中，其中包含File1.B = File2.E和行中的A, B/E, C, D, F列。如何在不使用表的情况下实现此连接？
浏览 1提问于2019-10-10得票数 0
回答已采纳
这是我之前在上发布的一个问题的又一次跟进其中有一个文件列表(约13万份)。在主目录中列出了它们的子目录，因此第一个单元可能是A/AAAAA，文件位于/data/A/AAA.csv。这些文件都具有类似的格式，第一列称为日期，第二列是一系列都命名为值的列。因此，首先，值列名需要重命名为每个csv文件中的文件名。第二，帧需要完全外部连接，以日期为主
浏览 4提问于2020-02-18得票数 0
回答已采纳
我想要获取一个数据帧(df2)的所有行，其中城市列值和邮政编码列值也存在于另一个数据帧(df1)中。重要的是，我想要两个列的组合，而不是单独查看列。 我的方法是： #1.combination_in_vx('city','postcode'))
df_result=df_tmp.filter(df_tmp.Combination_Exists) 虽然这在理论上
浏览 20提问于2021-01-30得票数 0
回答已采纳
2回答
我有一个dataframe df，列项包含按字母顺序排列的项目名。ItemsAppleBar我希望将数据框架与自身连接起来，以获得两列Item_x和Item_y，这样，在每一行中，项对(x，y)是唯一的，其意义是不相关的顺序，即这对所以我只需要保留(Apple，Ball)，因为这里的项目是按字母顺序排列的，而且(Ball，App
浏览 4提问于2022-07-31得票数 0
回答已采纳
例如，如果我更改了任何记录的值，它将再次更新，但随后会被推回到最后一个位置，就像删除和添加另一条记录一样。
浏览 1提问于2020-12-29得票数 0
我比较虹膜匹配值，并将每个模板相互比较，得到如下表格：id2|foreign_id2| foreign_id1|values
这两个条目的值相同，可以从表中删除其中一个条目。怎样才能找到这样的“重复项”并将其删除？
浏览 0提问于2017-01-06得票数 0
2回答
我做了一些关于索引列的顺序的研究，但不是100%的肯定，所以请容忍我的这一点！other columns ) ([AlphanumericIdentifier] ASC两个问题：
这些联接通常
浏览 2提问于2013-04-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
