在PySpark中,可以使用concat
函数将两列堆叠成一列。concat
函数用于连接多个列,并将它们合并为一个新的列。
以下是使用concat
函数将两列堆叠成一列的示例代码:
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据
data = [("John", "Doe"), ("Jane", "Smith"), ("Alice", "Brown")]
df = spark.createDataFrame(data, ["first_name", "last_name"])
# 使用concat函数将两列堆叠成一列
df = df.withColumn("full_name", concat(df.first_name, df.last_name))
# 显示结果
df.show()
运行以上代码,将会得到如下输出:
+----------+---------+----------+
|first_name|last_name|full_name |
+----------+---------+----------+
|John |Doe |JohnDoe |
|Jane |Smith |JaneSmith |
|Alice |Brown |AliceBrown|
+----------+---------+----------+
在这个例子中,我们使用concat
函数将first_name
列和last_name
列堆叠成了一个新的full_name
列。
领取专属 10元无门槛券
手把手带您无忧上云