如何使用when条件从不同的数据框向pyspark dataframe添加列

在使用PySpark时，可以使用when条件从不同的数据框向PySpark DataFrame添加列。下面是一个完善且全面的答案：

使用when条件从不同的数据框向PySpark DataFrame添加列的步骤如下：

导入必要的库和模块：

from pyspark.sql import SparkSession
from pyspark.sql.functions import when

创建SparkSession对象：

spark = SparkSession.builder.getOrCreate()

创建两个数据框df1和df2，它们具有相同的schema：

data1 = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df1 = spark.createDataFrame(data1, ["name", "age"])

data2 = [("Alice", "Engineer"), ("Bob", "Doctor"), ("Charlie", "Teacher")]
df2 = spark.createDataFrame(data2, ["name", "profession"])

使用when条件从df1和df2向df1添加新列：

df_result = df1.withColumn("profession", when(df1.name == df2.name, df2.profession))

在上述代码中，when函数用于指定条件，当df1的name列等于df2的name列时，将df2的profession列的值添加到df1的新列profession中。如果条件不满足，则新列的值为null。

显示结果：

df_result.show()

完整代码示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import when

spark = SparkSession.builder.getOrCreate()

data1 = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df1 = spark.createDataFrame(data1, ["name", "age"])

data2 = [("Alice", "Engineer"), ("Bob", "Doctor"), ("Charlie", "Teacher")]
df2 = spark.createDataFrame(data2, ["name", "profession"])

df_result = df1.withColumn("profession", when(df1.name == df2.name, df2.profession))
df_result.show()

这是一个简单的示例，演示了如何使用when条件从不同的数据框向PySpark DataFrame添加列。在实际应用中，可以根据具体需求和条件进行更复杂的操作。

推荐的腾讯云相关产品：腾讯云分析型数据库TDSQL、腾讯云数据仓库CDW、腾讯云弹性MapReduce EMR、腾讯云云原生数据库TDSQL-C、腾讯云云原生数据仓库CDW-C等。

更多关于腾讯云产品的信息，请访问腾讯云官方网站：https://cloud.tencent.com/