pyspark从spark dataframe列创建不同列表，并在spark sql where语句中使用

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建一个示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 从DataFrame的列创建不同的列表
name_list = df.select("Name").rdd.flatMap(lambda x: x).collect()
age_list = df.select("Age").rdd.flatMap(lambda x: x).collect()

# 打印结果
print(name_list)  # 输出: ['Alice', 'Bob', 'Charlie']
print(age_list)  # 输出: [25, 30, 35]

from pyspark.sql.functions import col

# 创建一个示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 从DataFrame的列创建不同的列表
name_list = df.select("Name").rdd.flatMap(lambda x: x).collect()
age_list = df.select("Age").rdd.flatMap(lambda x: x).collect()

# 使用列表在Spark SQL的where语句中进行过滤
filtered_df = df.where(col("Name").isin(name_list) & col("Age").isin(age_list))

# 打印结果
filtered_df.show()