在PySpark中查找Python字典

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.getOrCreate()

# 定义字典
data = {'name': ['Alice', 'Bob', 'Charlie'],
        'age': [25, 30, 35],
        'city': ['New York', 'London', 'Paris']}

# 将字典转换为DataFrame
df = spark.createDataFrame(data)

# 查找age大于等于30的行
result = df.filter(df.age >= 30)

# 选择name和age列
result = df.select("name", "age")

# 注册DataFrame为临时表
df.createOrReplaceTempView("my_table")

# 使用SQL查询查找age大于等于30的行
result = spark.sql("SELECT * FROM my_table WHERE age >= 30")