在pyspark dataframe中从lat-long查找状态名称

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession
spark = SparkSession.builder.appName("LatLongLookup").getOrCreate()

# 加载状态名称和经纬度范围数据集
state_data = spark.read.csv("state_data.csv", header=True, inferSchema=True)

# 创建示例经纬度数据集
lat_long_data = spark.createDataFrame([(40.7128, -74.0060)], ["latitude", "longitude"])

# 将经纬度信息转换为列
lat_long_data = lat_long_data.withColumn("latitude", col("latitude").cast("double"))
lat_long_data = lat_long_data.withColumn("longitude", col("longitude").cast("double"))

# 进行条件查询，查找匹配的状态名称
result = lat_long_data.join(state_data, 
                            (lat_long_data.latitude >= state_data.min_latitude) & 
                            (lat_long_data.latitude <= state_data.max_latitude) & 
                            (lat_long_data.longitude >= state_data.min_longitude) & 
                            (lat_long_data.longitude <= state_data.max_longitude), 
                            "left_outer")

# 提取状态名称作为结果
result.select("state_name").show()