在Spark中将可选参数建模为UDF的最佳方法是什么？

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf

def create_udf(optional_param):
    def udf_func(col):
        # 在这里根据可选参数进行处理逻辑
        processed_col = col + optional_param
        return processed_col
    return udf(udf_func)

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 定义可选参数
optional_param = 10

# 调用闭包函数创建UDF
my_udf = create_udf(optional_param)

# 应用UDF到DataFrame的Age列
df = df.withColumn("ProcessedAge", my_udf(df["Age"]))

# 显示结果
df.show()