如何将用户定义函数应用于读取pyspark数据块中的流数据

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

spark = SparkSession.builder.appName("StreamingApp").getOrCreate()

def process_data(data):
    # 在这里实现自定义函数的逻辑
    return processed_data

# 注册UDF
udf_process_data = udf(process_data, StringType())

streaming_data = spark.readStream.format("source_format").option("options").load("input_path")

processed_streaming_data = streaming_data.withColumn("processed_data", udf_process_data(streaming_data["data_column"]))

query = processed_streaming_data.writeStream.format("sink_format").option("options").start("output_path")

query.awaitTermination()