如何在spark中创建对不同RDD执行不同转换的管道

from pyspark import SparkContext

# 创建SparkContext对象
sc = SparkContext("local", "PipelineExample")

# 创建不同的RDD
rdd1 = sc.parallelize([1, 2, 3, 4, 5])
rdd2 = sc.parallelize([6, 7, 8, 9, 10])

# 定义不同的转换函数
def transformRDD1(rdd):
    return rdd.map(lambda x: x * 2)

def transformRDD2(rdd):
    return rdd.filter(lambda x: x % 2 == 0)

# 根据条件选择不同的转换函数
if condition:
    transformedRDD1 = transformRDD1(rdd1)
    transformedRDD2 = transformRDD2(rdd2)
else:
    transformedRDD1 = transformRDD2(rdd1)
    transformedRDD2 = transformRDD1(rdd2)

# 执行转换操作
resultRDD1 = transformedRDD1.collect()
resultRDD2 = transformedRDD2.collect()

# 输出结果
print("Result RDD 1:", resultRDD1)
print("Result RDD 2:", resultRDD2)