如何使用Spark SQL在循环时将迭代的行记录保存到新的数据框或列表中？

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

spark = SparkSession.builder.appName("SparkSQLExample").getOrCreate()

df = spark.read.format("csv").option("header", "true").load("path_to_file.csv")

new_df = spark.createDataFrame([], df.schema)  # 创建空的数据框
new_list = []  # 创建空的列表

for row in df.collect():
    # 迭代的行记录处理逻辑
    if row["column_name"] == "condition":
        new_df = new_df.union(spark.createDataFrame([row], df.schema))  # 将满足条件的行记录添加到新的数据框
        new_list.append(row)  # 将满足条件的行记录添加到新的列表

new_df.write.format("csv").option("header", "true").save("path_to_new_file.csv")  # 保存为CSV文件
new_df.write.format("parquet").saveAsTable("new_table")  # 保存为Parquet表格

for item in new_list:
    print(item)