Pyspark -将2种时间格式的列的时间格式转换为通用的时间格式

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_timestamp

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取数据
data = spark.read.csv("data.csv", header=True)

# 定义两种时间格式的列名
col1 = "time_col1"
col2 = "time_col2"

# 转换时间格式为通用的时间格式
data = data.withColumn(col1, to_timestamp(data[col1], "yyyy-MM-dd HH:mm:ss"))
data = data.withColumn(col2, to_timestamp(data[col2], "MM/dd/yyyy HH:mm:ss"))

# 显示转换后的数据
data.show()