从pyspark或hive中的给定日期字段中减去5个工作日

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr, date_sub, when

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 假设给定日期字段为date_col，表名为my_table
table_name = "my_table"
date_column = "date_col"

# 读取表数据
df = spark.read.table(table_name)

# 确定给定日期字段的类型和格式，如果是字符串类型，转换为日期类型
df = df.withColumn(date_column, expr("TO_DATE({})".format(date_column)))

# 确定工作日的定义，周一至周五
is_weekday = when(col(date_column).cast("string").substr(1, 3).isin(["Sat", "Sun"]), False).otherwise(True)

# 减去5个工作日
df = df.withColumn("result", date_sub(date_column, 5))

# 过滤出工作日
df = df.filter(is_weekday)

# 格式化结果日期字段为字符串，如果需要返回日期类型，可直接使用结果
df = df.withColumn("result", expr("DATE_FORMAT(result, 'yyyy-MM-dd')"))

# 显示结果
df.show()