使用Spark和scala编写CSV文件-空引号而不是空值

import org.apache.spark.sql.{SparkSession, DataFrame}

object CSVWriter {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession对象
    val spark = SparkSession.builder()
      .appName("CSV Writer")
      .master("local")
      .getOrCreate()

    // 读取CSV文件并加载到DataFrame
    val df: DataFrame = spark.read
      .format("csv")
      .option("header", "true")
      .load("path/to/input.csv")

    // 将空引号替换为空值
    val dfWithoutEmptyQuotes: DataFrame = df.na.replace("", null)

    // 将修改后的数据写入CSV文件
    dfWithoutEmptyQuotes.write
      .format("csv")
      .option("header", "true")
      .mode("overwrite")
      .save("path/to/output.csv")

    // 关闭SparkSession
    spark.stop()
  }
}