使用Spark Scala处理特定日期范围目录中的数据

import org.apache.spark.sql.SparkSession
import java.text.SimpleDateFormat

val spark = SparkSession.builder()
  .appName("Data Processing")
  .master("local[*]")  // 这里使用本地模式，[*]表示使用所有可用的CPU核心
  .getOrCreate()

def filterDateRange(dirPath: String, startDate: String, endDate: String): Array[String] = {
  val format = new SimpleDateFormat("yyyy-MM-dd")
  val start = format.parse(startDate)
  val end = format.parse(endDate)
  
  val fileSystem = org.apache.hadoop.fs.FileSystem.get(spark.sparkContext.hadoopConfiguration)
  val fileList = fileSystem.listStatus(new org.apache.hadoop.fs.Path(dirPath))
  
  fileList
    .filter(f => {
      val fileDate = format.parse(format.format(new java.util.Date(f.getModificationTime)))
      (fileDate.equals(start) || fileDate.after(start)) && (fileDate.equals(end) || fileDate.before(end))
    })
    .map(_.getPath.toString)
}

val dirPath = "输入目录路径"
val startDate = "开始日期"
val endDate = "结束日期"

val filteredFiles = filterDateRange(dirPath, startDate, endDate)
val data = spark.read.textFile(filteredFiles: _*)  // 加载过滤后的文件数据到DataFrame

val transformedData = data.map(line => line.toUpperCase())  // 将数据转换为大写

// 在这里进行其他数据处理和分析操作...

transformedData.show()  // 打印处理后的数据