如何在spark上使用双定界符从文件中读取数据

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

val spark = SparkSession.builder()
    .appName("Double Delimiter Example")
    .getOrCreate()

val file = spark.read.text("path/to/file.txt")
val delimiter = "##" // 双定界符，可以根据实际需求修改
val data = file.select(split($"value", delimiter).as("columns"))

val expandedData = data.selectExpr("columns[0]", "columns[1]", "columns[2]") // 根据实际情况展开列的数量

val processedData = expandedData.select($"column1".cast(IntegerType), $"column2".cast(StringType), $"column3".cast(DoubleType))

processedData.show() // 显示数据
processedData.write.parquet("path/to/output.parquet") // 保存为Parquet格式