在Apache Spark中使用Java对数据集的单个列应用函数

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession.builder()
        .appName("Spark Java Example")
        .master("local[*]")  // 使用本地模式运行，[*]表示使用所有可用的CPU核心
        .getOrCreate();

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.functions;

Dataset<Row> dataset = spark.read()
        .option("header", true)  // 指定CSV文件包含标题行
        .csv("path/to/dataset.csv");

Dataset<Row> transformedDataset = dataset.withColumn("columnName", functions.upper(dataset.col("columnName")));

transformedDataset.write()
        .option("header", true)  // 写入CSV文件时包含标题行
        .csv("path/to/output.csv");