基于ByteArrayInputStream在Java中创建DataFrame

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import java.io.ByteArrayInputStream;
import java.nio.charset.StandardCharsets;

public class DataFrameExample {
    public static void main(String[] args) {
        // 初始化SparkSession
        SparkSession spark = SparkSession.builder()
                .appName("DataFrameExample")
                .master("local") // 使用本地模式进行测试
                .getOrCreate();

        // 假设这是你的CSV数据的字节数组
        String csvData = "name,age,city\nAlice,30,New York\nBob,25,Los Angeles";
        byte[] bytes = csvData.getBytes(StandardCharsets.UTF_8);

        // 使用ByteArrayInputStream读取数据
        ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);

        // 从ByteArrayInputStream创建DataFrame
        Dataset<Row> df = spark.read()
                .option("header", "true") // 表示第一行为列名
                .csv(byteArrayInputStream);

        // 显示DataFrame的内容
        df.show();
    }
}