连接spark中嵌套到数组的所有结构字段

import org.apache.spark.sql.functions._

// 假设有一个包含嵌套数组的DataFrame，名为df
// df的结构如下：
// root
//  |-- id: integer (nullable = false)
//  |-- data: array (nullable = true)
//  |    |-- element: struct (containsNull = true)
//  |    |    |-- name: string (nullable = true)
//  |    |    |-- value: integer (nullable = false)

// 使用explode函数展开数组字段data
val explodedDF = df.select($"id", explode($"data").as("exploded_data"))

// 连接嵌套数组的所有结构字段
val connectedDF = explodedDF.groupBy($"id")
  .agg(collect_list($"exploded_data.name").as("names"), collect_list($"exploded_data.value").as("values"))

// 打印连接结果
connectedDF.show(false)