在添加新列之后，我尝试在数据帧上使用groupBy，但我遇到了任务NotSerializable的问题

import java.io.Serializable;

public class MyClass implements Serializable {
    private int value;
    // getters and setters
}

val data = Seq((1, "a"), (2, "b"))
val df = spark.createDataFrame(data).toDF("id", "value")

// 错误示例
val nonSerializableVar = new NonSerializableClass()
df.groupBy("id").agg(collect_list("value")).foreach(row => nonSerializableVar.doSomething())

// 正确示例
df.groupBy("id").agg(collect_list("value")).foreach(row => println(row))

val broadcastVar = spark.sparkContext.broadcast(new NonSerializableClass())

df.groupBy("id").agg(collect_list("value")).foreach(row => {
    val instance = broadcastVar.value
    instance.doSomething()
})

import org.apache.spark.sql.functions._

// 错误示例
implicit def nonSerializableConversion(x: Int): NonSerializableClass = new NonSerializableClass(x)
df.groupBy("id").agg(collect_list("value")).foreach(row => println(row))

// 正确示例
df.groupBy("id").agg(collect_list("value")).foreach(row => println(row))

import org.apache.spark.sql.{SparkSession, functions => F}
import java.io.Serializable

case class MyData(id: Int, value: String) extends Serializable

object SerializableExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("SerializableExample").getOrCreate()

    import spark.implicits._

    val data = Seq(MyData(1, "a"), MyData(2, "b"))
    val df = data.toDF()

    // 正确示例：确保所有对象可序列化
    df.groupBy("id").agg(F.collect_list("value")).show()

    spark.stop()
  }
}