比较Scala Spark Dataframe中的2个数组

import org.apache.spark.sql.functions._

val df = spark.createDataFrame(Seq(
  (Array(1, 2, 3), Array(2, 3, 4)),
  (Array(4, 5, 6), Array(5, 6, 7))
)).toDF("array1", "array2")

// 使用内置函数
df.select(array_contains(col("array1"), 2)).show()  // 检查array1是否包含2
df.select(array_intersect(col("array1"), col("array2"))).show()  // 获取array1和array2的交集
df.select(array_union(col("array1"), col("array2"))).show()  // 获取array1和array2的并集
df.select(array_except(col("array1"), col("array2"))).show()  // 获取array1中存在但array2中不存在的元素
df.select(array_distinct(col("array1"))).show()  // 获取array1中的唯一元素

// 使用操作符
df.filter(col("array1") === col("array2")).show()  // 检查array1和array2是否相等
df.filter(col("array1") !== col("array2")).show()  // 检查array1和array2是否不相等