使用聚合函数清除缺失的值spark

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

val spark = SparkSession.builder()
  .appName("MissingValues")
  .getOrCreate()

val data = Seq(
  (1, "John", 25),
  (2, "Jane", null),
  (3, "Mike", 30),
  (4, null, 35)
).toDF("id", "name", "age")

// 使用count函数计算非缺失值的数量
val nonNullCount = data.select(count("*")).as[Long].head()
println(s"Non-null count: $nonNullCount")

// 使用sum函数计算非缺失值的总和
val sumAge = data.select(sum("age")).as[Double].head()
println(s"Sum of age: $sumAge")

// 使用avg函数计算非缺失值的平均值
val avgAge = data.select(avg("age")).as[Double].head()
println(s"Avg age: $avgAge")

// 使用min函数计算非缺失值的最小值
val minAge = data.select(min("age")).as[Int].head()
println(s"Min age: $minAge")

// 使用max函数计算非缺失值的最大值
val maxAge = data.select(max("age")).as[Int].head()
println(s"Max age: $maxAge")