我正在尝试用均值填充NaN的值。$(TraversableLike.scala:279)at org.apache.spark.sql.DataFrameNaFunctions.fillMap(DataFrameNaFunctions.scala:407)
at org.apache.spark.sq
在Spark1.6.0中,我有一个包含职务描述的列的数据框架,如:bartenderemployee...我使用以下方法从该列检索唯一值列表:
val jobs = people.select("Description").distinct().rdd.map(r => r(0).asInstanceOf[peoplewithjob = people.filter($&q
我正在尝试使用SparkSession从hive表创建数据帧,如下所示。创建后,我将通过Ids列表来筛选行。val myDF = spark.sql("select * from myhivetable")有没有一种方法可以查询配置单元表,如下所示:
val myDF = spark.sql("select * from myhivetable&