sparksql与我使用的引擎完全不同,它破坏了我所有的代码 这句话 case when sum(flag = 'Y') over (partition by id) > 0
then 'Y' else 'N' end as flag 如果给定id的任何标志字段为Y,则应该返回Y,但它不起作用,因为spark中的sum函数只能接受数值类型。
我有一个(Spark2.3),它存储一个没有记录的sql。当我试图计算分区数时,它没有显示任何结果,而是尝试了各种函数,如df.rdd.getNumPartitions / df.rdd.getNumPartitions()/ df.rdd.length /如何从具有零记录或数百万记录的星火数据中获取分区数?代码:
empsql = 'Select * From Employee' ## In this sql it h