Hive窗口函数

十里桃花舞丶

发布于 2022-05-10 04:54:15

3890

文章被收录于专栏：桥路_大数据桥路_大数据

窗口函数

什么是窗口函数？

Hive的窗口函数over( )，可以更加灵活的对一定范围内的数据进行操作和分析。

它和Group By不同，Group By对分组范围内的数据进行聚合统计，得到当前分组的一条结果，而窗口函数则是对每条数据进行处理时，都会展开一个窗口范围，分析后（聚合、筛选）得到一条对应结果。

所以Group By结果数等于分组数，而窗口函数结果数等于数据总数。

如图所示，对省份进行Group By操作，每个省份下会有多条记录，然后对当前省份分组下的薪水做求和操作，得到的是3条结果。

而对相同的数据做窗口操作，则是在对每一条数据进行处理时，展开一个窗口，窗口中除了当前要处理的数据，还包含其它数据部分。这个窗口默认是全部数据，也可以规定窗口长度，如设定窗口与Group By一样，圈定当前省份下的数据。因为对当前数据处理时，可以参考窗口范围内的更多数据，所以在分析上更为灵活。既可以为每条数据增加一列，存放当前省份的薪水总和，也可以计算这条数据在当前省份中的薪水排名。