Group by grouping sets在BigQuery与Teradata中 - 腾讯云开发者社区

文章/答案/技术大牛

发布

使用group by rollup和group by cube后的辅助函数

本文主要介绍,报表在使用group by rollup和group by cube后的辅助函数。...函数使用GROUPING函数处理汇总结果(在使用group by rollup和group by cube后的结果集)中的空值。...null值全部改为了0 2、GROUPING SETS函数和哥前面的随笔一样,不知道它的功能没关系,先试一试,在根据结果集推出来他的功能,不多说,上代码: i、现在需要求出每个订单下每个产品的订单数...GROUP BY GROUPING SETS ((A,B,C)) 等价与 GROUP BY A,B,C GROUP BY GROUPING SETS (A,(B,C)) 等价与...3、GROUP BY ,CUBE 或ROLLUP 中同时使用一列的处理 i、问题:在日常开发中可能会存在GROUP BY 或者GROUP BY CUBE 或者GROUP BY ROLLUP或者它们中组合使用到同一列的情况

1.9K7 0

深入理解 SQL 中的 Grouping Sets 语句

Group By 语句除了上面的简单用法之外，还有更高级的用法，常见的是 Grouping Sets、RollUp 和 Cube，它们在 OLAP 时比较常用。...Grouping Sets 简介 Spark SQL 官方文档中 SQL Syntax 一节对 Grouping Sets 语句的描述如下： Groups the rows for each grouping...具体的执行逻辑是这样的：在 HiveTableRelation 节点对 dealer 表进行全表扫描。在 Project 节点选出与查询语句结果相关的列。...Grouping Sets 在 SQL 语句表达和性能上都有更大的优势。...Group By 的另外两个高级用法 RollUp 和 Cube 则可以看成是 Grouping Sets 的语法糖，它们的底层都是基于 Expand 算子实现，在性能上与直接使用 Grouping

1.9K3 1

您找到你想要的搜索结果了吗？

是的

没有找到

SQL grouping

SQL grouping 解决 OLAP 场景总计与小计问题，其语法分为几类，但要解决的是同一个问题： ROLLUP 与 CUBE 是封装了规则的 GROUPING SETS，而 GROUPING SETS...在没有掌握 grouping 语法前，我们只能通过两个 select 语句 union 后得到： SELECT city, sum(people) FROM test GROUP BY city union...GROUPING SETS GROUP BY GROUPING SETS 可以指定任意聚合项，比如我们要同时计算总计与分组合计，就要按照空内容进行 GROUP BY 进行一次 sum，再按照 city...进行 GROUP BY 再进行一次 sum，换成 GROUPING SETS 描述就是： SELECT city, area, sum(people) FROM test GROUP BY GROUPING...) FROM test GROUP BY ROLLUP(city, area) -- 等价于 SELECT sum(people) FROM test GROUP BY GROUPING SETS((

7343 0

Hive Grouping Sets,CUBE与ROLLUP

在Hive 0.10.0版本中添加了 Grouping sets，CUBE 和 ROLLUP 运算符以及 GROUPING__ID 函数。...GROUPING SETS GROUP BY 中的 GROUPING SETS 子句允许我们在同一记录集中指定多个 GROUP BY 选项。...所以需要一些方法来识别列中的NULL，GROUPING__ID 函数就是为了解决这个问题而引入的。此函数返回一个位向量，与每列是否存在对应。...这一点，在Hive2.3.0版本得到解决，如果某一列参与了 GROUP BY，对应位就被置为0，否则为1。所以在使用 GROUPING__ID 时注意一下版本号。...GROUPINGID 的值与 GROUP BY 表达式中列的取值和顺序有关，所以如果重新排列，GROUPINGID 对应的含义也会变化。

3.9K3 1

基于Hive的数据立方体实践

sets 实现 Data Cube 观察对比可知，union all与grouping sets统计结果一致，但grouping sets代码风格简洁易读、便于开发人员灵活配置统计维度。...注意：（1）grouping sets中的所有字段，必须出现在group by之中；（2）grouping sets中的所有字段，必须出现在group by之中；grouping sets可包含多种粒度...grouping__id 返回对应于与行关联的 grouping 位向量的数字，在功能上等同于获取多个 grouping函数的结果并将它们连接成一个位向量（一串 1 和 0）。...其是为了将过滤条件提前到子查询中，以达到在map端尽量缩减数据的目的，碰巧遇到grouping__id先赋默认值的内置方法。...在开发数据立方体实践过程中，可根据实际场景选择grouping方法： 1. 在不确定维度组合情况下，推荐使用with cube 和 grouping__id搭配使用，灵活聚合； 2.

1K3 0

SQL多维分析

HOLAP：Hybrid OLAP，结合ROLAP和MOLAP的混合体，通常将数据的详细信息存储在关系型数据库中，而将聚合数据存储在多维数据库中。...分组表达式和高级聚合可以在 GROUP BY 子句中混合使用，并嵌套在 GROUPING SETS 子句中。当聚合函数携带 FILTER 子句时，只有匹配的行才会传递给该函数。...GROUP BY { group_expression | { ROLLUP | CUBE | GROUPING SETS } (grouping_set [ , ...]) } [ , ... ]...GROUPING SETS GROUPING SETS 是基于GROUP BY子句之上提供的高级分组聚合功能，允许在单个 SQL语句中对多组列进行聚合计算。...可等价与GROUPING SETS ： SELECT city, car_model, sum(quantity) AS sum FROM dealer GROUP BY GROUPING SETS

5777 5

Hive中group by还能这样玩？

但是不是觉得太繁琐了，其实hive中还有一个更高阶的分组函数，可以帮我们更加简洁的实现上面的功能，即Grouping Sets函数，我们可以把想要用于分组的列全都声明在Grouping Sets函数中，...其代码如下： select area,name,sum(cnt) as sum_cnt from default.salerinfo3 group by area,name grouping sets...可以看到，使用grouping sets必须首先用group by声明用于分组的列，如果不使用group by声明，报错如下： FAILED: ParseException line 5:0 cannot...recognize input near 'grouping' 'sets' '(' in table source 同样，用于分组的列，必须全都在group by中声明，如果grouping sets...by area grouping sets ((area),(name),(area,name)) SemanticException 6:23 [Error 10213]: Grouping sets

8092 0

别说了，GROUP BY 我都不会！

看到，最后一行的 FACTORY 为空，所以 GROUPING()返回 1.也可以与CUBE结合使用，方法是一样的。...GROUPING SETS GROUPING SETS 与 CUBE 有点类似，CUBE是对参数进行自由组合进行分组。...GROUPING SETS则对每个参数分别进行分组，GROUPING SETS(A,B)就代表先按照 A 分组，再按照 B分组。...SELECT factory, department, SUM(quantity) FROM production GROUP BY GROUPING SETS(factory, department)...GROUPING_ID() GROUPING_ID()配合GROUPING()函数使用，GROUPING_ID(A,B)的值由GROUPING(A)与GROUPING(B)的值决定，如果GROUPING

4762 0

SQL中的分组集

分组集的定义是多个分组的并集，用于在一个查询中，按照不同的分组列对集合进行聚合运算，等价于对单个分组使用"UNION ALL"，计算多个结果集的并集。...SETS GROUPING SETS子句允许你指定多个GROUP BY选项。...：再使用GROUPING SETS来统计 SELECT 城市, 省份, COUNT(客户ID) 数量 FROM Customers GROUP BY GROUPING SETS (城市,省份) 结果如下...通常GROUPING SETS使用在组合分析中。 ROLLUP ROLLUP也是GROUPING SETS的一种简略写法，我们举例说明。...我们先使用GROUPING SETS的多层组合 SELECT 省份, 城市, COUNT(1) 数量 FROM Customers GROUP BY GROUPING SETS ( 省份,(省份,城市

921 0

《面试季》高频面试题-Group by的进阶用法

一: Rollup、Cube、Grouping sets的介绍: 作用: 都是用于进行分组集合计算，不支持聚合函数中的DISTINCT或GROUP BY ALL子句,GROUP BY字句,ROLLUP...,他们是grouping sets的一个简单实用方式区别: 1、cube生成分组中特定列所有可能的层次组合。 ...3、默认的group by语句相当于grouping set在grouping set后的参数填上所有group by。...GROUPING函数既可以与CUBE操作一起使用, 也可以与ROLLUP操作一起使用, 它能帮助你理解概要值是怎样产生的,就能区分哪些 NULL 是正常记录，哪些是 ROLLUP 的结果。。...使用: GROUPING函数使用一个单独的列表示。在GROUPING函数中的expr必须匹配一个GROUP BY子句中的表达式, 该函数的返回值0或大于0。

1.7K2 0

Hive优化器原理与源码解析系列--优化规则HiveAggregateProjectMergeRule(十六)

在某些情况下，此规则具有修剪的效果：聚合将使用比Projetct投影操作更少的列。在CalciteAPI中关于构建Aggregate汇总操作对象组成元素。...是group_sets集合中分组ID（类似排列组合的分组ID，1组、2组、3组等）。...__ID FROM tab_test GROUP BY month,day 说明：grouping sets 只会根据，sets集合内每个元素单独分组：month、day、（month，day）三个分组...注意：group by中字段集合要包含 grouping sets（）集合字段，否则会报错，即{group by} >={grouping sets} 2）onMatch方法逻辑详解...handle "GROUP BY expression" return null; } } 2 .遍历调用汇总函数，函数列表，判断AGG引用的字段是否在Project投影中引用,而且是字段引用

6972 0

SQL 基础--> ROLLUP与CUBE运算符实现数据汇总

============================ 在使用ROLLUP与CUBE运算符实现数据的汇总是，Oracle与SQL Server使用了不同的写法，但其实质是一样的，都遵循了SQL规范。...ROLLUP与CUBE运算符都是对GROUP BY 子句的扩展 SQL Server中的用法 GROUP BY col1,col2 WITH ROLLUP | CUBE ; Oracle 中的用法...关于在SQL Sever中ROLLUP与CUBE运算符，请参照：ROLLUP 与CUBE 运算符的使用一、演示ROLLUP 及CUBE 的使用 --使用常规的GROUP BY 实现数据的汇总...BY ,CUBE 或ROLLUP 中同时使用一列的处理 --即某些列同时在GROUP BY 子句和CUBE(ROLLUP)中存在 --结果中可以看出多出了一些重复的列 SQL> SELECT deptno...,col2...)中的列数 CUBE: 创建所有可能的小计 1.结果集将会包括相应rollup的所有值并加上额外的合并 2.如果有n类在cube中规定，将会有的n次方的小计返回 GROUPING

1.3K3 0

Hive 入门 Group By 全案例【附代码】

不明就里的读者可以看上一篇： Hive 的入门级 Group By 全案例昨晚发文之后，有读者陆陆续续在星球发问了，脚本到底该怎么写？...image 案例 - 2 ： Group by 之 Grouping Sets 应用 select schema_id , type_desc , count(object_id...) as object_count from tblobj2 group by schema_id,type_desc grouping sets((schema_id,type_desc),schema_id...image 结论： grouping sets 的作用就是将选定的分组字段，再分子组进行汇总。...from tblobj2 group by schema_id,type_desc grouping sets((schema_id,type_desc),schema_id,type_desc,(

1.1K2 0

介绍一种非常好用汇总数据的方式GROUPING SETS

在T-SQL中，使用GROUP BY子句在一个聚合查询中来汇总需要的数据。这个子句由一组表达式定义的分组构成。...2.使用 GROUPING SETS操作符，结合GROUP BY一起在一个语句中实现。本文中，我会展示如何使用GROUPING SETS来实现这一目的。...OrderMonth, SUM(SubTotal) AS Incomes FROM Sales.SalesOrderHeader GROUP BY GROUPING SETS ( YEAR(OrderDate...GROUPING SETS 操作符要和GROUP BY 子句在一起使用。并且允许我们可以做一个多分组的查询。尽管如此，我们要仔细检查指定的分组集。...注意，需要强调一个十强，一定要确保分组列字段部位NULL，因此NULLS不能被用作分组列在GROUPING SETS中使用。

4.8K11 0

HiveCube在有赞的实践

创建Cube的工具有很多，本文重点介绍在多维汇总场景下，由传统开发模式替换为HiveCube开发模式过程中碰到的问题以及处理经验，主要包括以下方面的内容：背景理论实践二、背景在今年上半年，我们接到公司一个项目...code: select dim1, dim2, count(*), grouping__id from t1 group by dim1, dim2 grouping sets ( (dim1...hive1.0以后，grouping__id的生成算法与spark一致。在hive1.0以前，生成算法与spark不一致。...四、实践该部分内容重点介绍HiveCube在生产环境使用过程中碰到的问题以及处理经验 4.1 代码实现grouping__id 因为grouping__id的实现算法在Hive与Spark可能存在差异...4.8 HiveCube的拆分假设随着业务和需求的发展，grouping sets包含的聚合维度一直在增长，到了100，200，300个，Cube还能扛得住压力吗？

8753 0

讲讲 group by 的plus版

明细表 t 如下：有一种最简单的方法就是，我们写5个 Sql 语句，然后将数据导出来在 Excel 中处理。5个 Sql 语句如下：想一下，我们要做上面的那个需求，我们应该怎么做呢？...最后出来的结果如下： 02|grouping sets 利用 union all 要比导出5个Sql然后再在 Excel 中处理简单多了，但是有没有发现上面的代码很长，很冗余。...就是我们今天要讲的group by的 plus 版。真名叫做 grouping sets。这个 plus 可以根据不同维度组合进行聚合。...group by后面放的字段表示要分组聚合的全部字段，grouping sets 后面放的是 group by 后面各种字段的组合，根据实际需求进行组合就行，组合字段用小括号括起来，也可以是单一字段。...在求取全国的成交量的时候其实是不需要分组聚合的，但是为了使用 grouping sets，所以我们在求取全国成交量的时候用 group by null。

4703 0

Hive窗口函数05-GROUPING SETS、GROUPING__ID、CUBE、ROLLUP

Hive窗口函数GROUPING SETS、GROUPING__ID、CUBE、ROLLUP入门 1....sets()和grouping__id 在一个group by查询中，根据不同的维度组合进行聚合，等价于将不同维度的group by结果集进行union all grouping__id，表示结果属于哪一个分组集合...注意： grouping__id中的__是两个下划线 grouping__id需要与grouping sets()或cube或rollup一起使用，否则会报错 select month, day..., count(distinct cookieid) as uv from cookie5 group by month,day grouping sets (month,day); 结果： month...SETS,GROUPING__ID,CUBE,ROLLUP

1.4K2 0

神奇的 SQL ，同时实现小计与合计，阁下该如何应对

关于小计与合计，大家肯定不会陌生，甚至很熟悉　　或多或少都实现过这样的功能，尤其是涉及到报表统计的时候，小计与合计是绕不过去的坎　　那有哪些实现方式了，我们今天就来盘一盘　　GROUP...　　　　你们不要怀疑我是不是在套娃，请把怀疑去掉，我就是在套娃！...GROUPING 　　考虑到 MySQL 8.0.30 不支持 CUBE 和 GROUPING SETS ，所以后面的 SQL 都基于 PostgreSQL 14.1 GROUPING 不会单独使用...GROUPING SETS 　　该运算符主要用于从 ROLLUP 或者 CUBE 的结果中取出部分记录　　例如，如果希望从 GROUP BY CUBE(ware_category,registration_date...相比 ROLLUP 和 CUBE 相比， GROUPING SETS 的使用场景特别少，有所了解即可总结　　GROUPING 　　作用很明显，就是为了区分超级分组记录的 NULL 和原始数据 NULL

4341 0

PG：什么是grouping sets

ExecInitAgg中：可以看到组数等于组集合数（若没hash的话），每个分组中有numaggs个聚集这里就需要理解什么是grouping sets。...PostgreSQL9.5版本引入了group by的分组集合功能，提供了GROUPING SETS，CUBE，ROLLUP参数。...那么再看下GROUPING SETS语法：有3种聚合分类：1）针对name进行分组然后求sum值；2）针对class进行分组，然后求sum值；3）grouping sets种的空，表示所有行都聚合到一个分组中...需要注意，grouping sets的集合中，一个括号一个分组，如下(name,class)为一个分组。该语句等价于普通的group by。...总结：grouping sets中有一个集合，则有一个聚合；若有2个集合，则2个聚合。

7484 0

SQL Server 2008中增强的汇总技巧

SQL Server 2008中SQL应用系列--目录索引 SQL Server　2008中对汇总有明显的增强，有点像Oracle的语法了。...注意：使用Rollup与指定的聚合列的顺序有关。...和Rollup，还有更加灵活强大的自定义集合汇总－－Grouping Sets /*********使用Grouping Sets创建自定义汇总数据***************/ /********...BY grouping SETS ((TeamID),(TeamID,PName),(CYear,PName)) ?...小结：带有Cube,Rollup,grouping Sets的Group By函数在统计与分析中有着广泛的应用，相信它的高效简捷，在特定的场合会令你爱不释手！

1.2K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

使用group by rollup和group by cube后的辅助函数

深入理解 SQL 中的 Grouping Sets 语句

SQL grouping

Hive Grouping Sets,CUBE与ROLLUP

基于Hive的数据立方体实践

SQL多维分析

Hive中group by还能这样玩？

别说了，GROUP BY 我都不会！

SQL中的分组集

《面试季》高频面试题-Group by的进阶用法

Hive优化器原理与源码解析系列--优化规则HiveAggregateProjectMergeRule(十六)

SQL 基础--> ROLLUP与CUBE运算符实现数据汇总

Hive 入门 Group By 全案例【附代码】

介绍一种非常好用汇总数据的方式GROUPING SETS

HiveCube在有赞的实践

讲讲 group by 的plus版

Hive窗口函数05-GROUPING SETS、GROUPING__ID、CUBE、ROLLUP

神奇的 SQL ，同时实现小计与合计，阁下该如何应对

PG：什么是grouping sets

SQL Server 2008中增强的汇总技巧

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐