首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    第二篇 -COUNT DISTINCT:SPL轻量级文件存储提速查询实践

    SQL 中的去重计数 COUNT DISTINCT 一直比较慢。去重本质上是分组运算,需要把遍历过的分组字段值都保持住,用于后续的比对。结果集太大时,还要把数据写到硬盘上做缓存,性能低下。...注意:events 和 MYSQL 系统表重名了,所以有些不需要的字段,在 etl 中删掉,不取出即可。ETL 工具导出 SPL 代码 9:转储成组表 CTX。...例 2.1,计算 events 表中有多少不重复的用户。SQL 语句是这样:select count(distinct user_id) from events;执行这个 SQL 需要 7 秒。...SQL 是这样:select count(distinct case when event_type = 1 then user_id end) as count1, count(distinct...if(event_type==1,user_id)):count1,条件成立,得到 user_id,不成立得到 null。

    35810

    数据库查询,你还在 SELECT * 吗?

    技巧4 将大的DELETE,UPDATE or INSERT 查询变成多个小查询 能写一个几十行、几百行的SQL语句是不是显得逼格很高?...然而,为了达到更好的性能以及更好的数据控制,你可以将他们变成多个小查询。...比如根据地域和产品id查询产品价格,第一次使用了: 那么第二次同样的查询,请保持以上语句的一致性,比如不要将where语句里面的id和region位置调换顺序。...技巧7 尽量避免使用 “SELECT *” 如果不查询表中所有的列,尽量避免使用 SELECT *,因为它会进行全表扫描,不能有效利用索引,增大了数据库服务器的负担,以及它与应用程序客户端之间的网络IO...其他 SQL调优方法有很多种,同样的查询结果可以有很多种不同的查询方式。其实最好的方法就是在开发环境中用最贴近真实的数据集和硬件环境进行测试,然后再发布到生产环境中。

    1K20

    SQL 查询是从 Select 开始的吗?

    昨天我正在做窗口函数的解释说明,并且我发现自己在谷歌上搜索“你能根据窗口函数的结果进行过滤吗”。比如 — 你能在WHERE、HAVING或者其它地方过滤窗口函数的结果吗?...我可以根据窗口函数的结果进行过滤吗(不行!窗口函数发生在SELECT中,它发生在WHERE和GROUP BY之后) 我可以基于GROUP BY中所做的来进行ORDER BY么?(可以!...4、混淆因素:列别名 有人在Twitter上指出,许多SQL实现允许你使用以下语法: SELECT CONCAT(first_name, ' ', last_name) AS full_name, count...(*) FROM table GROUP BY full_name 此查询使其看起来像是在SELECT之后才发生GROUP BY,即使GROUP BY先执行,因为GROUP BY引用了SELECT中的别名...你的数据库引擎肯定还会在开始运行查询之前执行一系列检查,确保你在SELECT和GROUP BY中放置的内容合在一起是有意义的,因此在开始制定执行计划之前,它必须将查询作为一个整体来查看。

    3K20

    为什么 select count(*) from t,在 InnoDB 引擎中比 MyISAM 慢?

    标题:为什么select count( * ) from t,在 InnoDB 引擎中比 MyISAM 慢?也是高频面试题。...「在 InnoDB 存储引擎中,跟 MyISAM 不一样,没有将总行数存储在磁盘上,当执行 select count(*) from t 时,会先把数据读出来,一行一行的累加,最后返回总数量」。...知道了 InnoDB 和 MyISAM 引擎 count(*) 实现之后,为什么select count(*) from t,在 InnoDB 引擎中比 MyISAM 慢?...如果 统计数量 SQL 语句为:select count(*) from t where x = 23,那么在 MyISAM 中就不一定比 InnoDB 快了。...不妨用一个例子来说明一下,假设现在 t 表中有 10000 条数据,现在有三个用户同时访问的会话: 会话 A 先启动事务并查询一次表的总行数。 会话 B 启动事务,插入一行后记录后,查询表的总行数。

    74120

    不就是SELECT COUNT语句吗,居然有这么多学问!

    9、SELECT COUNT(*) 的时候,加不加where条件有差别吗? 10、COUNT(*)、COUNT(1)和COUNT(字段名)的执行过程是怎样的?...1、认识COUNT 关于COUNT函数,在MySQL官网中有详细介绍: ? 简单翻译一下: 1、COUNT(expr) ,返回SELECT语句检索的行中expr的值不为NULL的数量。...(*),count(id),count(id2)查询结果如下: select count(*),count(id),count(id2) from #bla results 7 3 2 除了COUNT(...但是,InnoDB还是针对COUNT(*)语句做了些优化的。 在InnoDB中,使用COUNT(*)查询行数的时候,不可避免的要进行扫表了,那么,就可以在扫表过程中下功夫来优化效率了。...看下MySQL官方文档是怎么说的: InnoDB handles SELECT COUNT(*) and SELECT COUNT(1) operations in the same way.

    96830

    INSERT...SELECT语句对查询的表加锁吗

    前言: insert into t2 select * from t1; 这条语句会对查询表 t1 加锁吗?不要轻易下结论。...SELECT 时不加锁,那么可能会出现以下情况: 不可重复读:如果在 INSERT ... SELECT 执行期间,另一个事务修改了被查询的数据,那么 INSERT ......SELECT 语句在执行期间读取到的数据是一致的,并且不会被其他事务修改,从而维护了事务的隔离性和一致性。尽管 MVCC 可以在大多数情况下提供高效的数据读取和写入,但它并不能完全替代锁机制。...在 INSERT ... SELECT 这样的操作中,使用 MVCC 可能无法提供足够的保证。...结论: INSERT...SELECT语句是否对查询表加锁跟事务隔离级别有关,REPEATABLE-READ隔离级别下加共享读锁,此共享读锁属于Nextkey lock,会影响其他事务对查询表的DML操作

    1K10

    Hive性能优化统计每日IP CREATE TABLE ip_2014_12_29 AS SELECT COUNT(DISTINCT ip) AS IP FROM logdfs WHERE logda

    count(distinct ),在数据量大的情况下,效率较低,如果是多count(distinct )效率更低,因为count(distinct)是按group by 字段分组,按distinct字段排序...例如,若有以下查询: SELECT a,b FROM q WHERE e<10; 在实施此项查询中,Q 表有 5 列(a,b,c,d,e),Hive 只读取查询逻辑中真实需要 的 3 列 a、b、e,...对于一条语句中有多个 Join 的情况,如果 Join 的条件相同,比如查询: INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM...消灭子查询内的 COUNT(DISTINCT),MAX,MIN。...) t3 GROUP BY c1,c2,c3; 由于子查询里头有 COUNT(DISTINCT)操作,直接去 GROUP BY 将达不到业务目标。

    2.1K50

    SQL 查询总是先执行SELECT语句吗?你们都错了!

    SQL 查询的执行顺序 于是我研究了一下,发现顺序大概是这样的。SELECT 并不是最先执行的,而是在第五个。 ?...这张图回答了以下这些问题 这张图与 SQL 查询的语义有关,让你知道一个查询会返回什么,并回答了以下这些问题: 可以在 GRROUP BY 之后使用 WHERE 吗?...(不行,WHERE 是在 GROUP BY 之前!) 可以对窗口函数返回的结果进行过滤吗?...(不行,窗口函数是 SELECT 语句里,而 SELECT 是在 WHERE 和 GROUP BY 之后) 可以基于 GROUP BY 里的东西进行 ORDER BY 吗?...但实际上不一定要这样,数据库引擎可以把查询重写成这样: SELECT CONCAT(first_name, ' ', last_name) AS full_name, count(*) FROM table

    1.5K20

    在 Core Data 中查询和使用 count 的若干方法

    在 Core Data 中查询和使用 count 的若干方法 请访问我的博客 www.fatbobman.com[1] ,以获取更好的阅读体验。...在 Core Data 中,开发者经常需要面对查询记录数量(count),使用 count 作为谓词或排序条件等需求。...本文将介绍在 Core Data 下查询和使用 count 的多种方法,适用于不同的场景。 一、通过 countResultType 查询 count 数据 本方法为最直接的查询记录条数的方式。...九、查询某对多关系所有记录的 count 数据 当我们想统计全部记录(符合设定谓词)的某个对多关系的合计值时,在没有使用派生属性或 willSave 的情况下,可以使用下面的代码: let fetchquest...0) /* 也可以直接从 Attachment 一侧进行查询 CoreData: sql: SELECT COUNT( t1.Z_PK) FROM ZITEM t0 LEFT OUTER JOIN

    7.8K20

    MySQL为Null会导致5个问题,个个致命!

    1.count 数据丢失 当某列存在 NULL 值时,再使用 count 查询该列,就会出现数据“丢失”问题,如下 SQL 所示: select count(*),count(name) from person...2.distinct 数据丢失 当使用 count(distinct col1, col2) 查询时,如果其中一列为 NULL,那么即使另一列有不同的值,那么查询的结果也会将数据丢失,如下 SQL 所示...: select count(distinct name,mobile) from person; 查询执行结果如下: ?...5.增加了查询难度 当某列值中有 NULL 值时,在进行 NULL 值或者非 NULL 值的查询难度就增加了。...因此在最后提倡大家在创建表的时候尽量设置 is not null 的约束,如果某列确实没有值,可以设置空值('')或 0 作为其默认值。 最后:大家还有因为 NULL 而造成的各种坑吗?

    2.5K20
    领券