今天给大家下另一个性能提升神器-STRAIGHT_JOIN,在数据量大的联表查询中灵活运用的话,能大大缩短查询时间。
还是因为上一个join优化的问题,项目使用laravel框架 但是框架自身的join()方法并不能使用 STRAIGHT_JOIN stackoverflow 同名问题,查到的方法 mysql -
左表字段last_follow_time是有索引的,排序时但是并没有走索引,出现了Using temporary; Using filesort
翻译过来就是:STRAIGHT_JOIN与 JOIN 类似,只不过左表始终在右表之前读取。这可用于联接优化器以次优顺序处理表的那些(少数)情况。
今天给大家介绍两个黑魔法,这都是压箱底的法宝。大家在使用时,一定要弄清他们的适用场景及用法,用好了,就是一把开天斧,用不好那就是画蛇添足。自从看过耗子哥(左耳朵耗子)的博客,都会给对相应专题有兴趣的小伙伴列出几篇拓展文章,我觉得这种方式还是非常不错,所以这篇文章我也会列出几篇扩展的文章,供想更深入思考的小伙伴查阅。
在使用Impala进行SQL查询的时候,我们经常会使用join来关联多个表进行查询,获取想要的结果。对于表的数量达到千万甚至上亿的时候,不同的join方式所造成的执行速度,可能差距非常大。对于join的实现细节,感兴趣的可以参考:http://hbasefly.com/2017/03/19/sparksql-basic-join/。想直接了解如何加速SQL查询的可以直接跳过这里了。
STRAIGHT_JOIN 与 INNER JOIN 的功能完全一致 使用 INNER JOIN 时,mysql会根据优化规则自动判断 应该先加载哪个表 但有时自动的操作未必最优,就需要手动操作 STRAIGHT_JOIN 就用于多表查询时指定载入表的顺序,这样就可以手动优化关联查询 例如: table1 INNER JOIN table2 mysql会根据自己的优化规则来决定先载入哪个表 如果改为这样:table1 STRAIGHT_JOIN table2 mysql会直接先载入table1
背景:今天对一个20w的表做关联查询,创建各种索引,没有提高执行的效率,使用EXPLAIN检查,总是提示“Using temporary”全表扫描,这不是我想的。通过度娘,各种百度,是因为DISTINCT使用了全表扫描,现在特别记录下来。以背查验。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文不涉及复杂的底层数据结构,通过explain解释SQL,并根据可能出现的情况,来做具体的优化,使百万级、千万级数据表关联查询第一页结果能在2秒内完成(真实业务告警系统优化结果)。希望读者能够理解SQL的执行过程,并根据过程优化,走上自己的"成金之路"
select id,name from product limit 866613, 20
通过「SHOW FULL PROCESSLIST」语句很容易就能查到问题SQL,如下:
在选择Join算法时,会有优先级,理论上会优先判断能否使用INLJ、BNLJ: Index Nested-LoopJoin > Block Nested-Loop Join > Simple Nested-Loop Join
今天这篇文章,我就先跟你说说join语句到底是怎么执行的,然后再来回答这两个问题。
like模糊查询形如'%AAA%'和'%AAA'将不会使用索引,但是业务上不可避免可能又需要使用到这种形式。
MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面,而且这个数组是排好序的。但是如果数值较多,产生的消耗也是比较大的。再例如:select id from table_name where num in(1,2,3) 对于连续的数值,能用 between 就不要用 in 了;再或者使用连接来替换。
出处:https://zhuanlan.zhihu.com/p/49888088
MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面,而且这个数组是排好序的。但是如果数值较多,产生的消耗也是比较大的。再例如:select id from t where num in(1,2,3) 对于连续的数值,能用between就不要用in了;再或者使用连接来替换。
本文我们来谈谈项目中常用的MySQL优化方法,巧用这19条技巧,至少提高3倍效率,具体如下:
原文:http://www.enmotech.com/web/detail/1/700/1.html (复制链接,打开浏览器即可查看原文)
这里使用straight_join,如果我们直接使用join,MySQL优化器可能选t1或t2作为驱动表,但是使用straight_join,会强制t1作为驱动表,t2是被驱动表。
MySQL 对于 IN 做了相应的优化,即将 IN 中的常量全部存储在一个数组里面,而且这个数组是排好序的。
本文总结了 19 条关于 MySQL 的优化方案,本文的优化方案都是基于 “ MySQL-索引-BTree 类型 ” 。希望对你有帮助,码字不易,如果觉得有用,感谢分享。
type列,连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。
当游戏前端开发能力不断提升后,有的小伙伴已经开始不满足了,将魔爪伸向后端开发,立志做一个全栈游戏开发程序员!分享一篇MySQL的好文,加油吧!程序员!
MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面,而且这个数组是排好序的。但是如果数值较多,产生的消耗也是比较大的。再例如:select id from t where num in(1,2,3) 对于连续的数值,能用 between 就不要用 in 了;再或者使用连接来替换。
今天这篇文章,我就先跟你说说 join 语句到底是怎么执行的,然后再来回答这两个问题。
MySQL不支持OUTER JOIN,但是我们可以对左连接和右连接的结果做UNION操作来实现。
我们来看一下当进行 join 操作时,mysql是如何工作的。常见的 join 方式有哪些?
mysql能够在优化阶段分解查询语句,在执行阶段用不着再访问表或索引。例如:在索引列中选取最小值,可以单独查找索引来完成,不需要在执行时访问表
两个表 t1 和 t2 , 一样的,包括索引信息 a 字段有索引 b字段没有索引。
在 SQL 中增加 HAVING 子句原因是,WHERE 关键字无法与合计函数一起使用。
需要理解MySQL对多表连接的处理方式,首先MySQL优化器要确定以谁为驱动表,也就是说以哪个表为基准,在处理此类问题时,MySQL优化器采用了简单粗暴的解决方法:哪个表的结果集小,就以哪个表为驱动表,当然MySQL优化器实际的处理方式会复杂许多。
在数据库处理中,Join操作是最基本且最重要的操作之一,它能将不同的表连接起来,实现对数据集的更深层次分析。
本文若未特意说明使用的数据表,均为 MySQL索引(四)常见的索引优化手段 中的示例表。
领取专属 10元无门槛券
手把手带您无忧上云