---- 某些SQL查询为什么慢 要弄清楚这个问题，需要知道MySQL处理SQL请求的过程， 我们来看下 MySQL处理SQL请求的过程 客户端将SQL请求发送给服务器 服务器检查是否在缓存中是否命中该...SQL，未命中的话进入下一步 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 根据执行计划来，调用存储引擎API来查询数据 将结果返回给客户端 ---- 查询缓存对SQL性能的影响 query_cache_type...---- 造成MySQL生成错误的执行计划的原因 存储引擎提供的统计信息不准确 执行计划中的估算不等同于实际的执行计划的成本 MySQL不考虑并发的查询 MySQL有时候会基于一些特定的规则来生成执行计划...> show profile for query 1; # m每个阶段的耗时 +----------------------+----------+ | Status |...> 查看耗时的SQL SELECT a.thread_id, sql_text, c.event_name, (c.timer_end - c.timer_start) / 1000000000
之前我写了一篇文章 SQL 生成斐波那契数列，在原来的基础上，今天就来实现使用 SQL 获取 100 以内的质数。 先来看下质数的定义（以下定义摘选自百度百科）： 质数又称素数。...的数去整除 n，如果能被整除，则说明 n 是合数，否则该数是质数。 那具体到 SQL 里该怎么实现呢？...在 MySQL 8.0+ 的版本上可以运行，如果使用其它数据库，只要支持 CTE 语法，稍微改下就能运行。...对应的 SQL 可以这么写： SELECT num AS prime FROM seq a WHERE 0 >= (SELECT COUNT(*) FROM...这种写法不好理解，也可以改写成 NOT EXISTS 的写法，完整的 SQL 如下： WITH recursive seq (num) AS (SELECT 2 AS num UNION ALL
引言 此前的文章中，我们介绍了 mysql 最常用的存储引擎 — innodb 的性能优化。 主要围绕参数、索引设置等方面进行。...Mysql Innodb 性能优化 事实上，在实际使用中，最为常见的性能问题大多是不合理的使用方式，即 sql 语句的问题引起的，因此与参数、索引优化相比，直接优化和修改 sql 语句获得的收效往往更加明显...本文，我们就来看看如何查看 mysql 中正在运行的 sql 语句的状态，以及如何进行相应的优化。 2. 查看 sql 执行状态 2.1....查看 SQL 查询耗时 查看 profiling 功能是否已打开 打开 profiling 查看 profiling 查看某个 query 的耗时情况 通过上面的 SQL 就可以查询出指定 SQL 的耗时了...Searching rows for update 正在讲符合条件的记录找出来以备更新。它必须在UPDATE要修改相关的记录之前就完成了。 Sleeping 正在等待客户端发送新请求.
select a.sql_text SQL语句, b.etime 执行耗时, c.user_id 用户ID, c.SAMPLE_TIME 执行时间,...c.INSTANCE_NUMBER 实例数, u.username 用户名, a.sql_id SQL编号 from dba_hist_sqltext a, (select.../ 1000000 >= 1) b, dba_hist_active_sess_history c, dba_users u where a.sql_id = b.sql_id...and u.username = 'MYDB' and c.user_id = u.user_id and b.sql_id = c.sql_id and a.sql_text...like '%select * from big_data_tbl%' order by SAMPLE_TIME desc, b.etime desc; 输出： SQL语句执行耗时用户ID
如果我们想回滚任何未提交的事务，通常需要undo logs ，并且它在隔离中起着重要作用。 对于事务期间所做的任何更改，都必须优先存储，因为如果我们选择回滚事务，这些更改是必需的。...如果事务使用SQL命令修改数据，它将为每个操作创建离散的undo logs 。一旦事务被提交，MySQL就可以自由地清除在该事务中创建的 undo logs。...通常，回滚过程将比原始操作花费更多的时间。因为这是一个单线程进程。 案例：让我们考虑一个有1亿条记录的表sbtest1。我将根据id<=3000000的条件删除3000万条记录。...手工处理的方法： mysql> show processlist; +—-+—————–+———–+———+———+——+————————+—————————————-+ | Id | User...id，参数2 是评估的时间间隔 mysql> select RollbackTimeCalc(18,5); +———————————————————————————————————-+ | RollbackTimeCalc
一、processlist中的未提交事务 对于一个执行完但未提交的事务，无法在show processlist的输出中找到该信息： -- session 1 mysql> set autocommit...通过查看performance_schema.events_statements_current表可看到每一个session正在执行的sql，哪怕它依旧执行完成了，只是没有提交： mysql...组成，这个方法只能看到事务最后执行的是什么SQL，无法看到全部。...: select connection_id() from dual 1 row in set (0.00 sec) 参考： MySQL如何定位未提交事务执行的SQL语句?...MySQL如何找出未提交事务信息
找出未提交的MySQL线程/事务: SELECT * from information_schema.processlist; 这个能看到上面哪个SQL线程ID（下图的378号线程就是造成MDL锁的罪魁祸首...SELECT trx_id,trx_state,trx_started,trx_mysql_thread_id,CURRENT_TIMESTAMP - trx_started AS RUN_TIME from...这很可能是因为在一个显式的事务中，对TableA进行了一个失败的操作（比如查询了一个不存在的字段），这时事务没有开始，但是失败语句获取到的锁依然有效，没有释放。...，因为错误的语句根本不会被记录到二进制日志。...也可以 kill 掉DDL所在的session.
你可能也遇到过这种需求：找出每个部门入职最早的员工的信息；获取每个科目最高分的学生信息；获取用户最近一次的完整登录信息。...就拿 emp 举例，要从 emp 表中获取每个部门薪资最高的员工的信息。emp 表的数据如下： ? 最终的查询结果如下图。 ? 要实现这个查询功能，有多少种实现方法呢？...窗口函数 如果你在用 MySQL 5.8+，窗口函数可能是你最先想到的办法，因为它足够简洁、简单。 先按部门分组，再对组内按照薪资降序排序，取排序序号为 1 的行即为部门最高薪资的员工的信息。...子查询 如果你的数据库还不支持窗口函数，那可以先对 emp 分组，取出每个部门中的最高薪资，再和原表做一次关联就能获取到正确的结果。...当 a.sal 是分组的内的最大值时，a.sal < b.sal 的条件不成立，关联出来的结果中 b 表的数据为 NULL。
有时候早期建的表上可能缺少主键，这样容易导致查询或者主从复制比较慢。 下面是一个小的脚本，用于找出没有主键的表。 #!.../bin/bash # 找出没有主键的表 # Date: 2017/06/05 source /etc/profile LOG="/tmp/nopk.log_$(date +%F)" user='root...' host='localhost' pass='123456' sock='/tmp/mysql.sock' MYSQL_CMD="mysql -u$user -h$host -p$pass -S$sock..." dbs=$($MYSQL_CMD 2>/dev/null -BNe "select SCHEMA_NAME from information_schema.SCHEMATA where SCHEMA_NAME...not in ('information_schema','performance_schema')") for db in $dbs; do $MYSQL_CMD information_schema
采集MySQL top ten 体积的表明细情况： 脚本如下： source /etc/profile USER='root' PASSWD='123456' SOCKET='/tmp/mysql.sock...' HOST='localhost' datadir=$(/usr/local/mysql/bin/mysql 2>/dev/null -u${USER} -p${PASSWD} -h${HOST} -...total//g' ) IP_ADDR=$(/sbin/ip a|egrep '10.[0|1].[1-9]+.[1-9]+*' | awk '{print $2}'| cut -d '/' -f 1); mysql...','performance_schema') ORDER BY ( data_length + index_length ) DESC LIMIT 10 ; " 脚本里面带上了采集时间、机器的IP...我们还可以用python脚本将这些采集到的数据按行插入到远程数据库中，或者json格式上送到数据库运维平台的接口达到metrics入库的目的。
项目开发中，经常会对耗时较长的 SQL 进行针对性优化，而在搭建项目雏形时，统计 SQL 耗时的能力，是项目中必不可少的基础服务能力。 那么，大家平时在项目中，都是怎么实现 SQL 耗时监控的呢？...倘若要统计 Mybatis 数据库操作的耗时，那么需要人为指定拦截 Executor 类，因为在 Mybatis 中 SQL 的操作都是从 Executor 类开始的。 ?...此时便可以通过 MappedStatement 对象获取 xml 映射文件中的每一条 SQL 语句，进而完成 SQL 耗时的监控，当然可以进行美化 SQL 输出。 ?...既然知道在哪儿控制 SQL 耗时，那就可以做的更多，如果 SQL 执行耗时超过 5 秒，可以接入报警模块，进行邮件、短信、QQ、微信等进行实时报警。 ?...可以把上图标注 2 的打印 SQL 耗时日志的部分，换成报警通知模块接入，让 SQL 耗时进行实时报警成为现实。 3 学以致用，大家先用明白再说。
找出谁持有行锁（RR级别）https://cloud.tencent.com/developer/article/1869793 MySQL找出谁持有行锁（RC级别）https://cloud.tencent.com.../developer/article/1869900 表锁(表锁也是MDL锁的一种) 表级锁对应的instruments(wait/lock/table/sql/handler)默认已开启，对应的consumers...下面通过一个示例来演示如何找出谁持有表级锁。...会话一： lock table t read; 会话二： update t set pad='xxx' where id = 1; # 被阻塞 查询: 找出持有表锁的脚本 SELECT ps.conn_id...OCP、Oceanbase OBCA、PingCAP PCTA认证，擅长基于Oracle、MySQL Performance Turning及多种关系型 NoSQL数据库。
1.sql语句的执行计划，可以通过explain查看，有三种格式，traditional、json和tree；默认是传统格式，可以通过explain format=tree/json +sql来选择其他格式如...关闭优化器跟踪功能，set optimizer_trace = "enabled=off"3.找出需要优化的sql通常可以通过workbench，mysql enterprise monitor等数据库工具找出消耗资源最多的...sql语句，当然也可以sys视图来找出需要优化的sql；最需要优化的sql并不是指的单次执行时间最长的sql语句，而应该是总计执行时间最长的sql语句，它等于执行次数乘以单次执行时间。...sys数据库视图是建立在performance_schema数据库上的，在sys.statement_analysis中找出总计执行时间最长的sql，同样也可以在performance_schema.events_statements_summary_by_digest...查找如图片如果要清空以前的sql语句并重新进行统计，执行如下存储过程：call sys.ps_truncate_all_tables(false);图片
找出谁持有行锁（RR级别）https://cloud.tencent.com/developer/article/1869793 MySQL找出谁持有行锁（RC级别）https://cloud.tencent.com.../developer/article/1869900 提到行锁，不得不提事务，不得不提事物隔离级别 事务隔离级别： 一个事务所做的修改，对其他事务是不可见的，好似是串行执行的。...多个事务并行执行的，好似他是串行执行的，事务并发执行，但是效果和串行效果一致，一个事务所做的修改对其他事务是不可见的，好似是串行执行的。 不符合隔离性就会存在三个问题：脏读、幻读、不可重复读。...MySQL下加锁都是对索引进行加锁。...比serializable要好，下面我们看下RC和RR级别下，锁的粒度，我们以MySQL8.0为参考。
DBA除了日常的运维工作之外，可能还需要对开发人员提出的SQL需求进行建议和实现。最近有遇到几个比较有意思的SQL，在解决的过程中发现，这些SQL的处理思路都是通过找出数据的共同属性来解决。...以下通过两个SQL案例，演示找出数据共同属性的思路。...9 3 2018/1/27 9 4 2018/1/28 9 5 2018/1/29 6 1 2018/1/30 67 1 2018/1/31 623 1 根据上方表格，第一列、第二列为原始数据，通过SQL...找出共性： 上面问题就是一个找出相同属性的问题，我们可以发现数量连续相同的记录存在一个共性：数量连续相同的任何一条记录 小于它的日期 并且 不等于它的数量 的最大日期 是一样的。...[(2)在(3)前，同理(7)在(8)前] 找出共性： 这是一个排序问题，我们通过以上排序逻辑的描述要求，找出以下共性： 匹配到的字符的左边可能有字符; 匹配到的字符的右边可能有字符; 匹配到字符的左边或右边的字符个数越少越好
找出谁持有行锁（RR级别）https://cloud.tencent.com/developer/article/1869793 MySQL找出谁持有行锁（RC级别）https://cloud.tencent.com...在MySQL5.7之前的版本中，要排查谁持有全局读锁，通常在数据库层面是很难直接查询到有用数据的（innodb_locks表也只能记录InnoDB层面的锁信息，而全局读锁是Server层面的锁，所以无法查询到...从MySQL5.7版本开始提供了performance_schema.metadata_locks表，用来记录一些Server层的锁信息(包含全局读锁和MDL锁等)。...下面通过一个示例来演示如何使用performance_schema找出谁持有全局读锁。...# 执行加锁语句 mysql> flush table with read lock; Query OK, 0 rows affected (0.60 sec) # 查询以下加锁线程的process
/cloud.tencent.com/developer/article/1869546 MDLhttps://cloud.tencent.com/developer/article/1869667 MySQL...找出谁持有行锁（RR级别）https://cloud.tencent.com/developer/article/1869793 MySQL找出谁持有行锁（RC级别）https://cloud.tencent.com...id2<9的有记录的值。...id2<9 的有记录的值。...作者：姚崇 Oracle OCM、MySQL OCP、Oceanbase OBCA、PingCAP PCTA认证，擅长基于Oracle、MySQL Performance Turning及多种关系型 NoSQL
今天遇到一个需求，需要找出最新的一条数据。...然后我的Sql是这样的 SELECT pm25, pm10, so2, no2,...我想到解决办法是加上一个条件startTime和endTime 就是当日期的开始 也就是00:00:00~23:59:59 这个时间范围的数据就是最新的数据了。...AND insTime BETWEEN #{startTime} AND #{endTime} 另外也可以不使用MAX，可以使用 ORDER BY insTime Limit 1 这样也可以找出最新的一条...这个只是个人的解决办法，如果好的解决办法可以传授一下。
大家好，我是知数堂SQL 优化班老师 网名：骑龟的兔子 ?...需求： 想要查找哪些索引太长了，这个SQL在5.7下跑的特别慢，8.0则挺快的，帮看下有啥优化方案没 具体SQL 和执行计划如下 ： SELECT c.TABLE_SCHEMA AS DB, c...想到了AUTOKEY 就是临时索引，那思路就是改写SQL 达到生成临时索引，最终达到优化效果 改写的SQL 如下 SELECT c.TABLE_SCHEMA AS DB, c.TABLE_NAME...那分析下上面这个SQL的问题在哪里？ 问题就是生成的AUTO KEY的量相对来说非常大！...SQL 优化课 即将在春节后开课 我是知数堂SQL 优化班老师~ ^^
-----------------来自小马哥的故事 ---- 所周知，目前的mysql版本中并不支持直接的递归查询，但是通过递归到迭代转化的思路，还是可以在一句SQL内实现树的递归查询的。...这个得益于Mysql允许在SQL语句内使用@变量。以下是示例代码。...,0,1,3,6 21 8 1 ,0,8 以上就是一句SQL...实现MYSQL的递归查询的实现全过程，希望对大家的学习有所帮助。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
