今天遇到一个需求,需要找出最新的一条数据。...,如果在10w条数据中用MAX函数应该很会慢,而且数据越来越多,有可能100w条。...加索引的如果数据量太大也会慢吧。我想到解决办法是加上一个条件startTime和endTime 就是当日期的开始 也就是00:00:00~23:59:59 这个时间范围的数据就是最新的数据了。...AND insTime BETWEEN #{startTime} AND #{endTime} 另外也可以不使用MAX,可以使用 ORDER BY insTime Limit 1 这样也可以找出最新的一条...这个只是个人的解决办法,如果好的解决办法可以传授一下。
-- 查看重复数据 SELECT `item_id`,COUNT(1) FROM app_wine GROUP BY `item_id` HAVING COUNT(1) > 1 -- 删除重复数据保留一条最新数据...DELETE FROM app_wine WHERE id NOT IN ( SELECT t.min_id FROM ( -- 过滤出重复多余的数据,比如,如果所有记录中存在...1条记录是user_name=zhangsan的,那么就取出它; -- 如果所有记录中存在多条记录是user_name=lisi的,那么只取其中1条,其他的不查询出来 SELECT
看到这条报警信息,可以明确一个任务,此时数据库中存在大量的慢日志,条数为335,超出了阈值设置的300 当然打开日志来分析的时候,会发现比想象的要复杂一些,因为慢日志文件可能有几百兆甚至更大,要分析整个文件显然是不可行的...# ll *cccd* -rw-r----- 1 mysql mysql 70494 Nov 20 09:37 dic_fsm_cccd_info.frm -rw-r----- 1 mysql mysql...# ll *cccd* -rw-r----- 1 mysql mysql 70494 Feb 27 23:47 dic_fsm_cccd_info.frm -rw-r----- 1 mysql mysql...10485760 Feb 27 23:48 dic_fsm_cccd_info.ibd 所以目前来看这个表是存在碎片的,说明大量的数据是写入了库中,然后很可能做了delete操作,导致数据总量变化不大...,而是你的数据服务能力。
收集数据库信息可以帮助我们快速找到问题, 官方提供了个存储过程 sys.diagnostics 来帮助我们采集信息官网链接就不放了, 因为我写这个文章的时候, 官网挂了(2022.08.11 14:...22)....使用方法如下:CALL sys.diagnostics(1, 1, 'current')建议用mysql命令导出为HTML格式方便看mysql -h127.0.0.1 -P3308 -p...-H -e "CALL sys.diagnostics(1, 1, 'current')" > /tmp/t20220811.html然后把保存的文件用浏览器打开图片常见的信息基本上都有图片
之后该连接的权限验证都依赖于刚查出来的权限。 第二步:查询缓存 当获取连接后,一条SELECT语句会先去查询缓存,看之前是否执行过。如果获取到缓存后就执行返回,不然继续后面的步骤。...大多数时候不建议使用缓存,因为只要一个表更新,这个表上的所有缓存数据就会被清空了。对于那些经常更新的表来说,缓存命中率很低。MYSQL8版本直接将查询缓存的整块功能删掉了。...第三步:分析器 分析器首先会做“词法分析”,MYSQL会识别出SQL语句里面的字符串是什么以及代表什么。接下来就是“语法分析器”,分析SQL的语法问题。...打开表的时候,执行器就会根据表的引擎定义,去使用这个引擎提供的接口。 图片 一条update语句执行流程 update语句除了会执行上面的五步,还会涉及两个重要的日志模块。...执行器拿到了引擎返回的数据行,把这个n值+1,得到新的行数据,然后调引擎的接口写入这行新数据。
点击关注"故里学Java" 右上角"设为星标"好文章不错过 前边的在《一条SQL查询在MySQL中是怎么执行的》中我们已经介绍了执行过程中涉及的处理模块,包括连接器、分析器、优化器、执行器、存储引擎等。...今天我们来一起看看一条更新语句又是怎么一个执行流程。 查询语句的一套执行流程,更新语句也会同样的走一步,下边我们在对照上次文章中的图来简单的看一下: ?...我们先创建一张表,这个表有主键ID和一个整型字段c: mysql> create table demo T (ID int primarty ,c int); 然后将ID=2的这一行的值加1 mysql...假设redolog写完,binlog还没写完,MySQL进程异常重启了。我们知道,redolog写完以后,系统即使崩溃了,也可以将数据恢复,所以在MySQL重启后,这一行会被恢复成1。...由于binlog没写完就crash,这时候binlog里面是没有这个语句的,因此之后备份日志的的时候,存起来的binlog日志也没有这一条语句。
每次查询都会缓存查询结果,相同语句再次查询时直接返回缓存结果,缓存结果会在修改表信息时自动失效。
先查询表几条demo数据,名字相同,时间不同 select id,name,create_date from sys_user 20181123171951945.png 方法1:最简单,且字段全部相同...,排除其他字段不同; 先对表按照时间desc排序,在查询该层使用group by 语句,它会按照分组将你排过序的数据的第一条取出来 select id,name,create_date from...( select * from sys_user order by create_date desc) a group by a.name 方法2:使用not exists,该方法通过相同名字的不同创建的时间进行比较...exists (select * from sys_user b where a.name = b.name and a.create_date < create_date ) 方法3:使用内关联的方式...select * from sys_user a inner join ( -- 先查询出最后一条数据的时间 select id,name, MAX(create_date
1、查找表中的多余的重复记录,重复记录是根据单个字段(empID)来判断 ---- select * from Employee where EmpID in (select EmpID from Employee...group by EmpID having count(EmpID)>1 ) 2、删除表中多余的重复记录,重复记录是根据单个字段(empID)来判断,, ---- select * from Employee
,判断是否满足接入server的条件 mysql ‐h host[数据库地址] ‐u root[用户] ‐p root[密码] ‐P root 查询缓存 在8.0之前,如果用户开启了查询缓存的开关,那么客户端发起请求连接之后...因为如果对一个表的数据更新压力比较大,就回导致这样一个现象:我刚把数据放进缓存后,过了一会就被更新数据操作,将缓存删除了,所以加入缓存就没有一点益处了,综合考虑之后,加入缓存这个鸡肋操作后,往往是弊大于利...,后续执行引擎执行语句,就得靠这个语法树进行 优化器 在经过分析器之后,mysql需要做的是对我们的sql进行一定的优化,那么它做了哪些优化呢 决定使用哪个索引 调整where 字段位置:如建立了一个联合索引...abc,但是我们的where 条件是这么写的 where b =1 and a=2 and c=4,这样写肯定不满足最左前缀匹配原则的,所以mysql决定给你优化下,直接调整成这样:where a=2...and b=1 and c=4,最终使用到了索引;但是如果 写成where b=1 and a=2,没有c字段,mysql是不会给你优化的。
MySQL 之 -- 一条更新的 SQL 如何执行,一条更新的 SQL 语句如何执行执行流程一条 SQL 的执行流程如图所示:(图片来源于网络) 如图所示:MySQL 数据库主要分为两个层级:服务层和存储引擎层服务层...执行流程 一条 SQL 的执行流程如图所示:(图片来源于网络) 如图所示: MySQL 数据库主要分为两个层级:服务层和存储引擎层 服务层:server 层包括连接器、查询缓存、分析器、优化器、执行器...存储引擎也可以在创建表的时候手动指定,比如: SQL 语句的执行过程 连接器:需要 MySQL 客户端登录,需要一个 连接器 来连接用户和 MySQL 数据库,“mysql -u 用户名 -p 密码”...但是查询缓存不建议使用, 因为在 MySQL 中对某张表进行了更新操作,那么所有的查询缓存就会失效,对于更新频繁的数据库来说,查询缓存的命中率很低。...词法分析:首先,MySQL 会根据 SQL 语句进行解析,分析器会先做 词法分析,你写的 SQL 就是由多个字符串和空格组成的一条 SQL 语句,MySQL 需要识别出里面的字符串是什么,代表什么。
作为CRUD工程师,了解Mysql中SQL查询的执行过程,对我们从查询优化,数据库配置,数据还原方面都有帮助。...然后,执行一条查询语句,用作分析查询过程:SELECT student_name FROM students where student_id Mysql的连接器负责处理和客户端的连接,并对用户进行身份认证和权限确认。...但Mysql默认是没有开启缓存的,并且在Mysql8.0之后直接移除了这个功能。...分析器如果没有命中缓存,就进入了正式的处理阶段,首先是分析器,我们传递过去的还只是一个字符串,分析器要将这段字符串转成Mysql看得懂的语言,会进行三段处理。
第9章 9.1 聚集函数 如果需要汇总数据而不是检索,SQL 提供专用函数,可用于检索数据,以便分析和报表生成。...屏幕快照 2018-05-31 06.00.56.png 提示:对非数值数据使用MAX() MAX()用来找出最大的数值或日期值,但许多 DBMS 允许它用来返回任意列中的最大值,包括返回文本列中的最大值...在用于文本数据时,MAX()返回按该列排序后的最后一行。MAX()函数忽略列值为 NULL 的行。...屏幕快照 2018-05-31 06.09.48.png 提示:对非数值数据使用 MIN() MIN()用来找出最小的数值或日期值,但许多 DBMS 允许它用来返回任意列中的最小值,包括返回文本列中的最小值...在用于文本数据时,MIN()返回该列排序后最前面的行。MIN()函数忽略列值为 NULL 的行。
当我们在项目中使用mybatis框架执行一条mysql语句时,会经历如下过程: ?...mysql客户端(项目)连接mysql服务端,主要作用是验证客户端的用户密码、权限等、这一步一般发生在项目启动初始化时,连接器验证通过后将连接对象保存到内存中,以便使用。...mysql客户端与服务端连接后,会判断这条语句是否命中查询缓存,命中直接返回查询结果,否则进去分析器。 分析器的主要功能是检查语法是否正确。...将调优后的sql方案传给执行器,执行器调用相应的存储引擎接口,如果是查询语句直接进行执行步骤,比如这条Sql有两个条件,会分解为两步判断。...如果是更新语句则先查询出该条记录,修改后调用引擎接口,引擎会把数据保存到内存中,然后记录redolog(Innodb事务日志prepare状态),然后通知执行器可以提交了,执行器收到后记录binlog(
执行如下SQL,我们看到的只是输入一条语句,返回一个结果,却不知道这条语句在 MySQL 内部的执行过程。...也可以通过指定存储引擎的类型来选择别的引擎,比如在 create table 语句中使用 engine=memory, 来指定使用内存引擎创建表。 一条SQL查询的完整执行流程如上图所示。...你输入的是由多个字符串和空格组成的一条 SQL 语句,MySQL 需要识别出里面的字符串分别是什么,代表什么。 MySQL 从你输入的"select"这个关键字识别出来,这是一个查询语句。...如果表的读操作远远多于写操作且不需要数据库事务的支持,那么MyIASM也是很好的选择。 MySQL内建的其他存储引擎 MySQL还有一些特殊用途的存储引擎,在一些特殊场景下用起来会很爽的。...CSV引擎可以在数据库运行时拷入或者拷出文件,可以将Excel等电子表格软件中的数据存储为CSV文件,然后复制到MySQL数据目录下,就能在MySQL中打开使用。
开发背景: 最近在做一个批量数据导入到MySQL数据库的功能,从批量导入就可以知道,这样的数据在插入数据库之前是不会进行重复判断的,因此只有在全部数据导入进去以后在执行一条语句进行删除,保证数据唯一性...HAVING COUNT(brandName)>1 #条件是数量大于1的重复数据 ) 使用SQL删除多余的重复数据,并保留Id最小的一条唯一数据: 注意点: 错误SQL:DELETE FROM brand...“brand” 原因是:不能将直接查处来的数据当做删除数据的条件,我们应该先把查出来的数据新建一个临时表,然后再把临时表作为条件进行删除功能 正确SQL写法: DELETE FROM brand...Id FROM (SELECT MIN(Id) AS Id FROM brand GROUP BY brandName) t) 这句的意思其实就是,通过分组统计出数据库中不重复的最小数据id编号,让后通过...not in 去删除其他重复多余的数据。
这是学习笔记的第 2028 篇文章 前几天睡觉前接到前同事的一个信息,说有个奇怪的SQL问题,想让我帮忙看看,给点建议,我以为是一种非常复杂的SQL,他的反馈能让MySQL崩溃。...DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 接下来我们直接进入正题,首先先来做一个查询,因为表里没有数据...server during query 当然这个操作是可以复现,通过这个 写入1条数据 mysql> insert into t10(pid) values('test'); mysql> insert...into t10_sub(pid,cid) values('test','test100'); 数据也没什么特别之处,我们来继续执行查询。...经过测试,目前有两种,一种是去除union的子句,一种是对于order by的部分做下调整,原来是order by new_t10+1,现在修改为order by new_t10. mysql> explain
又或者,为什么 SELECT 里定义的别名可以在 HAVING 中使用,却不能在 WHERE 中引用? 今天,我们就以一条真实业务场景中的SQL为例,彻底搞懂MySQL中SQL语句的逻辑执行顺序。...让我们通过一个直观的流程图来理解这一过程: 2. 深入解析MySQL执行流程 2.1 第一步:数据源的连接与过滤(FROM, ON, JOIN) MySQL的执行过程从FROM子句开始。...然后应用ON条件过滤掉不匹配的记录,生成VT2。 实用技巧:当FROM子句包含多个表时,MySQL的执行顺序是从后往前、从右到左。因此,应该将数据量最小的表放在最后面,作为驱动表。...总体的执行架构图如下(借用其他作者的图): MySQL执行架构总体分为三层核心:连接层(接入)→ 服务层(处理逻辑)→ 存储引擎层(数据读写),最终与磁盘交互完成数据持久化。...(Storage Engines) MySQL的“数据存储引擎”,是可插拔的架构(默认 InnoDB),负责数据的实际读写、事务管理、锁机制、索引维护等 磁盘层 存储MySQL的持久化数据,包括:数据文件
需求除了导数据外, 有时候还要导出用户授权信息.而官方的show grants 命令一次只能查询一个用户SHOW GRANTS [FOR user]常用的做法就是写脚本, 但这么个小事情还专门写脚本就太麻烦了...实现我们可以通过如下SQL得到查询所有用户授权信息的SQLselect concat('show grants for "',user,'"@"',host,'";') from mysql.user;...;""" | mysql -h127.0.0.1 -P3308 -p123456 -NB | mysql -h127.0.0.1 -P3308 -p123456 -NB图片这样便得到了所有用户的授权信息...再小小的优化一下MYSQL_CONN="mysql -h127.0.0.1 -P3308 -p123456 -NB"echo """select concat('show grants for \"',...user,'\"@\"',host,'\";') from mysql.user;""" | $MYSQL_CONN|$MYSQL_CONN图片这样便好看多了.以后有导出授权DDL的时候就可以跑这个命令了