你的MySQL会抖动吗 1. 什么是MySQL 抖动 一条SQL语句正常执行的时候特别快，有时候会变得特别慢。但是这种场景不是很常见。 2....MySQL 为什么会抖动 2.1 脏页 内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存为脏页。 2.2 干净页 内存数据写入到磁盘后，内存和磁盘上的数据页的内容一致，称为干净页。...2.4 什么时候会触发flush操作 InnoDB 的 redo log 写满了。 系统内存不够，需要新的内存页了，就需要淘汰一些内存页。 MySQL 认为系统空闲时候，开始flush。...这种情况尽量避免，一旦redo log 写满，系统会拒绝更新操作，此时更新数为0。 2.5.2 系统内存不够。...2.5.3 MySQL空闲的时候 对性能基本无影响。 2.5.4 MySQL 关闭 对性能基本无影响。
WAL机制保证只要redo log和binlog保证持久化到磁盘，就能确保MySQL异常重启后，数据可以恢复。...MySQL redo log存储状态 TODO 三种状态： 存在redo log buffer 物理上是在MySQL进程内存 写到磁盘(write)，但还没持久化（fsync) 物理上是在文件系统的...除了后台线程每s一次的轮询操作，还有两种场景会让一个未提交的事务的redo log写入磁盘： redo log buffer占用的空间即将达到 innodb_log_buffer_size的一半，后台线程会主动写盘...为了让一次fsync带的组员更多，MySQL采取优化：拖时间。...因为此时表示redo log只保存在内存，这样MySQL本身异常重启也会丢数据，风险太大。
当MySQL去更新一行，但是要修改的值跟原来的值是相同的，这时候MySQL会真的去执行一次修改吗？还是看到值相同就直接返回呢？...❌的想法一 MySQL读出数据=》发现值与原来相同=》不更新=》直接返回=》执行结束。 做一个锁实验来确认。 假设，当前表t里的值是(1,2)。 锁验证方式 ?...你肯定觉得MySQL怎么这么笨，就不会更新前判断一下值是不是相同？不就不用浪费InnoDB多更新一次了？ 其实MySQL确认过了。...同理，若是binlog_row_image=NOBLOB, 会读除blob外的所有字段，在这个例子，结果还是(1,2)。...那么read_set设为全1，表示所有的字段都要读 类似的，如果表中有timestamp字段而且设置自动更新，则更新“别的字段”的时候，MySQL会读入所有涉及的字段，这样通过判断，就会发现不需要修改。
TIP：文末福利，记得领取～ 这期面试官提的问题是： MySQL 表删除一半数据，表空间是否会变小？为什么？ 我： 你这么问，肯定是不会？...遇到这种问题先做一波实验，我的思路验证下是否会删除。声明：此次实验采用的 MySQL 版本是 5.7，引擎是 InnDB 往期精彩 MySQL 查询语句是怎么执行的？...MySQL 索引 MySQL 日志 MySQL 事务与 MVCC MySQL 的锁机制 MySQL 字符串怎么设计索引？ 面试官：数据库自增 ID 用完了会咋样？...03 新增数据 不止是删除数据会造成空洞，插入数据也会 如果数据是随机插入，非主键自增的，就可能造成索引的数据页分裂。...alter table order engine=InnoDB 执行它，临时表 order_tmp 不需要你自己创建，MySQL 会自动完成转存数据、交换表名、删除旧表的操作。
使用root用户登陆到数据库后，检查“数据库日志”是否开启 SHOW VARIABLES LIKE 'general%'; # 这份日志会保存到数据库的安装目录， Centos7默认的目录是 /var...-----+-----------+ 若为OFF，则开启之（这个选项的作用是把所有SQL操作打印到日志）： SET GLOBAL general_log='ON'; # 当调试完毕后记得关闭之，否则太耗服务器资源了...另外，还有一个相关的“慢查询日志”，检查是否开启： SHOW VARIABLES LIKE '%slow_query_log%'; # 这份日志会保存到数据库的安装目录， Centos7默认的目录是...--+----+ 若为OFF，则开启之（这个选项的作用是把执行时间超过一定数值的SQL打印到日志）： SET GLOBAL slow_query_log='ON'; # 当调试完毕后记得关闭之，否则太耗服务器资源了...虽然 VM_211_224_centos.log 日志有内容，但也仅仅是一股脑把所有SQL列印出来而已，并不能反映每条SQL的执行时长。
Mysql Dump、Redis Rdb) 写日志(eg....Mysql Binlog、Hbase Hlog、Redis AOF) RDB 什么是RDB RDB是Redis内存到硬盘的快照 ,用于持久化。...redis启动时硬盘中的RDB文件(二进制)载入到内存 触发机制-主要三种方式 save(同步) 通过客户端save创建RDB文件到硬盘(二进制) 大家知道redis是单线程运行的,save的时候会堵塞其他进程...文件策略 bgsave(异步) 通过客户端bgsave 创建RDB文件到硬盘(二进制)时，redis 通过linux的fork创建redis子进程来完成备份， 一般情况下fork创建子进程很快，不会堵塞...触发机制不容忽视 RDB现存的问题 耗时、耗性能 redis内存的数据dump到硬盘的RDB文件 O(n)数据 : 耗时 fork() : 消耗内存、虽然是copy-on-write策略,但是数据大依然会影响性能
前文回顾 在上文，我们介绍了 MySQL InnoDB行锁的： 2个模式：S锁和X锁 3种算法：Record Lock、Gap Lock、Next-key Lock 如何开启锁监视器 和 如何分辨3种锁...从上锁的类型来说： 咱们上文曾说过，行锁默认的是Next-key Lock，可能会降级为Gap Lock或Record Lock。...、InnoDB引擎、可重复读事务隔离级别 ---- 聚集索引 小于 新打开一个mysql客户端，我们叫Session2， 执行SQL如下（按id < 20）： begin; update ct set...你是不是会怀疑我搞错了？...范围组合 说明：索引失效 会 锁表 的规则是通用的，所以这里就 统一 只演示 不锁表 的情况。
，在执行增删改操作前，会自动给涉及的表加写锁。...2、对MyISAM表的写操作（加写锁），会阻塞其他进程对同一表的读和写操作，只有当写锁释放后，才会执行其它进程的读写操作。 简而言之，就是读锁会阻塞写，但是不会堵塞读。而写锁则会把读和写都堵塞。...但是，Innodb的行级锁定同样也有其脆弱的一面，当我们使用不当的时候，可能会让Innodb的整体性能表现不仅不能比MyISAM高，甚至可能会更差。...）， Innodb_row_lock_waits （等待总次数） Innodb_row_lock_time （等待总时长）这三项。...尤其是当等待次数很高，而且每次等待时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手指定优化计划。
通过上面的实验，可以发现： MyISAM在执行查询语句（SELECT）前，会自动给涉及的所有表加读锁，在执行增删改操作前，会自动给涉及的表加写锁。...2、对MyISAM表的写操作（加写锁），会阻塞其他进程对同一表的读和写操作，只有当写锁释放后，才会执行其它进程的读写操作。 简而言之，就是读锁会阻塞写，但是不会堵塞读。而写锁则会把读和写都堵塞。...但是，Innodb的行级锁定同样也有其脆弱的一面，当我们使用不当的时候，可能会让Innodb的整体性能表现不仅不能比MyISAM高，甚至可能会更差。...）， Innodb_row_lock_waits（等待总次数） Innodb_row_lock_time（等待总时长）这三项。...尤其是当等待次数很高，而且每次等待时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手指定优化计划。
要疏通一个车流量拥堵的道路，加宽堵塞点上游的道路，只会加重拥堵；让堵塞点下游的司机换道行驶，对于缓解堵塞点无济于事。只有识别并解决了最大的堵塞点的拥堵，才能改善全局的流速。...在敏捷IT研发交付中，度量的作用，就好比是在识别价值流中最大的堵塞点，以便在“价值准、流速快、质量好”这3个维度中，识别端到端价值流最大瓶颈（以及方向错误），并将其作为下一步改进点进行改进，以最大化改进成效...流速和质量指标高于局部性指标 指标不要和绩效考核直接挂钩，而主要用于自我提升，否则会变为数字游戏 变化趋势高于绝对值 明确指标所针对的改进目标 指标越多，边际收益递减 当指标无法指导改进时，要果断放弃 为过滤掉一些会让平均值失真的异常值...P80值 生产环境用户故事交货时长 = 该业务系统最近几次投产用户故事交货时长（从提交第一行代码到成功投产上线之间的时长）的P80值 生产环境业务系统严重故障修复时长 = 该业务系统最近几次必须尽快修复的严重故障的修复时长...= 该业务系统流水线最近几次必须尽快修复的严重故障的修复时长（从故障出现到成功修复或回滚之间的时长）的P80值 测试 用户故事SIT测试首次良品率 = 最近几个迭代SIT测试阶段能首次测试通过的用户故事占比的
这里我结合常用的nginx+tomcat+redis+mysql这类常见架构进行分析： ?...connectionTimeout表示连接的超时时长。...Redis部分性能瓶颈分析 一些大key的查询，导致网络出现拥塞情况 例如说往一个list集合中存储了50m的数据，一旦发生list全量查询，同时又有其他指令在进行访问的时候，就容易会导致网络堵塞。...假设有一张t_user表，已经存储了几千万的数据，并且也对用户的id进行了索引建立，但是sql执行速度依旧是超过1s时长，这个时候就需要换一种思路进行分析了。...如果某天你发现了有很多线程都被堵塞在了RW-latches的时候，有可能就是因为hash索引的并发访问负载过高导致的堵塞，这个时候可以通过增大hash索引的分区参数，或者关闭自适应hash索引特性来进行处理
这里我结合常用的nginx+tomcat+redis+mysql这类常见架构进行分析： IDEA 中的神奇插件：防沉迷、防猝死......connectionTimeout表示连接的超时时长。...Redis部分性能瓶颈分析 一些大key的查询，导致网络出现拥塞情况 例如说往一个list集合中存储了50m的数据，一旦发生list全量查询，同时又有其他指令在进行访问的时候，就容易会导致网络堵塞。...假设有一张t_user表，已经存储了几千万的数据，并且也对用户的id进行了索引建立，但是sql执行速度依旧是超过1s时长，这个时候就需要换一种思路进行分析了。...如果某天你发现了有很多线程都被堵塞在了RW-latches的时候，有可能就是因为hash索引的并发访问负载过高导致的堵塞，这个时候可以通过增大hash索引的分区参数，或者关闭自适应hash索引特性来进行处理
所以查询效率更低 2.b树每一层存的是数据+索引; b+树是除了叶子节点存的是数据+索引以外,其余节点只存索引,所以在相同数据量的情况下,b树的高度会比b+ 树高很多 面试题2:微服务架构中日志有什么好方案吗?...本地分析一般是在宿主机上安装代理，执行分析命令，上报到服务器 面试题3:Mysql主从的延迟怎么解决呢，有什么好的思路吗？...3.服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。 4.不同业务的mysql物理上放在不同机器，分散压力。...5.使用比主库更好的硬件设备作为slave总结，mysql压力小，延迟自然会变小。 二：硬件方面 硬件强劲，延迟自然会变小。一句话，缩小延迟的解决方案就是花钱和花时间。...看一下是不是数据库堵塞了，然后排查一下插入的数据是不是特别大，然后看一下是不是到达数据库瓶颈了。
GreatSQL支持读写分离吗 6. 可以使用MySQL Shell来管理GreatSQL吗 7. 使用MGR有什么限制吗 8. MGR最多可支持多少个节点 9. MGR可以设置为自启动吗 10....MGR支持读负载均衡吗 11. MGR支持写负载均衡吗 12. MGR相对传统主从复制是不是会更耗CPU、内存和带宽等资源 13. 为什么启动MGR后，多了个33061端口 14....MGR相对传统主从复制是不是会更耗CPU、内存和带宽等资源 一定程度上来说，是的。因为MGR需要在多个节点间进行事务冲突检测，不过这方面的开销有限，总体来说也还好。 13....MGR中可以创建无主键的InnoDB表吗 是可以的，并且会复制到所有MGR节点，但是仅能创建空表，业务上不能写入数据。...MySQL Shell 8.0能管理MySQL 5.7的MGR集群吗 答案是肯定的。
类型语句的这类语句在INNODB层和MYSQL层进行数据交互的时候一个统称，所以出现它的可能包含: 确实需要访问数据量特别大，可能需要优化。...并且由前面的兼容性列表来看，只有MDL_EXCLUSIVE(X)会堵塞MDL_SHARED_HIGH_PRIO(SH)。...其中EXCLUSIVE就是我们说的MDL_EXCLUSIVE(X)它确实存在当前处于堵塞 六、为何use db也会堵塞？...由步骤2引起了其他语句的堵塞 因为CRATE TABLE A AS SELECT B在A表建立完成之前会上MDL_EXCLUSIVE(X),这把锁会堵塞其他全部的关于A表的语句，包括DESC/SHOW...总结 RC模式下虽然CREATE TABLE A SELECT B中B表不会上任何INNODB ROW LOCK但是如果B表非常大那么A表也会处于MDL_EXCLUSIVE(X)保护下，因此也会触发USE
事务B 插入一条id=6的数据，因为上面存在了(5,7]的间隙锁，所以会堵塞。...事务B 插入一条id=6的数据，因为上面存在了(4,+supernum]的临键(next-key)锁，所以会堵塞。 如果 事务B 是更新 id=7 的记录，同样会堵塞。...事务B 插入一个id=6、age=6的数据，因为age值在上面临键锁，范围内，所以也会堵塞。...但实际上你真是实践之后，你发现同样也会堵塞。 通过实践之后，会发现，所谓的左开右闭原则，跟主键id有关系。...即age=1能插入，age=7会堵塞。 如果插入 1<id<7,age 在(1,7)范围内，是 左闭右闭原则。即age=1会堵塞，age=7也会堵塞。
于是我让他把表名以及SQL发给我，我好排除 ---- 处理过程 收到应用发过来的SQL，查看后发现是一条update语句，本能的我去查看MySQL中是否有相关的锁等待: select trx_mysql_thread_id...`innodb_lock_waits`)\G 并没有发现被堵塞的会话。...然后我将innodb的status 的状态以及process 输出到文件中 mysql -e "show engine innodb status\G" > /tmp/innodb.log mysql...虽然已经扩大了能够进入innodb的阀值，但是还是发生堵塞，说明根源还没有解决。...10秒以上，95%的SQL执行时长达到了285秒。
接下来继续测试在这一行附近执行 replace into 语句是否会被堵塞。...hex 623430; asc b40;; 2: len 4; hex 80000028; asc (;; ---- 从上面的结果来看，replace into 在遇到唯一键冲突的情况下确实会堵塞相邻行的...---- 那么对于 MySQL 来说，发生这种情况，不会自动触发 InnoDB 的死锁检测来回滚事务吗？...实际上确实会回滚事务，但是因为 MySQL 在这个地方有 BUG，在这个调度上可能会导致 woker 线程丢失信号，导致整个复制 hang 住。...官方已经回复这个 BUG 会修复在 8.0.23，但 5.7 的修复时间暂未给出。
有童鞋在后台留言： 沈老师，MyISAM只支持表锁，但网上文章却说，在并发插入量比较大的时候，比较适合使用MyISAM，这矛盾吗？...这个问题，涉及MySQL表锁的一些细节，借着这个问题，系统性说下表锁的“所以然”。 画外音：网上不少文章只说结论，不说为什么，容易让人蒙圈。 MySQL表锁知识系统性梳理。 哪些存储引擎使用表锁？...MySQL，除InnoDB支持行锁外，MySQL的其他存储引擎均只使用表锁，例如：MyISAM, MEMORY, MERGE等。 表锁有什么好处？...（1）表锁占用内存少很多，行锁的数量与行记录数相关，非常耗内存； （2）如果业务经常读写表中很大一部分数据时，表锁会更快，因为此时只涉及一个锁，而不是同时管理N多个锁； （3）如果业务经常使用group...不会因为表锁频繁冲突而导致吞吐量降低吗？ 画外音：知识的系统性，比问题答案更重要。 知识点一： MyISAM的索引与记录存储分离，有单独的区域存储行记录，PK是非聚集索引。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
