1.下载 git clone https://gitee.com/mo-shan/analysis_binlog cd analysis_binlog
从案例中我们得知是中途开启的GTID，但是留下了很多未开启GTID的BINLOG，从第六部分源码bool MYSQL_BIN_LOG::init_gtid_sets()函数的分析，我们知道删除BINLOG后也会触发正向查找来获取gtid_purged(Gtid_state.lost_gtids)。当读取到第一个BINLOG的时候虽然获取到了PREVIOUS GTID EVENT但是没有GTID EVENT，而simple_recovery=flase所以需要继续查找下一个文件，直到找到同时包含PREVIOUS GTID EVENT和GTID EVENT的 那个BINLOG才会停止，那么显然这种情况下那些GTID关闭的时候生成的BINLOG将会全部扫描一遍，如果量大那么代价将是巨大的。 而案例中每半个小时会触发一次BINLOG切换，因为触发超过expire_logs_days参数设置导致BINLOG进行删除，触发了大量的BINLOG扫描。 显然有了前面的基础这个案例很容易分析。
作为一个 MySQL DBA，查看分析 binlog 是日常工作的一部分。不知道你是否遇到过这样的需求：查询一个时间段内各个表的 dml 统计情况。但，如果 binlog 文件很多呢？又或者负责的业务线比较多，有多个业务都有这种需求呢？
这是今年3月份整理的一篇博客，在做业务过程中又有了一些新的理解，所以重新进行了梳理，增加了部分示例和绘图，尽管这里分析的是MySQL的binlog 和redo log，但是这里的两段式提交的思想在做支付场景的业务的时候经常用到。
https://mp.weixin.qq.com/s/XSnFkuYzIlGWMaXIl-oPeQ
爱可生 DBA 团队成员，熟悉 Oracle、MySQL、MongoDB、Redis，最近在盘 TiDB，擅长架构设计、故障诊断、数据迁移、灾备构建等等。负责处理客户 MySQL 及我司自研 DMP 数据库管理平台日常运维中的问题。热衷技术分享、编写技术文档。
MySQL闪回(flashback)利用binlog直接进行回滚，能快速恢复且不用停机。
文章链接：https://mp.weixin.qq.com/s/JOhdZE6ctDI0y53G_qXR8w
作用： 记录mysql数据库的一般状态信息及报错信息，是我们对于数据库常规报错处理的常用日志。
前一段时间客户反馈复制报错 1236 ，根据报错提示该报错为从库读取到了主库不存在的 binlog 日志，导致复制中断，报错截图如下，需要帮忙分析为什么会报错 Could not open log file 原因。
在数据库管理领域，MySQL的二进制日志（Binlog）是一个不可或缺的组件，它记录了所有对数据库执行的更改。对于我们每位开发者而言，理解和掌握Binlog的操作和查询技能，不仅能帮助我们更好地跟踪和分析数据变动，还能在复制错误出现时，提供有效的解决方案。本文将详细介绍如何识别Binlog日志的名称和位置，以及如何查询特定位置的操作，以便于我们在遇到复制错误时，能快速定位问题并采取相应措施。
今天大部分程序需要处理的数据，都来自数据库，尤其是关系型数据库，那么一条 SQL 提交到数据库之后，数据库都做了些什么？如果不懂这些问题，就无法更好的使用数据库，更无法回答好面试官的问题。现在流行的开源数据库，非 MySQL 莫属，面试中 MySQL 也是必问，于是我就学习了专栏《MySQL实战45讲》，今天的文章试着回答以下两个问题：
墨墨导读：MySQL生态中服务层的二进制日志有着非常重要的作用，MVCC机制不用的binlog，是否可以去掉？本文作者详述对MySQL的binlog cache的理解。
MySQL 5.7增强了半同步复制，rpl_semi_sync_master_wait_point增加了AFTER_SYNC的值，由该参数AFTER_SYNC/AFTER_COMMIT两个值选择是否启用增强半同步。
假设主备切换前，我们的主库是节点A，节点B是节点A的备库，客户端的读写都是直接访问节点A，节点B只是将A的更新同步过来然后本地执行，同步完成以后，节点AB的数据就一致了。
MySQL 主从复制功能可以搭建从库来为 MySQL 创建一套在线的备份系统，但是自身不能独立实现切换；需要借助第三方高可用工具。然而当自身有大事务在运行时会阻塞一些 show 语句；例如“show master status”，造成误判。
前段时间在 centos 8 环境上做 MySQL 的备份恢复测试的时候，遇到一个问题，下面跟大家分享下。
mysql版本：5.7.12 查看binlog格式的命令 mysql> show variables like 'binlog_format';
数据库恢复的先决条件是,定时备份数据库,缩小binlog恢复范围.首先我们备份测试数据库数据:
爱可生 DBA 团队成员，负责客户的数据库故障处理以及调优。擅长故障排查及性能优化。对数据库相关技术有浓厚的兴趣，喜欢分析各种逻辑。
出现这个问题感觉还是挺疑惑的，因为测试环境已经稳定运行了几个月的时间，一直没有出现过mysql事务锁的问题，于是开始着手查问题。
本案列我测试过4个版本： percona Mysql 5.7.14 官方社区 Mysql 5.7.17 percona Mysql 5.7.19 percona Mysql 5.7.15 其中percona Mysql 5.7.14和官方社区 Mysql 5.7.17有这个问题。其他版本未知
作为一个后端工程师，想必没有人没用过数据库，跟我一起复习一下MySQL吧，本文是我学习《MySQL实战45讲》的总结笔记的第一篇，总结了MySQL的基础架构、一个查询语句的执行过程 以及 一条更新语句的执行过程。
连接器会校验你输入的用户名和密码是否正确，如果错误会返回提示，如果正确，连接器会查询当前用户对于的权限。连接器的作用就是校验用户权限
MySQL作为蓝鲸平台存取数据的主要数据库，其稳定性关系到蓝鲸平台的使用体验，而其数据安全性则可能关系到企业IT资产相关信息，在安装和维护蓝鲸平台的过程中应引起足够重视。本文将对如下几个出现过的问题进行分析和提供处理建议。这几个问题分别为：升级，配置日志自动清理，binlog手动清理维护，表清空，备份。
MySQL 的二进制日志 binlog 可以说是 MySQL 最重要的日志，它记录了所有的 DDL 和 DML 语句（除了数据查询语句select、show等），以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。binlog 的主要目的是复制和恢复。
前边的在《一条SQL查询在MySQL中是怎么执行的》中我们已经介绍了执行过程中涉及的处理模块，包括连接器、分析器、优化器、执行器、存储引擎等。今天我们来一起看看一条更新语句又是怎么一个执行流程。
上一篇咱们了解了MySQL 的执行过程，其中设计连接器、分析器、优化器、执行器和存储引擎，接下来我将给大家讲解一下在MySQL中一条更新语句是如何执行。我相信大家可能听公司的DBA提起过，可以将数据恢复到半个月内任意时间的状态，是不是感觉很高大上，很厉害呢，下面我就将这个谜底一步一步解开
MySQL 死锁异常是我们经常会遇到的线上异常类别，一旦线上业务日间复杂，各种业务操作之间往往会产生锁冲突，有些会导致死锁异常。这种死锁异常一般要在特定时间特定数据和特定业务操作才会复现，并且分析解决时还需要了解 MySQL 锁冲突相关知识，所以一般遇到这些偶尔出现的死锁异常，往往一时没有头绪，不好处理。
我们可以看到mysql分为Server层和存储引擎两部分。Server层包含了连接器、缓存、分析器、优化器、执行器，并且所有的存储过程、触发器等存储功能都在这一层实现。
爱可生 MySQL DBA 团队成员，Oracle 10g OCM，MySQL 5.7 OCP，擅长数据库性能问题诊断、事务与锁问题的分析等，负责处理客户 MySQL 及我司自研 DMP 平台日常运维中的问题，对开源数据库相关技术非常感兴趣。
go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_rollback工具二次开发而来。
转载：https://www.cnblogs.com/zero-gg/p/9057092.html
最近年底，大家的数据库经常跑批量大事务，会发现复制突然断开，报错“心跳与本地信息不兼容”：
熟悉MySQL的都知道MySQL服务端实现主要分为Server层和存储引擎层。Server层负责接收和管理客户端连接、管理缓存、解析SQL、优化SQL、调用存储引擎执行SQL；存储引擎层主要负责存储、查询数据。
TiDB Binlog 组件用于收集 TiDB 的 binlog，并准实时同步给下游，如 TiDB、MySQL 等。该组件在功能上类似于 MySQL 的主从复制，会收集各个 TiDB 实例产生的 binlog，并按事务提交的时间排序，全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库，以及 TiDB 数据准实时的备份与恢复。随着大家使用的广泛和深入，我们遇到了不少由于对 TiDB Binlog 原理不理解而错误使用的情况，也发现了一些 TiDB Binlog 支持并不完善的场景和可以改进的设计。
MySQL 之 -- 一条更新的 SQL 如何执行，一条更新的 SQL 语句如何执行执行流程一条 SQL 的执行流程如图所示：(图片来源于网络) 如图所示：MySQL 数据库主要分为两个层级：服务层和存储引擎层服务层：server 层包括连接器、查询缓存、分析器、优化器、执行器，包括大多数 MySQL 中的核心功能所有跨存储引擎的功能也在这一层实现，包括存储过程、触发器、视图等。 执行流程 一条 SQL 的执行流程如图所示：（图片来源于网络） 如图所示： MySQL 数据库主要分为两个层级：服务层和存
当前xtrabackup的8.0.13已经支持 mysql 8.0.20版本（8.0.20版本对innodb的数据文件模式进行了修改）
区别在于TPCC测试的业务流程，sysbench测试的单语句执行性能。按照自需选择测试工具。
binlog二进制日志对于mysql数据库的重要性有多大，在此就不多说了。下面根据本人的日常操作经历，并结合网上参考资料，对binlog日志使用做一梳理： 一、binlog日志介绍 1）什么是binlog binlog日志用于记录所有更新了数据或者已经潜在更新了数据（例如，没有匹配任何行的一个DELETE）的所有语句。语句以“事件”的形式保存，它描述数据更改。 2）binlog作用 因为有了数据更新的binlog，所以可以用于实时备份，与master/slave主从复制结合。 3）和binlog有关参数 l
之前你可能经常听DBA同事说，MySQL可以恢复到半个月内任意一秒的状态，惊叹的同时，你是不是心中也会不免会好奇，这是怎样做到的呢？
在状态 1 中，客户端的读写都直接访问节点 A，而节点 B 是 A 的备库，只是将 A 的更新都同步过来，到本地执行。这样可以保持节点 B 和 A 的数据是相同的
在开始排错之前我们需要知道 Update 在 MySQL 中的生命周期是什么，MySQL 如何执行一个事务的。
SHOW BINLOG EVENTS 的详细用法可以参考 SHOW BINLOG EVENTS Syntax
原文链接:https://blog.51cto.com/u_14612701/2505993
本篇文章会分析下一个sql语句在mysql中的执行流程，包括sql的查询在mysql内部会怎么流转，sql语句的更新是怎么完成的。
log_bin binlog的开关和binlog的前缀
在搭建MySQL主从的时候，change master是一个关键，如果没有使用GTID的方式，就需要使用偏移量和指定的binlog，每次需要手工去抓取这些信息，感觉还是比较费力，而且偏移量对我们来说就是一个黑盒子，到底递增多少，我们也不知道，只是给我们一个结果，但是搭建了一些环境之后，我突然发现了一些“规律”，比如下面的语句。 CHANGE MASTER TO MASTER_HOST='192.168.xxx.xxx.', MASTER_USER='rpl_user1', MASTER_PASS
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
