ERROR: Error in Log_event::read_log_event(): 'Sanity check failed', data_len: 171, event_type: 30
最近，有一个感觉，就是一直在填坑，我想不止我一个人，不少奋战在一线的“勇士”，都在填坑。一般来说坑分两种，自己挖的，和别人挖的。挖坑也是有水平的，有的坑你根本就无从下手，除非你有“多年的道行”，否则你可能做的不是填坑，而是把坑弄的更大。
sql_log_bin = {ON|OFF} 是否记录二进制日志。启用二进制记录日志，则这项必须是ON
数据库及时备份可以帮助我们在数据库出现异常宕机时及时的使用备份数据进行恢复工作，将因为数据库宕机产生的影响降低到最小。上一篇针对使用xtrabackup工具进行物理备份和数据恢复做了一个详细讲解，本篇主要谈谈如何使用mysql自带的备份工具mysqldump进行逻辑备份和数据恢复。如果还围观看过上一篇文章的可以先行查询上一篇文章关于使用xtrabackup进行数据备份与恢复：Mysql备份与恢复(1)---物理备份。
MySQL以简单易用著称，在同一个服务器上可以安装N个不同的版本，方便测试，迁移等等。此外，对于大多数Linux系统，集成了mysql，缺省会被安装。因此多版本的问题导致一些莫名的错误也是时有发生。最近在提取binlog日志时，碰到了一个read_log_event，Found invalid event in binary log。经查发现原来是mysqlbinlog版本问题引发的。如下文，供大家参考。
通过了解系统是公司很多年前的一个老系统,面向美国用户的，数据库是阿里云的rds 所在区为美国弗吉尼亚mysql版本为5.6，产品在update操作时候字段名称写错了，把一个字段值覆盖掉了
最近的MHA测试过程中，碰到了mysqlbinlog客户端的版本低于服务端版本的问题。即这个错误提示：mysqlbinlog is 3.2 (included in MySQL Client 5.0 or lower), but MySQL server version is 5.6.22-log. mysqlbinlog can not parse row based events。这个应该是个比较常见的错误。主要是由于在安装Linux期间通常在自带安装mysql相关rpm包，后来又安装了高版本的mysql而引发的一些版本问题。下面是这个问题的主要描述。
MySQL :: Download MySQL Community Server (Archived Versions) (opens new window)
mysqlbinlog可以伪装成slave去像主服务器获取binlog. 本脚本就是把这个功能封装了一下.
需求来源是开发想把多个库放置到一个中心库中，实现统计分析的需求。因此就有了多主一从的构想，而mysql不提供这样的原生方案（最新的mysql版本支持，但是新版本谁敢用呢），只能通过几种变种来实现，以下是集中方案的介绍：
写在前面 对于数据库而言，误操作是很致命的，并且是很难完全避免的，除了规范DBA操作之外，还需要一个非常好用的快速闪回工具处理误操作问题。之前有同行发表过类似文章，介绍了诸如binlog2sql和姜承尧开发的增强版mysqlbinlog工具，今天我们介绍一下mariadb官方提供的mysqlbinlog工具的flashback功能，以供大家根据自身情况选择合适的闪回方案。。 flashback介绍 首先，说明一点，mariadb从10.2.4开始支持flashback功能，笔者测试使用的mariadb版本是
MYSQL官方截止目前还没有出来数据闪回特性，也许后续版本会出现。社区有一些开源工具可以使用，沿用的基本都是彭立勋最早提出的思路，利用binlog对SQL进行反向解析，从而实现数据闪回，例如不带where条件的update操作，导致全表数据被误更新。 闪回前提： binlog_format = ROW 操作模拟： 没加where条件，导致全表更新；或者没加host列,导致多余行被更新。 我只想把user=test_user1,host=1.1.1.1改密码，但是没加host条件。此时并没有及时发现，直到报错
爱可生 DBA 团队成员，负责公司 DMP 产品的运维和客户 MySQL 问题的处理。擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。
在讲 binlog 之前，我们先来回顾下主流关系型数据库的默认隔离级别，是默认隔离级别，不是事务有哪几种隔离级别，别会错题意了
上图上有个warning，说的是如果用--database了，可能会过滤掉一些事务
1.下载 git clone https://gitee.com/mo-shan/analysis_binlog cd analysis_binlog
玩过binlog server的同学都知道，它使用mysqlbinlog命令以daemon进程的方式模拟一个slave的IO线程与主库连接，可以很方便地即时同步主库的binlog，以便弥补定时备份策略中最近一次备份到下一次备份完成之前这段时间内的数据容易丢失的问题。 优点：备份出来的binlog不会受到主库expire_logs_days参数的影响，因为binlog server是模拟slave的IO线程，也不会受到从库relay_log_purge参数影响。这些binlog除非你手动清理，否则就会持续
在上一篇博客的学习，我们知道了InnoDB存储引擎的两种事务日志，redo log是InnoDB特有的功能，而MySQL也是有自己的日志机制的，也即本文学习的binlog
MySQL实时增量备份，采用binlog日志的好处 掌控所有更改操作,必要时可用于恢复数据 数据库主从复制的必要条件
如今，MySQL已经是非常普及的数据库，开源社区的支持也是非常活跃。谈到官方运维工具，大家都会用到mysqldump，其实除了这个之外还有一些实用的工具，今天帮大家梳理一下。
关于这种方式的更多内容，可以参考： https://dev.mysql.com/doc/refman/5.7/en/point-in-time-recovery.html
原文地址：http://blog.itpub.net/29773961/viewspace-2143726/
二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中。
MySQL binlog日志记录了MySQL数据库从启用日志以来所有对当前数据库的变更。binlog日志属于二进制文件，我们可以从binlog提取出来生成可阅读的SQL语句来重建当前数据库以及根据需要实现时点恢复或不完全恢复。本文主要描述了如果提取binlog日志，并给出相关示例。
1）增量备份在周一到周六凌晨3点，复制mysql-bin.00000*到指定目录； 2）全量备份则使用mysqldump将整个数据库导出，每周日凌晨3点执行，并会删除上周留下的mysq-bin.00000*，然后对mysql的备份操作会保留在bak.log文件中。
维护mysql的时候，总会遇到数据库恢复的例子。如果把备份集恢复出来相对比较简单。然而如果遇到恢复到时间点的例子，把一个MySQL实例恢复出来之后，需要执行binlog做增量恢复。 常见的办法是用mysqlbinlog解析binlog，将解析出来的内容重定向到mysql命令行执行。在MySQL手册中也是推荐使用mysqlbinlog工具来实现指定时间点的数据恢复。事实上，这是一个经常“让人郁闷”的办法。更好的办法是，使用MySQL内部复制线程中的SQL Thread来做恢复。
MySQL几乎成为互联网行业使用的最多的开源关系型数据库，正因如此，MySQL也成为各大互联网公司面试中必问的数据库，尤其是MySQL中的事务实现机制和三大核心日志的实现原理。
注意： –>binlog是二进制文件，普通文件查看器cat、more、vim等都无法打开，必须使用自带的mysqlbinlog命令查看 –>binlog日志与数据库文件在同目录中 –>在MySQL5.5以下版本使用mysqlbinlog命令时如果报错，就加上 “–no-defaults”选项
有了binlog日志，我们可以实现主从架构，可以用canal、maxwell等工具实现将MySQL数据同步到大数据环境；同时可以对binlog进行解析，可以实现快速的数据恢复(Flashback)，如使用binlog2sql、Myflash、Mariadb mysqlbinlog等，要实现这些功能，对binlog的详细了解是有必要的。
binlog可以说是MySQL中比较重要的日志了，在日常开发及运维过程中，经常会遇到。
MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select），以事件形式记录，还包含语句所执行的消耗的时间。
勘误，昨天有一位 海外 friend 指出昨天文中 postgresql bloom 中的第四步截图是并行扫描，而没有用到bloom 索引，这里抱歉，经查实截图错误，下面是重新的截图，同时另一幅截图也有问题建立索引时缺少 USING bloom，感谢您。
在 mysql 配置文件中配置 log-bin，重启 mysql my.cnf (on Linux/unix) or my.ini (on Windows) 例子:
由于比较离谱, 这里没能复现出来(我是在5744上测试的, 后面有机会再测试下5741), 所以没法给出相关截图. 只能简单描述一下.
binlog模式总共可分为以下三种：row，statement，mixed 1.Row 日志中会记录成每一行数据被修改的形式，然后在slave端再对相同的数据进行修改，只记录要修改的数据，只有value，不会有sql多表关联的情况。 优点：在row模式下，bin-log中可以不记录执行的sql语句的上下文相关的信息，仅仅只需要记录那一条记录被修改了，修改成什么样了，所以row的日志内容会非常清楚的记录下每一行数据修改的细节，非常容易理解。而且不会出现某些特定情况下的存储过程和function，以及trigg
log_bin binlog的开关和binlog的前缀
由于运维、DBA的误操作或是业务bug，我们在操作中时不时会出现误删除数据情况。早期要想恢复数据，只能让业务人员根据线上操作日志，构造误删除的数据，或者DBA使用binlog和备份的方式恢复数据，不管那种，都非常费时费力，而且容易出错。直到彭立勋首次在MySQL社区为mysqlbinlog扩展了闪回功能。 在美团点评，我们也遇到过研发人员误删主站的配置信息，从而导致主站长达2个小时不可用的情况。DBA同学当时使用了技术团队自研的binlog2sql完成了数据恢复，并多次挽救了线上误删数据导致的严重故障。不过
偶然的机会朋友说他部门的数据库误删了，想恢复回来，他百度了一些资料，也跟着试了。但发现会报一些错，于是他就找我帮忙看一下。对于我来说，因为公司的数据库都是DBA在管控，平时都没机会操作，基本上都停留在理论上。
重点文档:https://github.com/danfengcao/binlog2sql
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
mysqlbinlog 是将 binlog 解析成可读可执行的 SQL 的重要工具。
作者 | 李真旭：网名 Roger，Oracle ACE，拥有超过10年的 Oracle 运维管理使用经验；参与过众多移动、电信、联通、银行等大型数据库交付项目， 具有丰富的运维管理经验，对 Oracle 数据库管理运行机制、锁机制、优化机制等具有深入理解；擅长 Oracle 数据库的 performance tunning、troubleshooting 以及异常恢复；个人博客：http://www.killdb.com
MyFlash是美团开源的一个回滚DML操作的工具。该工具通过解析v4版本的binlog，完成回滚操作。
--auto-rehash
我们都知道，binlog可以说是MySQL中比较重要的日志了，在日常学习及运维过程中，也经常会遇到。不清楚你对binlog了解多少呢？本篇文章将从binlog作用、binlog相关参数、解析binlog内容三个方面带你了解binlog。
之前写过一篇名为“快速安全删除MySQL大表”的博客，讲解如何在不影响线上数据库服务的前提下删除大表。实际上清理MySQL binlog也会遇到同样的问题。例如，我们每个binlog文件的大小是1G。最初的做法是，每天凌晨2:30执行下面的操作清理10天前binlog：
binlog 顾名思义就是一种二进制日志，是一种与innodb引擎中redo/undo log完全不同的日志。它主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以”事务”的形式保存在磁盘中。
作者：孙绪宗，新浪微博 DBA 团队工程师，主要负责 MySQL、PostgreSQL 等关系型数据库运维。
近段时间一直在研究mysql的日志系统,在网上看了N多mysql日志操作的文章，但都过于零乱，为了让自己以后不再搞忘，特作出以下总结：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
