首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQL 崩溃恢复过程分析

本文我们一起来看看,MySQL崩溃恢复过程中都干了哪些事情,Redo 日志又是怎么大显身手的。...概述 MySQL 崩溃也是一次关闭过程,只是比正常关闭着急了一些。 正常关闭时,MySQL 会做一系列收尾工作,例如:清理 undo 日志、合并 change buffer 缓冲区等操作。...读取两次写页面 MySQL 一旦崩溃,Redo 日志就要去拯救世界了(MySQL 就是它的世界),Redo 日志拯救世界的方式就是把还没来得及刷盘的脏页恢复到崩溃之前那一刻的状态。...正常状态指的是 MySQL 崩溃之前,数据页最后一次正确的刷新到磁盘的状态。...总结 MySQL 崩溃恢复过程的核心工作有 2 点: 对于 MySQL 崩溃之前还没有刷新到磁盘的数据页(也就是脏页),用 Redo 日志把这些数据页恢复到 MySQL 崩溃之前那一刻的状态,这相当于对脏页进行一次刷盘操作

1K10

MySQL崩溃恢复功臣—Redo Log

Redo log文件是InnoDB用于崩溃恢复(crash recovery)以及组提交(group commit)策略的重要文件,存在于磁盘上。...下面大致讲解下Redo log是怎么做到崩溃恢复以及组提交的。 崩溃恢复 崩溃恢复能力是指InnoDB可以保证数据库在异常崩溃重启后的状态和使用binlog文件恢复出来的数据库状态保持一致。...redo log是怎么做的 先上一张图,是InnoDB更新数据时update语句的执行流程(摘自极客时间《MySQL实战45讲》,自己重新绘制),橙色的流程在InnoDB内部执行,蓝色的部分在MySQL...下面我们从上图4个可能发生异常关闭的时间点来分析InnoDB如何在MySQL启动时做崩溃恢复。...组提交 上面关于崩溃恢复部分只是讲了写redo log和binlog的步骤,那么一定很疑惑数据是何时被写入到磁盘文件中的呢,这里就要说下InnoDB通过redo log实现的组提交的策略了。

11.2K101
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    存储崩溃MySQL数据库恢复案例

    RAID5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,RAID5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。...经客户描述故障过程为:第一块硬盘掉线后系统启动热备盘进行替换,第二块硬盘掉线时RAID5处于降级状态,第三块硬盘掉线导致RAID阵列崩溃。下面看看北亚工程师是如何进行操作的吧!...四、通过分析数据库页提取数据 本次数据恢复的虚拟机内有mysql数据库,可以利用数据库底层存储的特殊性进行数据页扫描,提取数据。...五、获取mysql数据页并分析 根据mysql数据页特征进行数据页扫描并导出(innodb引擎可以使用此方案,myisam因为没有“数据页”概念所以不可用),分析系统表获取各用户表信息,根据各个表的id...分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的mysql数据库内,然后剔除各个表中因为表结构变更造成的乱码数据,最后将两组数据分别导出为.sql文件。

    4.6K20

    --MYSQL MGR 崩溃后的修复和问题查找

    MYSQL 的 GROUP REPLICATION 估计大多数的公司都没有用,即使用也不是在主要的项目和关键的地方。...所以网上相关MYSQL Group Replicaiton 的的修复的东西也不多。赶巧,最近我们的测试系统的 MGR 崩溃了。...我们的MGR 的测试系统是三台MYSQL 5.7.23 + Proxysql 组成的,曾经坏过一台机器(网络原因),但MGR 稳稳的提供数据库服务,这次的崩溃和上次比,没有那么简单。三台机器挂了两台。...在保存了错误日志后,我尝试恢复,主库,重启启动后可以登录,并且再次重新运行命令,一般你要重新来过,最好要知道,崩溃中的那个库时最后的主库,然后在那个主库上操作下面的命令。...后面因为2号机的数据库还是正常的,所以直接resetart 1号MYSQL,下面的图也就是后边备份1号机在备份的时候,和XTRABACKUP PERPARE 的时候异常慢的一个原因。

    2.7K50

    第09问:MySQL 莫名崩溃,如何保留现场?

    问题 我的 MySQL 偶尔崩溃,如果需要追查原因,应该如何保留现场? 实验 MySQL 随着版本不停迭代,崩溃的现象越来越少,也越来越隐蔽。...一旦遇到生产环境上的 MySQL 崩溃,就需要保留现场信息,供分析用。虽然 MySQL 的 error log 中会打印部分信息,但对于比较隐蔽的崩溃,往往显得力不从心。...因此我推荐开启 coredump,以备 MySQL 诊断需要。 我们来模拟一个崩溃场景,然后配置 coredump 看看效果。 选取一个容易复现崩溃的 bug,我们选择了 bug #95294。...是因为异常崩溃了, error log 中有一段堆栈信息,可以用来判断这个崩溃的问题, 以上是 MySQL 能提供的所有信息,无法针对一些复杂场景进行分析。...结论 通过开启操作系统级别、放开用户限制、启用 MySQL 参数三个步骤,我们启用了 MySQL 的 coredump 功能,使得 MySQL 崩溃时留下了足够的线索。

    79920

    基于Redo Log和Undo Log的MySQL崩溃恢复流程

    在之前的文章「简单了解InnoDB底层原理」聊了一下MySQL的Buffer Pool。...MySQL 奔溃恢复 这个过程看似没啥问题,实则不讲武德。假设我们修改Buffer Pool中的数据成功,但是还没来得及将数据刷入磁盘MySQL就挂了怎么办?...那不完犊子吗,连数据持久化的保证、事务回滚都做不到还谈什么崩溃恢复? Redo Log & Undo Log 而通过MySQL能够实现崩溃恢复的事实来看,MySQL必定实现了某些骚操作。...MySQL 崩溃恢复 首先,更新数据还是会判断数据是否存在于Buffer Pool中,不存在则加载。...MySQL 崩溃恢复 简单介绍一下2PC,它是一种保证分布式事务数据一致性的协议,它中文名叫两阶段提交,它将分布式事务的提交拆分成了2个阶段,分别是Prepare和Commit/Rollback。

    99410

    MySQL崩溃后的数据一致性

    不涉及存储的纯计算系统崩溃/失效之后,隔离故障节点或者重启故障节点后就能恢复业务。 存储系统却没有那么简单。...单机数据一致性 MySQL崩溃后,保证单机数据一致性主要包括两个机制:“MySQL binary log和InnoDB redo log的一致性”和“InnoDB数据文件的一致性”。...数据恢复的一个场景是,MySQL崩溃后对数据进行数据恢复,MySQL Server层通过binlog恢复已经写入binlog却没有写入数据文件的数据(简单这么说)。...MySQL崩溃重启后,InnoDB会检查每个块(page)的校验和,判断块是否损坏,如果写入双写缓冲的是坏块,那么一定没有写入实际数据文件,就要用实际数据文件的块来恢复双写缓冲,如果写入了双写缓冲,但是数据文件写的是坏块...1.1 异常场景 异常描述: 主库写入binlog并返回客户端结果后崩溃了,从库并没有收到主库的二进制日志事件。 恢复影响: 切换主库。数据丢失; 恢复主库。

    2.7K81

    美团一面:为什么线程崩溃崩溃不会导致 JVM 崩溃

    大家好,我是坤哥 网上看到一个很有意思的美团面试题:为什么线程崩溃崩溃不会导致 JVM 崩溃,这个问题我看了不少回答,但发现都没答到根上,所以决定答一答,相信大家看完肯定会有收获,本文分以下几节来探讨...线程崩溃,进程一定会崩溃吗 进程是如何崩溃的-信号机制简介 为什么在 JVM 中线程崩溃不会导致 JVM 进程崩溃 openJDK 源码解析 线程崩溃,进程一定会崩溃吗 一般来说如果线程是因为非法访问内存引起的崩溃...,那么进程肯定会崩溃,为什么系统要让进程崩溃呢,这主要是因为在进程中,各个线程的地址空间是共享的,既然是共享,那么某个线程对地址的非法访问就会导致内存的不确定性,进而可能会影响到其他线程,这种操作是危险的...,所以统一会报 Segment Fault 错误(即段错误),这些都会导致进程崩溃 进程是如何崩溃的-信号机制简介 那么线程崩溃后,进程是如何崩溃的呢,这背后的机制到底是怎样的,答案是信号,大家想想要干掉一个正在运行的进程是不是经常用...(可以通过 -XX:ErrorFile=/var/log/hs_err.log 这样的方式指定),这个文件记录了虚拟机崩溃的重要原因,所以也可以说,虚拟机是否崩溃只要看它是否会产生此崩溃日志文件 总结

    2.1K20

    尴尬的bug:一条查询语句让MySQL崩溃

    这是学习笔记的第 2028 篇文章 前几天睡觉前接到前同事的一个信息,说有个奇怪的SQL问题,想让我帮忙看看,给点建议,我以为是一种非常复杂的SQL,他的反馈能让MySQL崩溃。...mysql> (select sub_tmp.cid, (select count(*) from t10 where pid = sub_tmp.pid ) as new_t10 from t10_sub...select sub_tmp.id,sub_tmp.id from t10_sub as sub_tmp); Empty set (0.00 sec) 而奇怪的是如果查看执行计划,则整条语句会导致当前会话崩溃...server during query 当然这个操作是可以复现,通过这个 写入1条数据 mysql> insert into t10(pid) values('test'); mysql> insert...server during query 可以看到这次结果比较统一,执行计划解析和查询操作都会导致会话崩溃

    2.2K30

    MySQL】记一次MySQL崩溃修复案例,再也不用删库跑路了!!

    这不,这几天一个朋友在一家公司当运维,在测试服务器上执行了一条错误的命令,导致MySQL数据库崩溃了,纠结了好几天也没解决问题。...后来,我们一起“摆龙门阵”时聊起了这个话题,于是,我晚上下班后,在家又开始深入研究MySQL源码了!从根源上找出MySQL为啥会崩溃,于是有了这篇文章的总结。...问题描述 研究MySQL源代码,调试并压测MySQL源代码时,MySQL崩溃了!问题是它竟然崩溃了!而且还损坏了InnoDB文件!!...,可以分分钟搞定MySQL崩溃问题了!!...local/mysql/bin/mysqld[0xa5bce2]/usr/local/mysql/bin/mysqld[0xa1e2ba]/usr/local/mysql/bin/mysqld[0xa0bf60

    1K20

    秩序与崩溃

    例如,在生物组织的所有尺度级别上观察到排列熵水平上升,从基因和单个细胞到组织、器官、生物体和社会群体[26]:单个细菌的死亡与多细胞生物的崩溃、生物体群体或整个生态系统的崩溃遵循相同的动力学[27]。...规范性目标状态的崩溃可能加剧自我与他人的二分法,这可能表现为群内与群外行为的增加(极化)。当压力持续存在时,外部(社会)和内部(自我)模型可能是下一个崩溃的目标。...当目标层次进一步崩溃时,系统组件之间的解耦可能变得如此严重,以至于整个系统崩溃。系统的内部状态将线性地跟随其环境的状态(即完全失去恒稳性),通常对应于疾病或系统的死亡。...随后的层次结构崩溃涉及从相对有序(同步,整合,适应性)状态过渡到相对无序(解同步,分隔,适应性不良)状态。生命系统中目标层次的自上而下崩溃似乎是过载自由能的开放耗散系统中级联故障的特例。...这可能可以解释为压力首先导致目标层次结构的最高区域崩溃,我们提出这包含一个贯穿(规范)层次结构,负责生成我们的“最高目标”。这样高层次结构的崩溃可能会产生层次结构下方的问题。

    14310

    FlexboxLayoutManager崩溃

    记录一个FlexboxLayoutManager内部崩溃的排查过程 背景 崩溃发生在FlexboxLayoutManager内部 没有与项目代码直接关联的信息 在小米11上容易复现,其他机型没有复现...首先看下崩溃log Caused by: java.lang.ArrayIndexOutOfBoundsException: length=10; index=-1 at java.util.ArrayList.get...,具体崩溃的代码,需要配合mapping文件来定位 根据mapping定位崩溃代码 项目采用R8混淆,mapping的代码会不太一样,先看下最终崩溃时候的log信息 ArrayIndexOutOfBoundsException...log,computeScrollOffset后面跟的行数信息是java:4,说明对应的是上面的mapping的第二行 2:5对应的行数是2291:2294,因为崩溃地方是4,所以对应的行数是2293,...:1220,所以崩溃的行数是1219,我们看下源码 可以知道是mFlexLines.get(lastFoundLinePosition)导致的崩溃 崩溃溯源 由于有机子可以稳定复现,重新复现后,定位下崩溃时候的信息

    1.9K30

    程序崩溃与优化

    程序崩溃 程序崩溃是指计算机程序在运行时出现了严重的错误或异常情况,导致程序无法正常运行并突然终止。 1.1 程序崩溃出现场景 内存溢出: 在C程序中,内存分配通常由函数如malloc来完成。...如果程序未提供适当的异常处理机制,如使用try-catch块来捕获异常,程序可能会崩溃。在C中,除以零通常会导致程序终止,并且没有捕获异常的机制。...这将导致未定义行为,通常会导致程序崩溃。 #include #include int main() { // 5....内存溢出 int *arr = malloc(sizeof(int) * 100); arr[101] = 42; // 超出数组边界,可能导致崩溃 // 2....软件错误 int *ptr = NULL; *ptr = 42; // 试图访问空指针,可能导致崩溃 return 0; } 2.

    12810

    04.Android崩溃Crash库之Loop拦截崩溃和ANR

    目录总结 01.能否利用Looper拦截崩溃 02.思考几个问题分析 03.App启动时自动开启Looper 04.拦截主进程崩溃 前沿 上一篇整体介绍了crash崩溃崩溃重启,崩溃记录记录,查看以及分享日志等功能...拦截全局崩溃(主线程),避免 APP 退出。...,自行上报崩溃信息"); } }); } } ``` 通过上面的代码就可以就可以实现拦截UI线程的崩溃,耗时性能监控。...04.拦截主进程崩溃 拦截主进程崩溃其实也有一定的弊端,因为给用户的感觉是点击没有反应,因为崩溃已经被拦截了。...如果是Activity.create崩溃,会出现黑屏问题,所以如果Activity.create崩溃,必须杀死进程,让APP重启,避免出现改问题。

    1.1K20
    领券