相对于其他的数据库厂商大会，MySQL的的确寒酸，连幕头都没有，上来就直接讲，不过也符合MySQL一贯的风格。这次翻译的是 2023年MySQL summit -- MySQL high availability and disaster recovery。开始本次的讲解人是 MySQL的产品经理，明显和我之前听的MongoDB的两期差距较大，一看是不善言辞的人。
有个水友提问： 沈老师，我们有一次MySQL崩溃，重启后发现有些已经提交的事务对数据的修改丢失了，不是说事务能保证ACID特性么，想问下什么情况下可能导致“事务已经提交，数据却丢失”呢？ 这个问题有点复杂，得先从redo log说起。 为什么要有redo log？ 事务提交后，必须将事务对数据页的修改刷(fsync)到磁盘上，才能保证事务的ACID特性。 这个刷盘，是一个随机写，随机写性能较低，如果每次事务提交都刷盘，会极大影响数据库的性能。 随机写性能差，有什么优化方法呢？ 架构设计中有两个常见的优化方法
随着办公自动化和电子商务的飞速发展，企业对信息系统的依赖性越来越高，数据库作为信息系统的核心，担当者重要的角色 数据库备份，是在数据丢失的情况下，能及时恢复重要数据，防止数据丢失的一种重要手段 一个合理的数据库备份方案，能够在数据丢失时，有有效地恢复数据，而且也需要考虑技术实现难度和有效地利用资源
谁也不能保证计算机系统能够永远无故障的执行下去。网络波动、磁盘损坏等现网高频故障，机房掉电、服务器硬件失效等低频却又致命的故障，时刻考验着我们的系统。
最近一段时间，在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失。logstash-jdbc无非是通过sql遍历数据表的所有数据，然后同步到es。
作为程序员，经常写 SQL 语句是正常不过了。然而，编写一些 SQL 语句，总会出现一些奇怪的问题。
有了ibd2sql,就多了一张保命符。下次遇到类似情况,别忘了这个强大的工具。它可能会帮您化险为夷,保住饭碗!
最近，有一位朋友突然微信联系我，说MySQL出现了数据丢失的情况；毫无疑问，对于一个DBA而言，这无疑是最令人紧张的一件事情，没有之一；听到这个消息后，我也就立刻投入到问题排查中。
在正式开始之前，我们先来看下 MySQL 服务器的配置和版本号信息，如下图所示：
提交事务的时候，redo日志必须是刷入磁盘文件里的。这样可以严格的保证提交事务之后，数据是绝对不会丢失的，因为有redo日志在磁盘文件里可以恢复你做的所有修改。如果要是选择0的话，可能你提交事务之后，mysql宕机，那么此时redo日志没有刷盘，导致内存里的redo日志丢失，你提交的事务更新的数据就丢失了；如果要是选择2的话，如果机器宕机，虽然之前提交事务的时候，redo日志进入os cache了，但是还没进入磁盘文件，此时机器宕机还是会导致os cache里的redo日志丢失；所以对于数据库这样严格的系统而言，一般建议redo日志刷盘策略设置为1，保证事务提交之后，数据绝对不能丢失。
数据库作为信息系统重要的基础设施，一直承担着压舱石的角色。互联网应用的高并发、海量数据使得数据库的负载越来越重，这在数据大集中的情况下愈发明显。而数据库作为信息系统唯一的“单点”，稳定性、可用性是首先要保证的目标。这里的单点并不是指数据库没有高可用方案，而是因为数据库只要涉及到数据的复制就一定是有状态的，有状态的应用更加难以运维，并且在遭遇异常时并不能做到真正意义上的无缝切换。
在MySQL配置中，sync_binlog是一个非常重要的设置。它用于控制binlog（二进制日志）的同步策略。二进制日志记录了所有更改数据库的语句，对于数据恢复和主从复制都非常重要。
Redis 脑裂问题是指，在 Redis 哨兵模式或集群模式中，由于网络原因，导致主节点（Master）与哨兵（Sentinel）和从节点（Slave）的通讯中断，此时哨兵就会误以为主节点已宕机，就会在从节点中选举出一个新的主节点，此时 Redis 的集群中就出现了两个主节点的问题，就是 Redis 脑裂问题。
MySQL 有很多存储引擎（也叫数据引擎），所谓的存储引擎是指用于存储、处理和保护数据的核心服务。也就是存储引擎是数据库的底层软件组织。在 MySQL 中可以使用“show engines”来查询数据库的所有存储引擎，如下图所示：
RAID的概念描述在互联网上比比皆是，用最简单的原理描述，就是在定义存储方式时允许在一部分数据缺失的情况下不影响全部数据，类似于通讯领域的纠错码。不同的冗余模式形成了不同的RAID类别，主要有RAID01、RAID10、RAID2、RAID3、RAID4、RAID5、RAID6等等。 今天小编为大家分享的就是关于RAID6的案例。
本文介绍最近几年美团点评MySQL数据库高可用架构的演进过程，以及我们在开源技术基础上做的一些创新。同时，也和业界其它方案进行综合对比，了解业界在高可用方面的进展，和未来我们的一些规划和展望。 MMM
转载：https://www.cnblogs.com/zero-gg/p/9057092.html
上篇文章《InnoDB在SQL查询中的关键功能和优化策略》对InnoDB的查询操作和优化事项进行了说明。但是，MySQL作为一个存储数据的产品，怎么确保数据的持久性和不丢失才是最重要的，感兴趣的可以跟随本文一探究竟。
(1) 主库的更新事件(update、insert、delete)会按照顺序写入bin-log中。主库会为从库开启dump线程,该线程会去读取bin-log日志
数据丢失，两个事务同时进行，一个成功一个失败，造成数据回滚，或者两个都成功造成数据覆盖
日常开发中,获取数据的总数是很常见的业务场景,但是我们发现随着数据的增长count(*)越来越慢，这个是为什么呢，
ClickHouse 在执行分析查询时的速度优势很好的弥补了 MySQL 的不足，但是对于很多开发者和DBA来说，如何将MySQL稳定、高效、简单的同步到 ClickHouse 却很困难。本文对比了 NineData、MaterializeMySQL（ClickHouse自带）、Bifrost 三款产品，看看他们在同步时的差异。
这个问题是在某个群里面，看见有人问的，已经2020年了，到底Double write 能不能关，这是一个好问题。因为有些数据库压根没有 Double write 也就没有性能上的损耗了。那为什么MYSQL 要有DOUBLE WRITE ，并且可以关吗？
innodb_flush_log_at_trx_commit 是 MySQL 的一个系统变量，运行环境是 InnoDB 引擎。该变量定义了 InnoDB 在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redo log）。它是 InnoDB 确保 ACID 属性中的持久性（Durability）的关键因素。当数据库发生故障，如崩溃或者断电，这项设置可以保护您的数据不会丢失。
场景：前台传来大量数据，需要插入到redis和mysql中，同时进行速度缓慢，还容易丢失数据。下面进行模拟测试。
现在的服务都是分布式，MySQL的集群架构也是一样。那么MySQL的集群架构中有一个点是读写分离，而读写分离是基于binlog实现的。那么接下来就MySQL的读写分离和binlog为突破点进行分析为什么大厂中的默认隔离级别是RC。总体来说以时间线为基准进行讲解。
dump log的操作是并发的多线程操作,但是从库的I/O和SQL线程是单线程的操作,(5.6.x后I/O可以多线程操作),但是SQL线程的执行一定是串行的执行,这也就导致了主从复制的延时问题的原因.
这些数据最终会持久化到文件中，那么这些数据在文件中是如何组织的？难道是一行一行追加到文件中的？其实并不是，「数据其实是存到页中的，一页的大小为16k，一个表由很多页组成，这些页组成了B+树」，最终的组织形式如下所示，具体的构建过程我就不详细介绍了，可以看我之前的文章《10张图，搞懂索引为什么会失效？》
大致流程：主库将变更写binlog日志，然后从库连接到主库之后，从库有一个IO线程，将主库的binlog日志拷贝到自己本地，写入一个中继日志 relay日志中。接着从库中有一个SQL线程会从中继日志读取binlog，然后执行binlog日志中的内容，也就是在自己本地再次执行一遍SQL，这样就可以保证自己跟主库的数据是一样的。
如果熟悉MySQL你肯定知道MySQL能过对数据进行恢复（前提是开启bin log日志），当然这要归功于bin log日志。但是你可曾听过redo log呢？
a = objPHPExcel->getActiveSheet()->getCell(“A”.
4.更新操作为什么不直接更新磁盘反而设计这样⼀个复杂的InnoDB存储引擎来完成？
在云网融合大数据时代，数据已经成为重要的生产要素。特别是棱镜门、永恒之蓝、汶川大地震这类造成大规模数据丢失和泄漏的人为或自然灾害事件发生后，中国相继出台了一系列的法律法规，对各组织机构的数据安全保护条件进行限定，如 2016 年颁布的《中华人民共和国网络安全法》、 2021 年全国人民代表大会通过的《数据安全法》等。
RDB：这是一种快照的方式，它将 Redis 某时间点的数据都进行快照存储。比如 Mysql Dump 也是这种方式。 AOF：写日志的方式，记录每次对服务器写的操作, 当服务器重启的时候会重新执行这些命令来恢复原始的数据。例如 Mysql binlog，Hbase HLog。
MySQL软件官方下载地址(https://dev.mysql.com/downloads/mysql/)，个人感觉下载压缩包版比下载安装包办的要好，因为安装包版的默认安装路径为系统盘，整个数据库有1.8G左右，太占系统盘存储。
其实很简单，就是基于主从复制架构，简单来说，就搞一个主库，挂多个从库，然后我们就单单只是写主库，然后主库会自动把数据给同步到从库上去。
最近和POSTGRESQL 较劲的多，如果能更多的理解POSTGRESQL 的工作原理，并且深入分析，对日后的管理和适用会比较有帮助，多学点是没有坏处的，并且POSTGRESQL 未来的前景还是蛮看好的，废话不多讲。
首先看下MySQL误删数据排名最前的几种是什么，然后说几点平时预防误操作导致文件/数据丢失不成熟的建议，最后再说万一发生误操作时，怎么以最快速度进行补救。
容器的定义：容器是为了解决“在切换运行环境时，如何保证软件能够正常运行”这一问题。 目前，容器和 Docker 依旧是技术领域最热门的词语，无状态的服务容器化已经是大势所趋，同时也带来了一个热点问题被大家所争论不以：数据库 MySQL 是否需要容器化？ 认真分析大家的各种观点，发现赞同者仅仅是从容器优势的角度来阐述 MySQL 需要容器化，几乎没有什么业务场景进行验证自己的观点；反过来再看反对者，他们从性能、数据安全等多个因素进行阐述 MySQL不需要容器化，也举证了一些不适合的业务场景。下面，我们就聊一
目前，容器和 Docker 依旧是技术领域最热门的词语，无状态的服务容器化已经是大势所趋，同时也带来了一个热点问题被大家所争论不以：数据库 MySQL 是否需要容器化？
—1— 前言 容器的定义：容器是为了解决“在切换运行环境时，如何保证软件能够正常运行”这一问题。 目前，容器和 Docker 依旧是技术领域最热门的词语，无状态的服务容器化已经是大势所趋，同时也带来了一个热点问题被大家所争论不以：数据库 MySQL 是否需要容器化？ 认真分析大家的各种观点，发现赞同者仅仅是从容器优势的角度来阐述 MySQL 需要容器化，几乎没有什么业务场景进行验证自己的观点；反过来再看反对者，他们从性能、数据安全等多个因素进行阐述 MySQL不需要容器化，也举证了一些不适合的业务场景。下
最近，IMG 的姜老师发布了一篇关于使用 gh-ost 会丢数据的文章（gh-ost 翻车！使用后导致数据丢失！），大致结论就是：在 MySQL AFTER_SYNC的 场景下，使用 gh-ost 进行表结构变更（包括最新 GA 的1.1.2版本在内），可能会导致数据丢失，还引起大家在微信群内展开了一些讨论。得知这个消息，还是觉得有些意外的，毕竟对于大部分 DBA 来说，gh-ost 属于比较常用的 DDL 工具，会用其替代 pt-osc 或 MySQL 自带的 online ddl 。出于好奇，去 gh-ost 的 Gtihub 主页上看了下，还真有相关的 issue ，并且已经有人提交了 fix 的 PR （目前该 fix 尚未得到官方回应）
爱可生 DBA 团队成员，熟悉 Oracle、MySQL、MongoDB、Redis，最近在盘 TiDB，擅长架构设计、故障诊断、数据迁移、灾备构建等等。负责处理客户 MySQL 及我司自研 DMP 数据库管理平台日常运维中的问题。热衷技术分享、编写技术文档。
首先，InnoDB会判读缓冲池里是否存在 id = 1 这条数据，如果不存在则从磁盘中加载到缓冲池中，而且还会对这行数据加独占锁，防止多个sql同时修改这行数据。
MySQL是目前最受欢迎和广泛使用的关系型数据库之一。在企业中，经常会遇到MySQL实例磁盘告警的情况，这对于保持数据库的稳定性和可用性非常重要。本文将详细介绍一次MySQL DB实例磁盘告警的处理过程，以及相关的操作和注意事项。
2、查看线程49342的堆栈，可以看到正在进行redo log的刷新，对应的是9号文件
《高性能MySQL》读书笔记（二）——MySQL存储引擎概述 （原创内容，转载请注明来源，谢谢） 一、基础信息 mysql将数据库保存在数据目录下的一个子目录，创建表时，会在此目录下，创
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
