本次恢复的数据库安装在客户本地服务器上，服务器操作系统为windows2008 r2 。在当前环境内安装有mysql5.6单实例，引擎类型为innodb，表内数据存储所使用表空间类型为独立表空间。未进行数据库备份，未开启binlog。
InnoDB 日志文件的作用 Innodb 数据表崩溃后，再次启动时，MySQL会扫描日志文件，看哪些记录不在表空间中，对其进行 redo 操作，从而完成数据恢复 Innodb 日志文件的大小可以通过参数 innodb_log_file_size 来设置 这个值如果太小，会增加checkpoint，导致刷新磁盘的次数增加，影响数据库性能 如果太大，会让数据恢复过程变慢，便增加了数据库不可用的时间 所以，设置一个合适的日志大小是比较重要的 如何计算出合适的日志大小 思路 设为多大是合适，没有明确的定义，但有一
前两天因为没注意的误操作, 直接把某个数据表清掉了, 心慌慌. 怪自己学艺不精, 当时整了一下午也没把数据找回来. 当晚回来闭关研究, 终于在凌晨1点多整出来了, 特此记录, 以备不时之需.
企业业务部署在云上，借助云平台的能力，企业几乎“零”成本拥有同地域数据备份的能力。即使云平台在建设数据中心之前，会遵循机房建设标准来选址，但是对于极端情况自然灾害，例如地震，台风等等，对同地域备份安全能力有非常大的风险，因此本文重点阐述腾讯云对异地数据冷备解决方案。
今天琢磨一个问题，在平时的工作中如果碰到一些不规范的操作，drop,truncate,delete，恢复起来还是很困难的，drop操作在oracle中如果开启了recycle bin还是基本安全的，delete操作可以借助flashback delete操作，可能有些更细微的操作update，insert等等操作导致了问题，需要做数据修复的时候，这个时候可以使用flashback query来辅助，如果来一个truncate，那就没辙了，其实在truncate操作完成后，一般来说数据还都是在数据文件里的，这
作为《手撕MySQL》系列的第二篇文章，今天介绍一下MySQL的二进制日志（bin log），注意不要和MySQL的InnoDB存储引擎特有的重写日志（redo log）混淆，bin log是记录所有数据库表数据及表结构变更的二进制日志（不会记录查询操作），借助这个日志可以实现：数据恢复和 主从复制（不难理解，因为所有涉及变更的操作都记录了下来，可以追溯）。
某公司使用的存储，采用RAID5磁盘阵列，由于未知的原因导致存储忽然崩溃无法启动，RAID5阵列中的虚拟机全部丢失，其中3台虚拟机为重要数据，需要主要针对该3台虚拟机进行数据恢复。
在国内不论是使用阿里云、腾讯云还是华为云的云平台版本的 MySQL 数据库，在遇到数据备份恢复的场景，都会遇到需要使用 Percona XtraBackup 工具进行备份还原的需求。
删库跑路的案例不在少数，今年最出名的删库跑路当属微盟，造成公司市值蒸发几十亿，赔偿商家1.5亿元，最终在腾讯云的协助下经过7*24小时的不懈努力，最终找回全部数据。我们都知道，数据就是一个公司的“命根子”，无论什么时候，数据安全都是最重要的。所以我们今天来聊聊数据恢复的几种方式。以mysql为例。
MySQL 的二进制日志（Binary Log），通常简称为 binlog，是一种记录数据库中发生的更改的日志文件。它记录了对数据库进行的 INSERT、UPDATE 和 DELETE 等数据更改操作，以及数据库结构的更改（例如，ALTER TABLE）。这些日志文件对于数据恢复、数据复制和数据库的高可用性非常重要。以下是关于 MySQL binlog 的详细介绍：
每当有节点新加入或重新加入MGR集群时，该节点必须要先追平落后（有差异）的事务，这个追平最新数据的过程称为分布式恢复。先进行 本地恢复，然后再进行 全局恢复。
本次数据恢复的设备是一台服务器，使用的是FreeNAS做iSCSI，再借助于两台服务器做虚拟化系统。FreeNAS层面是UFS2文件系统，整个服务器建一个文件然后挂在给ESXi5.0 系统。这个虚拟化系统中一共有5台虚拟机，其中一台虚拟机采用了ASP.net和 PHP 混合构架，SqlServer2005和 mysql 5.1两个数据库。还有另一台是FreeBSD系统，MySQL数据库，还有一台服务器存储的是代码数据，这三台虚拟机是该服务器上数据恢复的重点数据，必须要进行完美数据恢复。
mysql数据库一主多从的架构，主写从读进行读写分离，专用从库做数据备份，每天0点全备一次，12点增量备份一次，初始阶段数据量很小的情况按此方案，后续数据量大，读写频繁时，再进行相关调整，增加增量备份频次
数据库及时备份可以帮助我们在数据库出现异常宕机时及时的使用备份数据进行恢复工作，将因为数据库宕机产生的影响降低到最小。上一篇针对使用xtrabackup工具进行物理备份和数据恢复做了一个详细讲解，本篇主要谈谈如何使用mysql自带的备份工具mysqldump进行逻辑备份和数据恢复。如果还围观看过上一篇文章的可以先行查询上一篇文章关于使用xtrabackup进行数据备份与恢复：Mysql备份与恢复(1)---物理备份。
Binlog 日志，全称为 Binary Log，是 MySQL 在 Server 层产生的一种日志。这种日志包含了对数据库执行变更的所有操作（例如 SQL 语句的执行）或者对于数据库的数据变更情况，记录了实例的所有 DML 和 DDL 操作。
数据库恢复的先决条件是,定时备份数据库,缩小binlog恢复范围.首先我们备份测试数据库数据:
MySQL日志是在MySQL server上生成的，不管更改哪个存储引擎，这些日志都是需要有的，包括：
如果一个线上数据库发生了问题，需要做数据恢复，作为DBA应该给自己留一些改进的余地，否则陷入两难的境地，只会让自己更加被动。
RAID5磁盘阵列，由于未知的原因导致存储忽然崩溃无法启动，RAID5阵列中的虚拟机全部丢失，其中3台虚拟机为重要数据，需要主要针对该3台虚拟机进行数据恢复。
1、记录了所有的DDL和DML语句（除了数据查询语句select、show等），以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。binlog的主要目的是复制和恢复。MySQL的二进制日志binlog可以说是MySQL最重要的日志。
大家有没有想过为什么MySQL数据库可以实现主从复制，实现持久化，实现回滚的呢？其实关键在于MySQL里的三种log，分别是：
作为《手撕MySQL》系列的第三篇文章，今天讲解使用 bin log实现主从复制的功能。主从复制也是MySQL集群实现高可用、数据库读写分离的基石。因为是系列文章，上一篇文章中（传送门）我们已经介绍了在MySQL中查看 bin log的相关状态以及文件信息，并且借助 bin log（二进制日志）实现数据恢复的案例。因此在这篇文章中如有涉及相关知识，将不再赘述。
这段时间分享了很多校招的面经，有很多读者说想看社招的，其实社招面试是基于你的工作项目来展开问的，比如你项目用了 xxx 技术，那么面试就会追问你项目是怎么用 xxx 技术的，遇到什么难点和挑战，然后再考察一下这个 xxx 技术的原理。
RAID的概念描述在互联网上比比皆是，用最简单的原理描述，就是在定义存储方式时允许在一部分数据缺失的情况下不影响全部数据，类似于通讯领域的纠错码。不同的冗余模式形成了不同的RAID类别，主要有RAID01、RAID10、RAID2、RAID3、RAID4、RAID5、RAID6等等。 今天小编为大家分享的就是关于RAID6的案例。
MySQL WAL（Write-Ahead Logging）技术：是 MySQL 数据库的一种重要机制，主要关于数据库系统中的事务处理和日志管理。
我们常常听人说，只要你愿意，MySQL 可以恢复至半个月甚至一个月以内的任何一个状态。网上也有很多删库跑路的段子。。。
MySQL的二进制日志（binary log），通常被称为binlog，是MySQL数据库中的一种日志文件，它记录了所有的DDL（Data Definition Language）和DML（Data Manipulation Language）语句事件，这些语句会导致MySQL数据的改变。binlog是MySQL复制的基础，也是进行数据恢复的重要手段。
1、数据恢复。只要有数据库在某个时刻的备份以及此时后的所有binlog，就可以恢复数据库的数据。
备份恢复之前和同事投入了一些精力来完善，算是走上了平台化对接的一个开始，在满足功能的前提下，能够基本实现数据全备，增备和DML闪回，但是在性能和可控性方面还是存在不少的改进之处，最近梳理了下已有的备份恢复策略，准备在这个方面能有一定的成绩。
上篇文章（转战MySQL Shell！数据库备份新姿势，轻松搞定备份操作！）简单介绍了使用MySQL Shell进行数据库备份，本文基于上文的备份进行数据恢复演示操作。
在我们实际工作中，尤其在公司的测试环境下，经常会有多个业务方服务共用同一套服务器，部署自身MySQL环境。很不巧的是，会出现有MySQL数据文件被删除/误删除的情况发生。假如真的发生了，想想就很令人崩溃对不对？
众所周知Xtrabackup 是mysql 中重要的备份工具，而数据库的备份中，尤其大内存的 MYSQL 备份中，都有一个问题的存在就是 innodb_buffer_pool 的存在。备份后的MYSQL 在恢复后，一般innodb_buffer_pool 的数据都不会再恢复的数据库上出现，越大的内存和繁忙的MYSQL 在数据恢复后，就会有一个缓冲期，需要预热一段时间。一般来说我们都是希望备份的数据恢复后能带有内存中的数据。其实MYSQL 本身是有这个设置的，就是在关机和开机的时候，将 innodb buffer pool 写入文件，在开始的时候读取这些文件，装载到内存中。
最近在看TiDB的系统管理课程，对TiDB周边的配套工具做了一下了解，今天总结下。
对于任何一个企业来说，数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过，凡是涉及到数据的问题，都是损失惨重的大问题。
上次我们介绍了采用逻辑备份mysqldump 备份方式，其最大的缺陷就是备份和恢复速度都慢，但如果数据库非常大，那再使用 mysqldump 备份就不太适合了。这时就需要一种好用又高效的工具，xtrabackup 就是其中一款，号称免费版的 InnoDB HotBackup。（mysqldump备份请到L宝宝聊IT公众号中找“mysql备份与还原——mysqldump结合binlog”文章）
操作系统：CentOS 7.7 MySQL版本：5.7.30，搭建主从 开启binlog，binlog_format=row 备份情况：每天00:00对数据库进行全量备份 恢复原因：某日22:00左右，执行了批量update语句，需要回滚
之前在创建mysql数据库的时候已经设置了mysql主从备份，可以设置数据库所有文件做一个备份传输到备份服务器。 shell脚本中的ip指备份服务器的ip地址。
一条数据在更新过程当中，如果中途 mysql crash 了，mysql 是如何保证数据的一致性和持久性的？在这个过程中 mysql 的日志系统起到了至关重要的作用。本文将会介绍 mysql 中的 undo log、redo log 和 bin log 在这其中的作用。
MySQL binlog集市的事情我们做了有一段时间了，最开始的初衷是异常操作的数据恢复，主要的痛点是如果发生了业务误操作，需要紧急恢复数据的时候，通常这些误操作是对于字典配置数据的变更，而要恢复的时候成本则太高了，举个极端的例子，1T数据量的数据库，要恢复的字典数据最有1M,但是很可能需要恢复1T的数据量作为代价，有点得不偿失，所以，我们对于binlog集市是希望尽可能完整的捕获数据库的数据变化，并且能够闪回恢复。
在数字化转型的热潮中，业务数据无疑是企业的生命线。无论业务部署在IDC还是云平台，对数据备份都是有强烈诉求。随着共享经济的不断深化，越来越多企业将自身业务逐渐的搬迁到了云上。为了让企业能更好用好云平台的数据安全能力，本文重点云平台数据备份冷备能力，以腾讯云为例，主要从以下两个维度介绍：
2020 年 2 月 25 日，微信的朋友圈大量转载微盟遭遇了系统重大故障（36 小时内尚未恢复核心生产数据）。从而想到本人在两周前处理的一个案例：开发人员误删除了生产数据，本人恢复的一个过程。同时给这个故障的处理过程做一个总结，也对学过的知识做一个梳理，希望对运维的同学们有一个警示作用。
1.创建douyin数据库、tbl_douyin_author数据库表、插入测试数据。
有时我们会遇到操作人员误删或者误更新数据的情况，这时我们迫切希望把原来的数据还原回来，今天我们介绍一个简单的工具来方便的实现此功能。
本次分享的案例是关于存储的数据恢复，存储上RAID崩溃导致存储无法启动。存储内部共有6台以上虚拟机，其中LINUX虚拟机3台为客户重要数据。 工程师初步分析得出存储结构为所有物理磁盘均在一个存储池内，再由存储池分出几个LUN，LUN1是vmfs卷，三台LINUX虚拟机也是在这个里面。 1、重组RAID 重组过程中发现本RAID5缺失2块盘（第一掉线盘掉线后热备盘顶替，之后又掉线一块盘使得RAID5处于降级状态。最后在掉线第三块盘时盘片划伤RAID崩溃），无法通过校验直接获取丢失盘的数据，所以只能使用磁盘同等大小的全0镜像进行重组（此方法只可用于紧急情况，因为依赖空镜像组成的RAID文件系统结构会被严重破坏，相当于每个条带都会缺失两个块的数据）。 2、提取LUN 分析存储结构，获取存储划分的MAP块。在找到MAP块之后解析得到各个LUN的数据块指针，编写数据提取程序提取LUN碎片。提取完成后进行碎片拼接，组成完整LUN。导出LUN内所有虚拟机，尝试启动。导出虚拟机后尝试启动，同预想相同，操作系统被破坏虚拟机无法启动。 3、提取虚拟机内文件 在虚拟机无法启动的情况下只能退而求其次，提取虚拟机内文件。在取出文件后进行测试，发现大多数文件都被破坏，只有少部分小文件可以打开。在与客户沟通后得知虚拟机内有MYSQL数据库，因为数据库底层存储的特殊性，可以通过扫描数据页进行数据提取。在找到此虚拟机后发现虚拟机启用快照，父盘和快照文件都被损坏的情况下常规合并操作无法完成，使用北亚自主研发VMFS快照合并程序进行快照合并。 4、获取MYSQL数据页并分析 根据MYSQL数据页特征进行数据页扫描并导出（innodb引擎可以使用此方案，myisam因为没有“数据页”概念所以不可用），分析系统表获取各用户表信息，根据各个表的ID进行数据页分割。 5、提取表结构 因为数据库使用时间已久，表结构也曾多次变更，加上系统表在存储损坏后也有部分数据丢失，记录提取过程遇到很大阻力。首先获取最初版本数据库各个表的表结构：合并快照前的父盘因为写入较早，使用第一块掉线盘进行校验获取到这个文件的完整数据，然后提取出其中数据库各个表的表结构，之后客户方提供了最新版的数据库建表脚本。提取记录：分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的MYSQL数据库内，然后剔除各个表中因为表结构变更造成的乱码数据，最后将两组数据分别导出为.sql文件。 6、数据恢复结果 因为两个版本的数据库表结构不同，所以联系了客户方的应用工程师进行调试。调试完成后导入平台，经验证，数据可用本次数据恢复成功。
问题描述一 断点恢复ERROR 1146 (42S02) at line 35: Table ‘shang.info’ doesn’t exist [root@localhost opt]# mysqlbinlog --no-defaults --stop-datetime='2020-08-23 13:29:04' /usr/local/mysql/data/mysql-bin.000002 | mysql -uroot -p Enter password: ERROR 1146 (42S02) at
上周五面试了字节的第三面，深感数据库知识的重要，我也意识到在平时的学习中，自己对于数据库的学习较为薄弱。甚至在有过一定实习经验之后，依旧因为开发分工的原因，对数据库方面的知识掌握依旧不多。我也相信，很多人对MySQL的 索引、 日志、 多版本并发控制、 ACID等等都只停留在八股文的阶段。
作者 | 微博研发中心基础架构部 姚四芳、胡云鹏、臣勇、胡春林 编辑 | 蔡芳芳 机房断电、数据中心着火，极端情况下全站持续不可用已经成为很多公司不得不直面的现实问题。微博的目标是在遭受极端情况下在线数据完全损毁时，1 个小时内在异地重新构建完整的微博服务，同时确保数据完整性。这在整个业界都是一个前所未有的巨大挑战。 1大数据时代数据至关重要 数据时代全球每天新产生的数据达到 2.3EB，存量数据达到 33ZB，无论是传统企业还是新晋独角兽企业，都在基于大数据进行更快、更好的决策支持，从数据中孵化新的产品与
在工作中，我们误删数据或者数据库，我们一定需要跑路吗？我看未必，程序员一定要学会自救，神不知鬼不觉的将数据找回。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
