很多年前,被公司外派到一家单位驻场开发一个OA项目,两个开发对接各部门的需求,需求还要及时生效(一边开发一边使用)。
1.创建douyin数据库、tbl_douyin_author数据库表、插入测试数据。
本次恢复的数据库安装在客户本地服务器上,服务器操作系统为windows2008 r2 。在当前环境内安装有mysql5.6单实例,引擎类型为innodb,表内数据存储所使用表空间类型为独立表空间。未进行数据库备份,未开启binlog。
binlog 就是binary log,二进制日志文件,这个文件记录了mysql所有的增、删、改语句。通过binlog日志我们可以做数据恢复,做主从复制等等。可以看到,只要有了这个binlog,我们就拥有了mysql的完整备份了。
系统已上线,给客户修改bug的时候,使用delete语句删表数据,没想到库没切换成测试库。误删了SQL Server正式库的数据,而且一次备份都没有做过,玩大了。
数据库恢复的先决条件是,定时备份数据库,缩小binlog恢复范围.首先我们备份测试数据库数据:
我们常常听人说,只要你愿意,MySQL 可以恢复至半个月甚至一个月以内的任何一个状态。网上也有很多删库跑路的段子。。。
对于任何一个企业来说,数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过,凡是涉及到数据的问题,都是损失惨重的大问题。
大家当年在学MySQL的时候,为了能够迅速就业,一般是学习一下MySQL的基本语法,差不多就出山找工作了。水平稍微好一点的童鞋呢还会懂一点存储过程的编写,又或者是懂一点索引的创建和使用。但是呢,基本上大家都忽略了对底层知识的学习。为什么呢?因为工作中很少用到嘛。然后呢,市面上流传的大部分这种底层的知识,又比较偏运维,研发懂这么多意义也不是太大,很多知识可能这辈子都不会用到。 因此,我整理了一部分相关的知识,希望大家有所收获。
删库跑路的案例不在少数,今年最出名的删库跑路当属微盟,造成公司市值蒸发几十亿,赔偿商家1.5亿元,最终在腾讯云的协助下经过7*24小时的不懈努力,最终找回全部数据。我们都知道,数据就是一个公司的“命根子”,无论什么时候,数据安全都是最重要的。所以我们今天来聊聊数据恢复的几种方式。以mysql为例。
在工作中,我们误删数据或者数据库,我们一定需要跑路吗?我看未必,程序员一定要学会自救,神不知鬼不觉的将数据找回。
使用flashback工具,原理是修改binlog的内容,拿回原库重放。需要binlog格式为row格式,并且binlog_row_image=FULL
数据备份不仅仅是开发、运维需要了解、熟练和掌握,一些架构设计或系统设计也需要熟练掌握,以备不时之需。最多的应用应该是编制文档上面的技术方案或者安全方案中涉及。
Binlog 日志,全称为 Binary Log,是 MySQL 在 Server 层产生的一种日志。这种日志包含了对数据库执行变更的所有操作(例如 SQL 语句的执行)或者对于数据库的数据变更情况,记录了实例的所有 DML 和 DDL 操作。
Hi,大家好,我是麦洛,今天我们聊聊MySQL的备份和恢复,在下面文章中,你会了解到MySQL常见的备份类型,以及基于mysqldump命令在日常开发中如何做MySQL数据库以及表的备份和恢复。最近开始玩公众号了,喜欢的小伙伴可以关注我
MySQL binlog集市的事情我们做了有一段时间了,最开始的初衷是异常操作的数据恢复,主要的痛点是如果发生了业务误操作,需要紧急恢复数据的时候,通常这些误操作是对于字典配置数据的变更,而要恢复的时候成本则太高了,举个极端的例子,1T数据量的数据库,要恢复的字典数据最有1M,但是很可能需要恢复1T的数据量作为代价,有点得不偿失,所以,我们对于binlog集市是希望尽可能完整的捕获数据库的数据变化,并且能够闪回恢复。
作为《手撕MySQL》系列的第二篇文章,今天介绍一下MySQL的二进制日志(bin log),注意不要和MySQL的InnoDB存储引擎特有的重写日志(redo log)混淆,bin log是记录所有数据库表数据及表结构变更的二进制日志(不会记录查询操作),借助这个日志可以实现:数据恢复和 主从复制(不难理解,因为所有涉及变更的操作都记录了下来,可以追溯)。
Mydumper 采用更先进的Stream流式管道技术,能够通过一条命令实现备份和恢复,显著加快了恢复速度。它可以:
误删表或者delete from XXX没有带条件清空表后不要慌,能恢复的,咱有flashback table咱怕啥
3月1日晚间,微盟发布公告,称在合作方腾讯云的协助下,数据已经全面找回,预计于2020年3月3日上午9点完成数据恢复上线。
MySQL中的数据恢复功能相比Oracle来说还是要单薄一些,而Oracle中的数据恢复相对来说自动化的程度要高一些。不过Mysql的二进制日志提供的信息很丰富,而日志信息在Oracle中式完全屏蔽的,对于数据的恢复可能MySQL也很灵活。 我们来模拟一下通过完整备份+增量备份(binlog)的方式来恢复。 首先我们来选择一个表new_test作为恢复的参考点。 mysql> select count(*)from new_test; +----------+ | count(*) | +---------
这是图解MySQL的第2篇文章,这篇文章会通过一条SQL更新语句的执行流程让大家清楚地明白:
大家有没有想过为什么MySQL数据库可以实现主从复制,实现持久化,实现回滚的呢?其实关键在于MySQL里的三种log,分别是:
在上一篇博客的学习,我们知道了InnoDB存储引擎的两种事务日志,redo log是InnoDB特有的功能,而MySQL也是有自己的日志机制的,也即本文学习的binlog
代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。
概述:北京某国企客户 Oracle 11g R2 数据库误truncate table CM_CHECK_ITEM_HIS,表数据丢失,业务查询到该表时报错,此时发现数据库的备份不能用,表数据无法查询。
在 IT 圈内,“删库跑路”已经成为程序员经常提及的一句玩笑话。虽然是玩笑话,但却反映了数据库内数据对企业的重要性。2020年的“微盟事件”就直接让香港主板上市公司微盟集团的市值一天之内蒸发超10亿元,数百万用户受到直接影响。
近日,微盟官方发布:微盟研发中心运维部核心运维人员贺某,“由于个人生活等方面压力” 于2020年2月23日晚7点,利用VPN登录公司内网的管理机,然后对微盟线上生产环境进行了恶意破坏,导致微盟业务停摆。官方公告如下:
数据是当今Web,移动,社交,企业和云应用程序的流行货币。确保数据始终可用是任何组织的头等大事。几分钟的停机时间可能会导致收入和声誉严重损失。
RAID 是 "Redundant Array of Independent Disk" 的缩写,中文意思是独立冗余磁盘阵列 是一种古老的磁盘冗余备份技术,也许你从未了解其中的原理,但肯定也听说过它的大名。简单地解释,就是将N台硬盘通过RAID Controller(分Hardware,Software)结合成虚拟单台大容量的硬盘使用,其特色是N台硬盘同时读取速度加快及提供容错性.
EasyRecovery使用心得:一款专业的数据恢复软件,可以根据你想要恢复的文件类型恢复数据内容,需要有一定电脑基础的用户才能够顺利使用,想要使用所有功能需要下载完整版才能使用。
我们在逐渐适应信息电子化的同时,也有一些潜在的麻烦接踵而来,其中较为常见的就是文件和数据的保存问题。显然,设备的存储空间是有限的,这就不可避免地会出现数据被删除、覆盖或丢失的现象,如果丢失的是重要数据,还有没有可能将其恢复呢?小编告诉你,方法不仅有,还非常简单,无论您的设备是电脑、MP3、相机,还是移动硬盘、内存卡,都可以使用这款数据恢复软件——EasyRecovery快速恢复其中的数据。
本文转载至:https://mp.weixin.qq.com/s?__biz=MzUzMTkyODc4NQ==&mid=2247486787&idx=1&sn=9738dd8565b0744c05bfb0fe44d2e990&chksm=faba4efdcdcdc7eb6e729ed6c941b064cf8c7c3a7d87eff491d32d4ee7f6423ebd230033d2cc&scene=178&cur_album_id=2869345486221262853#rd
今天梳理了一下备份恢复方向的内容,目前备份方向已经充分验证了功能,在数据恢复方向的功能可行,但是在性能和效率上还是存在较大的改进空间。
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,5月23日杨杰的分享已经结束,没来得及参与的小伙伴不用担心,以下就是直播的视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0523杨杰 ”,即可下载直播分享PPT。 我是来自CDB/CynosDB的架构师杨杰,主要负责CDB/CynosDB研发相关的工作。 今天分享的主题是CDB备份系统九鼎是如何支撑数十万节点的备份。主要分为几个部分。第一个部分是在海量场景下面,数据备份遇到的一个新的挑战。面对这个挑战,我们九鼎是怎么设计和应对的。第二部分是提升备
在我们实际工作中,尤其在公司的测试环境下,经常会有多个业务方服务共用同一套服务器,部署自身MySQL环境。很不巧的是,会出现有MySQL数据文件被删除/误删除的情况发生。假如真的发生了,想想就很令人崩溃对不对?
“删库跑路”作为调侃程序猿的梗一直以来广为流传,但是当真的发生的时候,犹如黑天鹅降临,瞬间业务全线停摆,造成难以估量的损失。在SaaS领域举足轻重的服务提供商微盟,就刚刚经历了这样一场没有硝烟又争分夺秒的战争。 一周前,微盟部署在自建MySQL数据库上的核心业务数据,被微盟某运维人员用一种让程序员闻风丧胆的Linux系统下文件删除命令,整体进行了不可逆的删除。更残酷的是,备份数据也一起删除了。 所有微盟平台上的用户和商家业务因此被迫停滞了一周,而服务没有恢复的每一分每一秒都是收入和用户的损失,这次删库
主要也是参考下面链接最终成功恢复。 这篇文章的步骤稍微有点多。有些是恢复不必要的,这里做一下自己的整理。
如果没有恢复场景,备份就失去了业务价值,毕竟单纯靠业务价值一把尺子就衡量系统建设其实是不公平的,但是如果数据没有恢复成功,备份就失去了任何价值。
最近一直在写《手撕MySQL系列》文章,我发现自己的切入点有一些问题,虽尝试深入探究MySQL中的一些关键特性,但对于MySQL的知识掌握不太能够形成较好的体系化的知识网络。我感到在对全局了解不够清晰的时候,去深究一个知识点往往会事倍功半。所以打算通过这篇文章,分析SQL语句从头到尾的执行,串连一下MySQL当中的基础知识点。
有网友联系我,说自己的dz站不小心删库了!本地没有备份,已经运维了好几年了。看能不能恢复,在咨询后发现他用的小皮面板,很显然没有做好备份功能!在查阅一番后,知道了自Mysql8.0后,当用户创建了数据库后,会在MySQL8.0.12\data目录下产生相应的恢复文档,用于后期的恢复!当然Mysql之前的版本也有这个功能,但是文件格式变了!
NewLife.XCode是一个有20年历史的开源数据中间件,支持net6/net5/net45/net40,由新生命团队(2002~2020)开发完成并维护至今,以下简称XCode。
Mysql中的事务的原子性和持久性是由Redo Log实现的。 Redo Log也被称为重做日志。Redo通常用来记录物理日志。Redo Log包含两部分:
网上也经常看到一些段子,某公司程序员对工作不满,删库跑路,老板损失惨重,欲哭无泪。这不最近又爆出一例,京东到家程序员离职当天删库跑路!
R-Studio这个软件是Windows电脑和Windows服务器上都能运行的、可以恢复Windows文件系统的绝好软件,我试过了5种以上的恢复软件,就这个软件的恢复效率和结果最好。我先普及一些背景再介绍R-Studio怎么用。文档比较长,但是你看完的话肯定不虚此行。怕你看不完,我把最重要的一句话先说下,一旦发生误操作,赶快停下、关机,不要破坏原现场、不要破坏原现场、不要破坏原现场,先冷静下来然后仔细看完这篇文档。(建议先收藏,文档用时方恨没收藏,我保证不删除)
每每看到行业内的数据事故,我们在感慨之余,更需要的就是自省,因为这可以敲响我们已有状态的警钟。微盟技术团队从一个创业团队一路走来,逐步建立了较为成熟的安全管理规范,对服务器和数据访问权限有着明确的分层和分级的授权管理制度,这次虽然有疏忽,实际上也是受害者。
2020 年 2 月 25 日,微信的朋友圈大量转载微盟遭遇了系统重大故障(36 小时内尚未恢复核心生产数据)。从而想到本人在两周前处理的一个案例:开发人员误删除了生产数据,本人恢复的一个过程。同时给这个故障的处理过程做一个总结,也对学过的知识做一个梳理,希望对运维的同学们有一个警示作用。
远程办公期间,国内甚至全球技术公司都遭受了或多或少的损失,但像微盟这样遭遇“删库”,股价猛跌21.5亿人民币的实属罕见。也证明了,有时候“人祸”比“天灾”更可怕。
上篇文章(转战MySQL Shell!数据库备份新姿势,轻松搞定备份操作!)简单介绍了使用MySQL Shell进行数据库备份,本文基于上文的备份进行数据恢复演示操作。
领取专属 10元无门槛券
手把手带您无忧上云