首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯丢失数据被索赔1100万!

现在,腾讯发布了一份关于客户“前沿数控”数据完整性受损的技术复盘,对客户业务所受影响表示诚挚歉意的同时,详细解释了此次故障发生的根源,以及将采取的措施。   ...腾讯经过复盘发现,故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致盘的三副本安全机制失效,并最终导致客户数据完整性受损。   ...当天上午11:57,腾讯运维人员收到仓库I空间使用率过高告警,准备发起搬迁扩容。   14:05,运维人员从仓库I选择了一批盘搬迁至新仓库II,为了加速搬迁,手动关闭了迁移过程中的数据校验。   ...因这些错误操作的连续影响,导致该客户数据完整性受损,给客户的正常业务运行造成影响,腾讯再次表示最诚恳的歉意。   ...另外,腾讯建议用户开启免费的快照功能,对重要数据进行定期备份。

4.1K20

故障分析 | 使用 mysqldump 备份导致数据丢失

背景 最近在进行一套 MySQL 数据库的数据迁移工作,由于数据量不大,于是使用 mysqldump 把现有集群的数据导到新实例中,建立复制关系先同步一段时间,后面再把应用切过来。...尝试重新导一份数据建立复制关系,还是出现同样的问题,不过报错的行变了。查了一下这一行数据在主库上有,新库上没有。...数据里有一列字段是创建时间,发现报错的行的创建时间正好是在备份过程中,说明有可能备份过程中操作的数据没有备份到文件里。...很明显,5.7.36 的数据与 GTID 不一致,可以认为数据丢失了。...但 5.7.36 是在备份完所有数据之后才去获取 @@GLOBAL.GTID_EXECUTED,这样意味着备份期间新增的 GTID 也写到了备份文件里,但没有备份相关的数据,导致数据和 GTID 不一致

1.9K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    硬盘容量丢失-硬盘分区故障导致数据丢失,怎么找回?

    但对于硬盘分区而言,也会有数据丢失的风险。这是因为保存数据的分区有可能遇到各种各样的故障,从而导致分区中的数据受损。怎么恢复硬盘丢失的分区数据呢?...在恢复之前硬盘容量丢失,我们先看看硬盘分区数据丢失是什么因素造成的吧。   ...一、硬盘分区故障原因   1、误操作:人为操作硬盘分区时硬盘容量丢失,误将某个分区删除,或者GHOST操作时失误将镜相恢复到了整个硬盘,分区合并成了一个盘。   ...6、硬盘数据线接触不良:硬盘型号都识别错误,通信过程不顺畅引起分区表损坏,变成多个不标准的杂乱分区。   二、恢复硬盘丢失分区数据   要恢复硬盘丢失分区的数据,我们建议您使用迷你兔数据恢复工具。...只是注意不要将数据直接保存在硬盘里,以免分区故障造成数据二次丢失。 本文共 722 个字数,平均阅读时长 ≈ 2分钟

    1.4K20

    故障分析 | 生产系统数据丢失后的恢复

    一、背景和大概的思路 2020 年 2 月 25 日,微信的朋友圈大量转载微盟遭遇了系统重大故障(36 小时内尚未恢复核心生产数据)。...2 月 13 日 23:00 接到微信通知,能否帮忙恢复数据。 系统环境信息如下: 操作系统:RHEL7.5 数据库:MySQL 5.7 社区版,一主两备 23:05 开始介入数据丢失故障。...确认数据库里受到影响的日志的时间段 在仿真环境复盘整个故障 制定技术恢复方案,在仿真环境验证数据恢复方案 在仿真环境验证数据恢复后应用是否正常 备份生产环境数据,应用数据恢复方案到生产环境 生产环境绿灯测试...在这个系统上,数据已经备份了,每天都有全备,不能使用这个恢复的原因,工作流平台里有很多应用的流程引擎,一旦做了基于时间点恢复,别的应用的系统数据一块被恢复了,将会导致别的系统会丢失一部分数据。...问题 2:为什么不基于表的数据恢复? 因为工作流平台是一个开源的平台,数据模型之间的关联性特别强,如果基于表的恢复,容易导致数据的约束出现问题。 反思 1:为什么在生产环境出现丢失数据的情况?

    1.2K30

    腾讯硬盘扩容怎么解决?扩容会导致数据丢失吗?

    腾讯是一种可以储存用户个人数据的管理中心,对于一些用户来说,在使用腾讯的过程中可能会出现盘空间不足的情况,所以需要给腾讯硬盘进行扩容。...腾讯硬盘扩容怎么解决 想要给腾讯硬盘扩容的话,第一步需要将相应的服务器关闭并做好数据的备份,避免在扩容的过程中导致数据丢失。...腾讯硬盘扩容会导致数据丢失吗 在给腾讯硬盘扩容的过程中,一般情况下都不会导致数据丢失的,不过为了数据安全的保险起见,大家在扩容之前最好能够把重要的数据备份,避免系统在扩容的过程中出现差错,导致重要的数据丢失...如果能够提前备份的话,即使数据丢失了也能够找回来,并不会耽误大家太多时间。 以上为大家简单介绍了腾讯硬盘扩容怎么解决?...其实想要给腾讯硬盘扩容是非常简单和方便的,中间也耗费不了多少时间,但是要注意一点,那就是在扩容之前最好先把重要的信息进行备份,这样才能避免在扩容的过程中出现数据丢失的情况。

    5.1K10

    【玩转腾讯】使用数据库Mysql如何避免删库跑路(数据丢失

    生产环境使用数据库最怕的就是数据丢失了,下面针对各种数据丢失场景展开。 场景一:人为操作引起,包括:故意的删库跑路、手抖误操作。...场景二:硬盘故障,而且坏的很彻底,硬盘数据完全读不出来了(binlog损毁,无法恢复全部数据) 应对方法: 搭建主从,全部数据存2份,2个硬盘同时故障的概率相比1个硬盘下降了几个数量级。...同样的,我们不能假设腾讯可靠性达到100%,需要考虑腾讯故障了、腾讯dba删库跑路、或者某个潜藏的bug未来某个时段爬起来删库。...(这个漏洞,腾讯应该改为:允许web用户自助销毁,但在销毁时发短信或邮件通知,而且回收站数据库立即下线不可以自助操作) 应对方法: 可以每天手动将腾讯备份文件下载,或者开通数据库外网访问,数据自动备份到其他厂商...对腾讯的建议2:希望有数据对比功能,比较恢复前和恢复后的数据差异。数据迁移那已有数据对比功能。

    7.7K3326

    故障分析 | MySQL 数据丢失”事件之 binlog 解析应用一则

    作者:余振兴 爱可生 DBA 团队成员,熟悉 Oracle、MySQL、MongoDB、Redis,最近在盘 TiDB,擅长架构设计、故障诊断、数据迁移、灾备构建等等。...事件背景 客户反馈在晚间数据跑批后,查询相关表的数据时,发现该表的部分数据数据库中不存在,从应用跑批的日志来看,跑批未报错,且可查到日志中明确显示当时那批数据已插入到数据库中,需要帮忙分析这批数据丢失的原因...备注:考虑信息敏感性,以下分析场景测试环境模拟,相关数据做以下说明 涉及的库表为demo.t_dba_info表 丢失数据为insert into t_dba_info(name,age) values...('zhenxing',20);这条记录 故障分析 1....,与客户确认跑批灌数据的逻辑,了解到会对该表做truncate,但由于误操作,在跑批开始后,又触发了一轮truncate行为,导致已经插入到该表的部分数据再次被清理了,也就导致了在解析binlog时部分记录丢失

    1.5K20

    基于腾讯HAVIP搭建windows故障转移群集(一)

    一、集群和IP规划: 计算机 IP地址 计算机名 系统版本 域控服务器 10.0.10.10 10_0_10_10 Windows Server 2019 数据中心版 64位简体 集群节点A 10.0.10.11...10_0_10_11 Windows Server 2019 数据中心版 64位简体 集群节点B 10.0.10.14 10_0_10_14 Windows Server 2019 数据中心版 64位简体...将节点加域,输入域名,并重启服务器 3、重启之后使用节点的本地管理员用户登陆(一般是administrator),将之前添加的域管理员txuser1用户添加到本地管理员组 应用-->确定 五、安装故障转移集群功能...分别使用域管理员用户txuser1登陆两台节点服务器,安装故障转移集群功能 耐心等待安装完成 六、验证配置并创建集群 使用域管理员用户txuser1登陆A节点,打开故障转移集群,点击验证配置:

    49572

    基于腾讯HAVIP搭建windows故障转移群集(二)

    前文链接:https://cloud.tencent.com/developer/article/2336273前言:上篇文档已经介绍了如何基于HAVIP搭建故障转移集群,本篇文档我们介绍下在这个环境之上如何进一步搭建一个高可用的..._0_10_10Windows Server 2019 数据中心版 64位简体无需安装集群节点A10.0.10.1110_0_10_11Windows Server 2019 数据中心版 64位简体sqlserver2017...,查看数据库属性是否开启HADR图片4、 在任意节点创建一个测试用的数据库,并写入一些测试数据图片图片5、对测试数据库进行全库备份图片 选择目录后点确定图片四、 创建AlwaysON可用性组1、新建可用性向导图片...、验证故障转移是否可用1、最终配置完成后HAVIP这里会显示已绑定服务器图片2、群集角色图片3、验证故障转移操作图片 开始操作:图片 勾选新副本图片 连接到副本图片图片4、操作完成后发现主从切换了图片5...、通过侦听器IP即10.0.10.101登陆数据库验证数据无异常即成功

    42060

    故障分析 | MySQL 5.7 连续 Crash 引发 GTID 丢失

    1080678246; 备库:1-1081067155; 2问题分析 先来复习下 MySQL 5.7 GTID 持久化原理: gtid_executed 变量:它是一个处于内存中的 GTID SET,表示数据库中执行了那些...GTID,会实时更新,但是一旦重启就会丢失。...3GDB 调试复现 基于 MySQL 5.7.26 版本,通过 GDB 调试模拟复现了上述问题现象,主库连续崩溃恢复后会丢失最后 1 个 binlog 中的 GTID,引发备库 GTID 大于主库。...binlog 中的 GTID ; #mysql5.7.26 crash启动流程 |main |mysqld_main |ha_recover #mysqld.cc:4256 恢复数据流程...4总结 在 MySQL 5.7 版本下,因为 GTID 持久化机制的原因,当 MySQL 处于崩溃恢复阶段时,如果再次遇到 Crash,就可能会丢失最后 1 个 binlog 中的 GTID。

    13310

    故障诊断 | 存储Cache丢失导致数据库无法open的案例分享

    当存储Cache由于丢失时,我们应该如何处理,让数据库重新能够open起来呢?让我们听听,云和恩墨 ACE 李真旭分享的这篇案例。...解决思路 由于这套数据库是非归档,只有逻辑备份,因此即使恢复成功也面临数据丢失的可能性。 首先我在尝试进行恢复时,发现居然无法mount数据库,在mount过程中实例被直接终止了,感觉非常奇怪。...打开数据库之后立刻重建数据库Undo和temp,如下: ? 再次重启数据库之后,发现alert log仍然有一些错误。如下所示: ? 实际上当时在进行恢复时,我手工处理掉了obj# 290。...我们在开玩笑讲到:如果可能的数据库运行在我们的Zdata环境上,那么数据库重建过程在2小时内即可完成,而且也不会出现类似故障。...因此Zdata的io操作上直接落盘或者写到Pcie上,不存在数据丢失的风险。

    86180

    故障分析 | 记一次 MySQL 主从双写导致的数据丢失问题

    一、问题起源 不久前用户反馈部门的 MySQL 数据库发生了数据更新丢失。为了解决这个问题,当时对用户使用的场景进行了分析。发现可能是因为用户在两台互为主从的机器上都进行了写入导致的数据丢失。 ?...如图所示,是正常和异常情况下应用写入数据库的示例。随后在更加深入调查问题的过程中,DBA 发现了故障引起数据丢失的原因: ? 如图 1-2 所示为故障具体过程的还原。...因此导致了最终两台机器数据不一致,并且有一部分数据更新丢失。...通过索引检索数据的方式又可以分为: 1. 通过主键/唯一键索引检索数据。 2. 通过二级索引检索数据。...之后不管是通过全表扫描还是索引的方式获取数据,都会通过 Hash 结构去定位 BI 中的数据

    82510

    腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群 (1)

    腾讯,QCloud,为什么选择QCloud来做这个实验,除了QCloud是我的东家(这里我没收任何广告费啊),其实QCloud对Windows原生态保留得最好,所以很多种Windows实验(解决方案)...所以开机后会提示需要更改为以内网IP为名字的主机名,这里直接进行更改主机名即可) [image.png](重启后加域完成) [image.png]附录,本篇槽点: 高IO的本地SSD盘大小是随配置的增加而增加,对于存储要求高的数据库来说...完成后关机并提交为自定义镜像(记得点击“执行sysprep制作镜像”): [image.png] 然后把之前用公共镜像生产的虚拟机重新用自定义镜像生产: [image.png] 相关推荐 【腾讯的...1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(2) 【腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(3) 【腾讯的1001种玩法】在腾讯上创建您的...SQL Server 故障转移集群(4) 【腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(5)

    10.6K20

    腾讯的1001种玩法】在腾讯上创建您的 SQL Server 故障转移集群(4)

    接上篇在腾讯上创建您的 SQL Cluster(3)和在腾讯上创建您的SQL Cluster(2)我们准备好了iscsi存储,并让两台 SQL 节点子机成功连上了,相关的域环境配置也在第一篇在腾讯上创建您的...[image.jpg] 18、接着,我们就可以开始添加群集存储了: [image.jpg] 19、点击添加存储,将两块iSCSI磁盘添加到群集中: [image.jpg] 20、将400G的数据盘作为...SQL Cluster的数据盘,并添加到CSV中: [image.png] [image.jpg] [image.jpg] 21、接着点击群集管理器上的群集名称,右键配置仲裁: [image.jpg...] 相关推荐 【腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(1) 【腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(2) 【腾讯的...1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(3) 【腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(5)

    4.6K00

    腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(3)

    首先写 SQL Server Failover ClusterC 最主要的目的是给大部分客户在国内厂商上搭建 Failover Cluster (不单单是 SQL Cluster )提供指引,其次也是为了验证国内厂商的可折...(tu)腾(cao)性,单从这两点来看,目前效果还是不错的,从文章被官方腾云阁收录的情况来看,国内厂商的容忍度还是比较高的。...(我们将 SQL 主程序安装在数据盘上,避免出问题),开始进行安装: 4.点击群集管理器将 SQLData01 进行脱机删除(上一篇主要为了测试将共享存储进行转换成 CSV 测试转移): 5....点击 SQLServerSetup 安装程序,切换到安装: 6.第一个节点(Q-SQL01)点击新的群集安装并输入 License : 7.一路点到安装故障转移群集规则检测,默认会有群集警告(前篇介绍过由于...virio 驱动): 8.功能目录、实例根目录统一选择输入数据盘路径: 9.输入之前配置好的群集名称及输入实例名称: 10.在检查群集资源页上下一步(由于存在仲裁盘及默认 cluster 这里的

    2.9K00

    腾讯的1001种玩法】在腾讯上创建您的 SQL Server 故障转移集群(5)

    (我们将 SQL 主程序安装在数据盘上,避免出问题),开始进行安装: 4.点击群集管理器将 SQLData01 进行脱机删除(上一篇主要为了测试将共享存储进行转换成 CSV 测试转移): 5.点击...virio 驱动): 8.功能目录、实例根目录统一选择输入数据盘路径: 9.输入之前配置好的群集名称及输入实例名称: 10.在检查群集资源页上下一步(由于存在仲裁盘及默认 cluster...SQLCluster VIP:192.168.108.68进行链接 连接后先添加一个SQL管理员到登录名中并指定相关权限 下批系列预告: 将放出更多基于QCloud的微软架构文章 相关推荐 【腾讯的...1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(4) 【腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(3) 【腾讯的1001种玩法】在腾讯上创建您的...SQL Server 故障转移集群(2)

    3.2K00

    腾讯的1001种玩法】在腾讯上创建您的SQL Server 故障转移集群(2)

    A1:不可能完全隔离,因为不单单是 QCloud ,大部分的公有(包括国际)底层都是采用多个网卡做 team 来进行多卡容灾,如果要多个 vNet 拆分对应多个物理网卡无非是增加服务器硬件成本,不过目前为止貌似也没有哪个公有厂商敢宣称做了完全的...A2:完全物理分离的完美方案几乎不可能,对国内公有来说也的确有点为难,所以尽可能的去避免单点故障还是有可能的,有这么一种方案,现在 QCloud 的虚拟机投放策略是尽可能打散在不同宿主机,那就意味着同一台宿主机多个虚拟机同一个物理网卡的可能性是微乎其微的...Q-SQL02 192.168.108.114 10.11.11. 10.10.10.234 关于 SG,是用来作为 SQL Cluster 共享存储,存储作用一共分为三块,一块作为仲裁盘,一块作为生产数据

    3.5K00

    腾讯4月8日故障复盘及情况说明

    4月8日15点23分,腾讯云团队收到告警信息,API服务处于异常状态;随即在腾讯工单、售后服务群以及微博等渠道开始大量出现腾讯控制台登录不上的客户反馈。...此次故障一共持续了近87分钟,期间共有1957个客户报障。 从客户的视角来看,服务大概可以分为数据面和控制面,数据面承载客户自身的业务,控制面负责操作上不同产品。...图 1:腾讯全产品进出流量趋势图 但是,用API提供的服务类产品(需要“酒店前台服务“)有不同程度的影响,比如腾讯存储服务调用当天有明显下滑。...故障的原因是API服务新版本向前兼容性考虑不够和配置数据灰度机制不足的问题。...3、优化腾讯健康状态看板(StatusPage)的信息展示逻辑,解除对API等服务的依赖,通过引入缓存和容灾机制,确保即使在服务出现故障时,能准确、及时地传递故障信息。

    80520

    腾讯4月8日故障复盘及情况说明

    原文链接: https://mp.weixin.qq.com/s/2e2ovuwDrmwlu-vW0cKqcA 4月8日15点23分,腾讯云团队收到告警信息,API服务处于异常状态;随即在腾讯工单、...此次故障一共持续了近87分钟,期间共有1957个客户报障。 从客户的视角来看,服务大概可以分为数据面和控制面,数据面承载客户自身的业务,控制面负责操作上不同产品。...图 1:腾讯全产品进出流量趋势图 但是,用API提供的服务类产品(需要“酒店前台服务“)有不同程度的影响,比如腾讯存储服务调用当天有明显下滑。...故障的原因是API服务新版本向前兼容性考虑不够和配置数据灰度机制不足的问题。...3、优化腾讯健康状态看板(StatusPage)的信息展示逻辑,解除对API等服务的依赖,通过引入缓存和容灾机制,确保即使在服务出现故障时,能准确、及时地传递故障信息。

    19710
    领券