首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

系列(六)——数据存储建设

数据存储建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢?...后台数据复制机制能在任何一个副本出现故障时迅速通过数据迁移等方式复制一个新副本,时刻确保有三个副本可用,避免单点故障引起的数据丢失等问题,提高数据的可靠性。...一般网络抖动都是秒级的,建议重试次数通过退避指数方式来进行,以免造成短时间内机器负载突增。 同时针对使用COS分块上传或者重传,有一个优化技巧,首先COS分块上传以下三步: 1.初始化。...场景三:存储设备故障时间较长业务自愈能力建设 如果存储集群或者访问链路出现秒级的抖动,采用客户端或者应用重试方式是可行的。...这里最常用的就是新增COS和CBS盘的方式让业务进行临时写入,待故障恢复后,补齐数据。

3.4K73
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    的架构分析和选择策略

    通常可通过共享存储或双机双柜的方式实现本地,其中多以共享存储为主。 共享存储由三部分组成:活动主节点,不活动备节点,共享存储。...这种方式相较于主备模式,其业务恢复速度更快,但整体资源投入更高,实施及运维难度更复杂,且存在业务冲突风险。 业界更多采用的是两地三中心的做法。...2.级别与能力 系统按保护级别可分为:数据级、应用级、业务级。...在数据级方式下,所建立的异地备中心可以简单地把它理解成一个远程的数据备份中心。数据级的恢复时间比较长,但是相比其他级别来讲它的费用比较低,而且构建实施也相对简单。...应用级生产中心和异地备中心之间的数据传输是采用异类的广域网传输方式;同时应用级系统需要通过更多的软件来实现,可以使多种应用在灾难发生时可以进行快速切换,确保业务的连续性。

    2.6K30

    系列(八)——同城数据冷备建设

    为了让企业能更好用好云平台的数据安全能力,本文重点云平台数据备份冷备能力,以腾讯云为例,主要从以下两个维度介绍:同城数据冷备能解决企业什么问题,达到怎么样业务效果?...同城冷备份方案同城数据冷备方案主要依赖于云平台能力备份能力,对现有业务架构没有任何改造,方案架构如下:图片该方案核心要点说明:数据备份:云侧数据库mysql和redis在控制台设置数据备份参数,数据备份存储在COS,具备地域级别...如果企业有业务切回需求,主要依赖于dts数据同步工具,当追平数据后,在业务低峰期将业务切回之前可用区。3....指标详细说明能力具备同地域(不同可用区)数据备份能力,不具备不同地域的能力。...3.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    6.6K113

    系列(九)——异地数据冷备建设

    2.3 数据库备份服务数据库备份服务拥有一套完整的数据备份和数据恢复解决方案,具备实时增量备份以及快速的数据恢复能力,同时具备异地能力。...mysql,reids以及cos,结合云平台的能力,具体方案架构如下:图片方案要点说明:数据备份:基于数据恢复的rto时长,mysql采用数据库备份服务;当前数据库备份服务暂不支持redis,采用api方式进行备份...对于数据恢复方式如下:cos数据恢复:cos存储桶异地复制,数据无需恢复。redis数据恢复:redis通过购买云redis使用之前备份数据进行人工恢复。...如果企业有业务切回需求,数据库依赖于dts数据同步工具,cos通过日志进行人工补录,待两端数据一致后,在业务低峰期将业务切回之前地域。...4.本章小结方案实现方式rpo/rto资源费用业务改造数据备份业务恢复api方式实现小时计带宽和存储"零"改造人工实现数据和业务恢复均人工实现云函数与存储桶复制联动小时计带宽、存储和云函数费用"零"改造自动实现同上数据库备份服务小时计带宽

    8.9K164

    系列(三)——云网络建设

    IDC时代,业务对网络参与较少,主要依赖数据中心网络建设程度;当到了云的时代,云服务商将底层网络能力产品化后,云上客户更多参与网络建设,提升业务稳定性。...本文从云网络概述,云网络复杂度以及典型案例来介绍云网络建设。 1.云网络概述 云网络概述主要分为云服务商基础设施网络架构和云产品两部分,让云上客户更加深入了解云网络,用好云网络。...2)跨区或者跨地域云基础设施能力。 通常云服务厂家数据中心建设均有能力,这里建议还是选择大厂。 3)IDC到云上网络高可用建设。...混合云模式,这里考虑到IDC和云上线路灾情况,一般建议两条专线接入不同的POP点来进行建设;同时建立VPN或者GRE公网逃生通道来紧急恢复业务。...image.png 3.2 混合云网络 混合云网络分为两个部分: 1)idc和云机房之间线路,主要线路分为专线和VPN。

    4.7K93

    备知识总结:与备份区别、备技术、体系规划

    系统在企业中给与数据安全系数相当高的保障,但是系统倒是是什么,他们是什么意思?恐怕连正在使用备份的网络管理人员都不能解释。本文用最浅显的语言给大家解释备份到底是什么。...不可少 那么建设了备份系统,是否就不需要备份系统?...如果是同步,那端同时就删除了;如果是异步,那端在数据异步复制的间隔内就会被删除。这时就需要从备份系统 中取出最新备份,来恢复被错误删除的信息。...常用的备组合方式 基于以上原因,业界在备系统的建设上一般按照以下几种方式: 建设机房内的本地备份系统 建设异地的备份系统 该方式可以备份系统的价格满足备份和异地功能,能够避免主生产中心由于地震、...同步方式 ? 半同步方式 ? 异步方式 ? 1.2 智能交换机技术 ? 2.1 卷管理软件备技术 ? 2.2 数据库日志复制技术 ? 2.3 数据库备技术 ? 3.1 应用备技术 ?

    10.2K21

    系列(七)——混合云公网出口建设

    本文结合云平台公网能力,从网络平台角度来分析建设可行性。...2.公网出口方案 2.1 IDC和云平台出口互为主备 正常情况下,IDC和云平台公网出口流量是烟囱式,互不交叉;当IDC公网出口异常,流量切换到云平台,同样云平台公网出口异常,流量切换到IDC。...整体公网出口方案如下: image.png 2.1.1 云平台切换方案。 正常情况下,业务流量通过NAT访问公网,如上路绿色线条标识。...2.1.2 IDC切换方案 正常情况下,IDC业务流量通过NAT访问公网,如上路绿色线条标识。...IDC公网出口方案 (推荐) 1.方案简单,更多依赖云平台能力 2.方案落地快捷。 3.人力成本低,不需要自建系统。 4.维护成本低,不需要后续维护系统稳定性。

    3.1K124

    系列(四)——业务应用层建设

    综上所述,本文从云平台视角出发阐述应用层业务建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。 1.应用概述 1.1 应用部署 应用是否满足跨地域/可用区部署?...应用层调用链能接受跨区延时,一般以试点业务先观察,小步迭代方式逐步构建能力。...切换强依赖于调度系统以及配置系统稳定性。这里稳定性主要包括系统能力和性能;遇到大规模故障,大量信息配置变更请求调度系统和配置系统要能扛住洪峰,是保障这个方案的根基。...2.应用复杂度 计算应用层,主要考虑以下两个方面: 哪些节点执行任务。 这里要区分清楚哪些节点执行核心业务,这里会引入不同的复杂度。...当前腾讯云dts已经支持mysql双向同步功能,详情见https://cloud.tencent.com/document/product/571/59386。

    3.5K72

    知识知多少

    为什么要做? 你知道吗?自然灾害、设备故障、人为因素等都会造成业务中断。如今数字化时代,IT系统故障更会对公司业务造成难以估量的巨大经济损失。...3 关键词 RPO(Recovery Point Objective) 数据恢复点目标,主要指的是业务系统最大能容忍的数据丢失量。...体系介绍 1 数据中心 集团公司通过两地建立三个数据中心,通过双活、冷备等方式,实现两地三中心架构。...2 体系建设 系统类型 --- 策略 核心业务系统 --- 两地三活 关键平台系统 --- 同城双活 非关键系统 --- 异地冷备 3 技术方案 异地冷备 恢复能力 RTP≤1h RPO≤5min...演习要求 每年进行演练,所有核心业务与平台系统均要参演。 异地备恢复、同城双活切换、一键式自动化启停等恢复方式不断创新,要求演习规模逐年扩大和恢复效率逐年提升。 - End - ----

    1.3K20

    数据中心精讲(常见的建设模式)

    当前,市场上常见的模式可分为同城、异地、双活数据中心、两地三中心几种。...同城 同城是在同城或相近区域内(≤200KM)建立两个数据中心:一个为数据中心,负责日常生产运行;另一个为灾难备份中心,负责在灾难发生后的应用系统运行。...异地 异地主备中心之间的距离较远(>200KM)因此一般采用异步镜像,会有少量的数据丢失。异地灾难备份不仅可以防范火灾、建筑物破坏等可能遇到的风险隐患,还能够防范战争、地震、水灾等风险。...由于同城灾难备份和异地灾难备份各有所长,为达到最理想的防灾效果,数据中心应考虑采用同城和异地各建立一个灾难备份中心的方式解决。...异地备中心是指在异地的城市建立一个备份的备中心,用于双中心的数据备份,当双中心出现自然灾害等原因而发生故障时,异地备中心可以用备份数据进行业务的恢复。

    2.3K20

    与集群(1)

    我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello World吧,Orleans是为分布式和云计算而生的框架,那么今天我们就简单说一说...、集群、与集群在Orleans中的运用。...是什么?...技术是系统的高可用性技术的一个组成部分,系统更加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。...和集群的关系? 个人认为是一种需求,目的,目标,而集群是一种技术手段,使用集群可以提供可用性和可缩放性,那么也解决了的问题,当然方式不仅限于集群镜像站点也能解决问题。

    1.6K40

    系列(十)——数据热备能力建设【基础篇】

    图片DTS数据同步服务方案,有两个前提:1)网络互通,通过云联网将源实例和备实例所在vpc网络打通。...2)备实例,建议采用云平台的PAAS服务,更好的兼容DTS同步服务。2.2 平台热备方案2.2.1 数据库备方案目前数据库对于异地备份能力进行封装,来简化云上客户操作成本,提升RTO。...MySQL新建备实例进行数据热备,数据一致性要求选择同步方式,通常采用异步;Redis通过全球复制功能实现数据同步,备份地区角色为只读进行数据复制;cos设置存储桶复制功能进行数据备份,同时北京存储桶开启日志...方案关键因素详细说明范围地域级别RPO/RTORPO几乎接近为零;RTO为小时级别,进行1:1业务部署,依赖于业务部署和数据恢复自动化能力。...3.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    5K143

    系列(十一)——数据热备能力建设【进阶篇】

    业务数据备份采用热备方式指标RPO接近“零”;但是RTO指标还是依赖于业务部署测试自动化能力。业务会进一步需要,在数据热备技术架构下,在成本可控的情况下,是否能进一步提升RTO指标呢?...2.核心技术在IDC年代,资源扩容流程繁琐,而且周期长;在备区域,按照1:1资源来部署业务,导致成本翻倍。...TKE Serverless 集群支持设置 Kubernetes 原生 HPA 的方式,可让服务根据实际负载进行自动伸缩。...mysql采用数据同步方式做实时备份,这里未采用数据库自带备实例,主要是由于备实例为只读,不方便平时做演练切换。...业务恢复业务恢复成本较低,如果以下两个方面做的充分:1.备区日常业务验证能力,对于业务全面测试验证上线能力要求较高。2.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    5.1K94

    系列(五)——数据库容建设

    本文主要从数据库容方案视角,基于当前客户业务并结合技术&产品,制定最佳方案。...主要从以下三个方面来介绍: 方案设计要素 云上方案 云上客户案例 1.方案设计要素 数据库容方案设计要素主要数据同步,数据一致性以及数据修复三个方面 。...平台方案 客户业务场景最常用腾讯云数据产品主要是redis,cdb,mongoDB以及TDSQL。...数据产品 跨区 就近访问 跨地 CDB 支持 控制台自助配置 支持 跨AZ/跨地域RO实例 方案一:通过DTS支持,需要业务手工切换VIP 方案二:支持DTS双写能力,云上云下或多地域。...,对于2和3的诉求点,结合tdsql产品提供建议。

    8.1K125

    演练-故障切换

    设计需要进行故障切换的场景 设计过程当中需要考虑的故障切换的场景有很多,数据中心内部的高可用切换不在本次讨论范围之内,我们讨论的是恢复过程中的关键跨数据中心级的故障切换场景,从网络层到存储层都会涉及到...其实从容的角度来看,相互独立的小集群LB资源池和跨数据中心的大集群LB在切换功能都是合格的,APP节点故障无论是在大集群和小集群架构下,都可以合理切换。...4.2 HA数据库服务模式 所谓 HA数据库服务模式是指通过操作系统HA软件结合数据库服务实现的架构,架构设计之初是为了实现各类应用服务的本地服务器高可用,但双活技术兴起之后,也常常被用来作为近距离...(百公里内范围)双活的数据库服务架构 。...存储层的故障切换策略 5.1 存储网关服务模式 所谓存储网关模式,我们在《企业选型指南- 2 :企业的数据复制技术》当中介绍过, 就是在物理存储层之上增加一层网关技术,用以形成存储资源透明抽象层

    2.9K31

    系列(一)—— 云上业务方案要如何选?

    本文从容概念,决策因素,典型案例和方案对比进行说明,希望方案的选择有所帮助。 1.概念 将这个词,分开来看“”和“”。...3.1 异地 异地的核心特征: 1)范围:地域粒度的。 2)流量分布:单地域承载100%业务流量。 3)数据存储:数据库以及存储均在异地做冷备,数据单向同步。...以下是云上某个金融公司异地架构: 1)接入层和业务层均使用低配以及业务单台服务器部署方式,主要提升业务快速扩容能力,一方面主可用区异常,借助腾讯弹性伸缩AS能快速扩容,另一方面业务发布版本在不同地域保持一致...2)该数据层使用云上PAAS产品,云上产品均支持异地能力,同时操作便捷。如CDB和COS均通过云上控制台按钮式方式建设异地能力;而对于es通过ccr方式进行数据复制。...image.png 3.2 同城 同城根据数据写入方式分为单写或者双写;单写称为半双活,双写称为双活。 3.2.1 同城半双活(单写) 同城半双活核心特征: 1)范围:可用区粒度

    8.7K116
    领券