元数据级跨地域复制

最近更新时间:2026-06-12 14:59:01

我的收藏
TDMQ Pulsar 本身已支持多可用区的容灾能力,为应对更极端的地域级灾难场景,帮助客户在发生故障时快速迁移业务并尽快恢复,故而推出元数据级跨地域复制方案。

元数据级跨地域复制场景

下面对元数据级跨地域复制方案分别从正常、故障发生时、故障恢复后三个场景进行介绍。

正常场景

假设当前业务主地域为 A 地域,为保障在地域级灾难发生时能够快速迁移业务,需完成以下两项准备工作以开通元数据级跨地域容灾能力
跨城网络连接建立,通过云联网 CCN 打通 A、B 两地的 VPC 网络,实现跨地域互通。
在对应容灾地域创建容灾集群,开启跨地域复制开关,将当前待创建容灾集群和已存在的主集群关联。
元数据同步,通过 TDMQ Pulsar 控制台建立两地集群的元数据同步,包括命名空间、Topic、订阅、角色等。

故障场景

当地域级灾难发生时。TDMQ Pulsar 控制台提供域名解析切换功能,将原 A 地域使用的域名指向到目标容灾 B 地域的集群。如此可避免客户端修改接入点地址,而实现对容灾 B 地域的集群的容灾方案,保障业务的延续性。

故障恢复后

A 地域恢复后,用户需要先评估是否需要将故障期间 B 地域产生的消息回写至 A 地域,以保证消息数据完整性;如需回写,请联系售后团队协助处理。
完成评估(及必要的回写)后,用户在 B 地域的集群上操作接入点域名解析的切回,切回操作执行生效后,客户端即可正常访问 A 地域。


操作流程

创建容灾集群

2. 在备份地域创建一个专业集群,在集群购买界面,需要开启跨地域复制开关,并选择要备份的集群


云联网网络打通

基于 云联网 打通生产地域和备份地域的网络,建立一个网络访问通道。使得在灾难时,在生产地域的客户端可以跨地域访问到备份集群。
配置详情请参见云联网 操作指南,进行如下操作:

创建元数据复制链路

1. 在控制台的左侧导航栏选择跨地域复制,单击新建链路,配置集群的元数据同步链路:
复制链路名称:为同步链路定义一个名字,不能为空,支持数字字母以及符号 “-_=:.”,长度不超过128个字符。
链路类型:选择元数据。
源集群选择:选择要进行复制的数据源 Pulsar 集群。
目标集群选择:在不同地域选择创建好的目标集群,此处仅会显示「集群 ID」相同的集群。
复制级别:支持集群级别命名空间级别两个级别。
集群级别,适用于集群级的复制。
命名空间级别,适用于两地集群日常都是活跃的,不同的命名空间分布在不同地域。
2. 单击保存,完成创建。

创建容灾接入点

1. 前往主集群的集群详情页面的接入点列表,在目标接入点的操作栏点击创建容灾接入点。

2. 在弹出的窗口中,选择容灾集群在灾备地域对应的 VPC 与子网,点击确定。

3. 创建容灾接入点成功后,容灾集群的接入点列表中将同步生成该条接入信息。若未来主集群发生故障,您可直接点击异地切换,一键进行紧急流量切换,保障业务连续性。


灾难发生时

用户决策,在控制台容灾集群接入点页面点击异地切换紧急切流至容灾集群:
1. 通过控制台,在容灾集群接入点操作列点击异地切换
2. 如果控制台不可用,客户可联系售后架构师或提交工单,由 TDMQ 服务侧发起切换。


灾难恢复后

用户决策,客户端访问切回原地域集群:
1. 用户判断是否需要进行消息回写,如需回写,请提交工单联系操作。
2. 回写结束后,观察回写任务基本追平,再通过控制台容灾集群接入点操作列,点击异地切回后,客户端将正常访问原地域主集群。


注意事项

1. 支持范围

该功能仅专业固定/弹性存储集群支持。

2. 消息回写

消息回写是在用户将流量切回原地域时的前置判断,目的是避免数据丢失,确保数据完整性。请务必在决定是否回写后再进行域名切回。
用户提供信息:
待搬迁的 Topic 列表,例如:集群 ID、命名空间或者具体的 Topic 列表。
起始时间和结束时间,Topic 中发送时间在该范围内的消息为待搬迁数据,参考字段为消息头中的 publishTime。
消息回写的影响:
大量的消息重复,服务端主观上不会去考虑源集群和目标集群的位点同步的复杂状态机,一律将搬迁消息视为新消息对待,即使历史数据已经有同一条消息,也视为两条不同的消息。如果重复消息对业务有一定影响,建议客户端做幂等处理
较少的消息乱序。

3. 关于角色

源集群下,至少需要有一个角色 Role,可以不绑定到命名空间。目标是确保同步时角色 Role 、Token 可以与容灾集群保持一致。

4. 云联网的配置

云联网配置时,两个地域所创建的 VPC CIDR 需要错开。例如:广州10.0.0.0/16 上海10.1.0.0/16 ,如此云联网才能将这两个 VPC 连起来(IP 不会互相冲突)。

5. 域名切换生效时间

域名切换生效时间约需 5s 至 5min,包括两个部分:域名解析切换,客户端断开并重连至新集群的 Broker。

6. 灾难时切换后

灾难发生时,流量切换到容灾集群后,尽量不要在备份集群变更元数据,例如:命名空间属性、新建 Topic 等。