- 综合排序
- 最热优先
- 最新优先
- 来自专栏铭毅天下
Elasticsearch 主从同步之跨集群复制
1、什么是跨集群复制？ 对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。 2、跨集群复制最早发布版本 Elasticsearch 6.7 版本。 3、跨集群复制的好处？ 4、跨集群复制的核心概念 图片来源：opster.com 跨集群复制使用主动-被动模型（active-passive model）。 6.1.2 前置条件2：备好至少 2 个集群 跨集群复制，核心是“跨”和“复制”。 “跨”体现在至少得两个集群，否则没有意义。 6.2.2 步骤2：配置权限 为跨集群复制配置权限。 跨集群复制用户在远程集群和本地集群上需要不同的集群和索引权限。 使用以下请求在本地和远程集群上创建单独的角色，然后创建具有所需角色的用户。
3K20发布于 2021-12-01 - 来自专栏雨夜-Elasticsearch成长专栏
ES 跨集群复制 Cross-Cluster Replication
CCR允许不同的索引复制到一个或多个ES 集群中。将索引复制到其他ES集群，可以解决多个用例，包括跨数据中心高可用(HA)，灾难恢复(DR)和CDN样体系结构，最终实现ES集群的高可用。 CCR双向复制 通过双向复制，我们建立了一个CCR体系结构，当集群和数据中心不可用和ES的文档不可变时（不执行任何更新操作）。可以直接使用灾备集群的索引，实现ES跨数据中心双活。 ] 2.4 创建双向复制索引 建立索引logs-dc1，以DC1为源集群，复制到目标集群DC2。 POST /<follower_index>/_ccr/unfollow 3.总结 1.ES 跨集群复制(CCR)技术必须满足如下两个条件方能够使用：A.ES必须大于6.6版本以上；B. ES7.0一下版本索引需要设置soft_delete属性； 2.ES 跨集群复制(CCR)技术无法做到在CRUD场景下的双活，在主机房异常的情况下，灾备机房既可以提供有损服务； 3.目前业界比较完善的双活方案应该是腾讯的三机房部署
3.1K10发布于 2021-03-15 - 来自专栏南非骆驼说大数据
跨集群复制 Cross-cluster replication（CCR)
一、前言| 跨集群复制（CCR）功能支持将远程集群中的索引复制到本地集群，可以在一些常见的生产用例中使用此功能： 灾难恢复（DR）/高可用性（HA）：如果主集群发生故障，则进行灾难恢复， 辅助集群可以用作热备份 ； 地理位置优越：在 Elasticsearch 中复制数据以更接近用户或应用程序服务器，从而减少延迟，可以在本地提供阅读服务； 集中报告：将数据从大量较小的集群复制回一个中央集群进行报告。 leader索引 复制的目标索引成为follower索引 一个集群可以同时包含leader索引和follower索引 image.png 2，复制是主动-被动关系 你可以使用 leader 索引来进行读或写 操作被follower分片拉动并批量建立索引 多个请求同时进行，更改可以同时进行 image.png 三、部署CCR的前提条件 在进行CCR之前，我们必须满足以下的一些条件： 跨集群复制需要远程集群 ES7以后可以开启白金版试用功能《1个月》 具体细节可以参考如下连接： https://www.elastic.co/guide/en/elasticsearch/reference/7.2/xpack-ccr.html
3.4K155发布于 2020-10-26 - 来自专栏Apache Doris
Apache Doris 2.0 推出跨集群数据复制功能
在此基础上，跨集群复制（Cross-Cluster Replication，CCR）应运而生，并逐渐成为数据和服务高可用性的重要保障。 ClickHouse-Copie 也不支持增量迁移，由于 ClickHouse 本身没有事务的设计，在使用 Copier 同步数据相当于跨级群之间的副本同步，无法保证同步的一致性，也无法配置关于 DB Doris CCR 配置和使用也非常简单，简单操作即可快速完成跨集群数据复制。基于 Doris CCR 优异的能力，可以更好实现读写负载分离以及多机房备份，并可以更好支持不同场景的跨集群复制需求。 全量同步源集群和目标集群均为 1FE 1BE 的集群，系统信息与硬件信息如下： 图片图片源集群数据量：2097152MB目标集群数据量：0全量同步性能测试结果图片后续规划目前 Doris CCR 已支持表和库级别的数据同步 在库级别支持整库同步，可以将源集群中的所有表数据同步到目标集群中。此外，CCR 还支持创建和删除表的同步操作，可以在源集群中创建或删除表时，自动同步到目标集群中，以实现数据的同步和一致性。
1.5K52编辑于 2023-08-16 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群复制(CCR)之腾讯云ES跨地域容灾
集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ---- 腾讯云ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。 但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： 北京集群 es-ki42hwk9： 我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster。 说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。 备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。
4.1K30发布于 2021-01-08 - 来自专栏腾讯云大数据
Elasticsearch 跨集群复制(CCR)之腾讯云 ES 跨地域容灾
腾讯云 ES 目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。 随着腾讯云 ES 双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云 ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： ? 上海测试集群 北京集群 es-ki42hwk9： ? 说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。 备注说明：由于是跨地域打通了网络，如果出现下面的 Not connected 状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。 ?
2.7K20发布于 2020-10-28 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群复制(CCR)之腾讯云ES跨地域容灾
腾讯云ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。 随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： image.png北京集群 es-ki42hwk9：image.png我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster image.png发现上海的Follower集群中的Follower索引wurong_sh_index也包含了4条doc数据。说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。 image.png
5.4K83编辑于 2022-09-05 - 来自专栏腾讯云Elasticsearch Service
腾讯云Elasticsearch跨集群复制原理及最佳实践
一、跨集群复制原理 1、跨集群复制 跨集群复制即CCR，是一种能够实现数据迁移、数据备份、降低访问延迟的高可用解决方案。跨集群复制采用的是一个主备的架构模型。 image.png 如上图7所示，ES集群A和ES集群B组成互为主备架构，即ES集群A中部分索引为leader索引，集群B中follower索引通过CCR机制从集群A中同步数据。 image.png image.png image.png 3、跨集群复制需要注意的问题 3.1 关于双向同步版本问题 CCR双向同步，必须要保证双向同步的两个集群版本基本保持一致，如集群A为6.8.2 ，集群B为6.8.6是没有问题的，即小版本可以有差别，具体版本矩阵可参考官方文档： image.png 3.2 多Type问题 如果Leader集群是7.x之前的版本，则通过多type方式向集群中写入数据时 三、跨集群复制总结 以上我们分别从CCR的基本原理和动手实践向大家介绍了Elasticsearch的跨集群复制功能，并总结了在生产实践中使用跨集群复制功能时需要注意的问题及解决方案，希望对大家有帮助。
5K90发布于 2021-11-20 - 来自专栏腾讯云中间件的专栏
腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移
导语 本文整理自 Pulsar Summit Asia 2022 技术峰会上腾讯云中间件高级研发工程师韩明泽的分享《基于跨地域复制实现租户跨集群迁移》。 本文主要介绍基于跨地域数据复制和订阅进度同步的实现及优化，以及腾讯云在跨集群迁移过程中遇到的问题及租户跨集群迁移解决方案。 订阅进度同步的实现及优化 跨地域复制简介 跨地域复制是 Apache Pulsar 提供的跨机房数据复制能力。 跨地域复制集群复制功能实现原理 如果 Apache Pulsar 不提供跨集群复制功能，如何在运维 RocketMQ 或者 Kafka 等情况下实现跨地域数据复制、容灾者备份和集群间数据迁移的工作？ 如果开启数据复制，此模块则会发起内部订阅（或游标进度）。在任一主题内消费消息时，生产者向对端集群投递消息来实现跨集群数据的复制功能，不影响本集群的生产消费。
1.4K20编辑于 2023-02-24 - 来自专栏腾讯云大数据
最佳实践 | 基于腾讯云ES如何跨地域容灾？跨集群复制为您解忧！
作者：吴容，腾讯云大数据Elasticsearch高级开发工程师 腾讯云大数据ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。 但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： 上海测试集群 北京集群 es-ki42hwk9： 北京测试集群 我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster Follower Index自动同步数据 发现上海的Follower集群中的Follower索引wurong_sh_index也包含了4条doc数据。说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。
1.5K20编辑于 2022-11-11 - 来自专栏技术杂记
Redis 复制7
上面一种方法会在当前运行状态中生效，一旦重启，将不再同步，要想在重启后依然有效，只用在配置文件中加下面一行
27110编辑于 2022-07-09 - 来自专栏运维专栏
Prometheus跨集群采集
背景恩不想搭建太多prometheus了，想用一个prometheus,当然了 前提是我A集群可以连通B集群网络，实现Prometheus跨集群采集采集关于A集群A集群 以及prometheus搭建 参照 ：Kubernetes 1.20.5 安装Prometheus-OpratorB集群B集群操作参照：阳明大佬 Prometheus 监控外部 Kubernetes 集群创建RBAC对象：cat rbac.yamlapiVersion additional-configsA集群 promethus配置文件夹中：修改prometheus-additional.yaml，复制token 替换bearer_token 中XXXXXXXXXXXXXXXXXXX 注：B集群apiserver 地址为10.0.2.28:6443，自己整要修改！ 总结一下：现实环境中我应该不会那么玩，还是跟原来一样，每个k8s集群搞一个prometheus-oprator集群，然后可以连接一个grafana......其实那么的搞了一圈玩一下就发现了K8s1.24
80441编辑于 2022-09-08 - 来自专栏云计算与大数据
Kafka集群间信息复制
于是集群间的数据镜像成为了 Kafka 的一个重要需求。本文将详细描述集群间信息复制的场景和方案。 Kafka 集群复制主要有2个场景，一个是基于地理位置的场景，一个是基于业务生命周期的场景。 基于地理位置的场景 跨国跨地域的公司由于性能，法规等要求，在业务所在地创建了 Kafka 集群对当地的业务数据进行收集和处理。 集群复制前提 如果2个或者多个集群想做复制，首先要考虑的是网络互连互通的问题。基于当前腾讯云网络的结构，主要需要考虑 VPC 之间的互连互通逻辑。 集群复制方案 目前集群复制方案有2个，一个叫 MirrorMaker ，一个叫 Confluent Replicator 。
69430发布于 2021-08-26 - 来自专栏云数据库RDS
部署MongoDB复制集群（最全）
集群简介在生产环境中，MongoDB 经常会部署成一个三节点的复制集，或者一个分片集群。我们先来看左边。 当 MongoDB 部署为一个复制集时，应用程序通过驱动，直接请求复制集中的主节点，完成读写操作。另外两个从节点，会自动和主节点同步，保持数据的更新。 那集群中的数据是如何分布的呢？这些元数据记录在 Config Server 中，这也是一个高可用的复制集。每个分片管理集群中整体数据的一部分，也是一个高可用复制集。 这样，整个分片集群没有任何单点故障。 fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-5.0.14.tgz2.解压mongodb-linux-x86_64-rhel70-5.0.14.tgz3.创建复制集群
79230编辑于 2022-11-22 - 来自专栏若尘的技术专栏
Tomcat的Session复制集群
配置说明 Cluster 集群配置 Manager 会话管理器配置 Channel 信道配置 Membership 成员判定。使用什么多播地址、端口多少、间隔时长ms、超时时长ms。 Interceptor 拦截器 Valve ReplicationValve 检测哪些请求需要检测Session，Session数据是否有了变化，需要启动复制过程 ClusterListener ClusterSessionListener 集群session侦听器 使用 <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster "/> 添加到 <Engine> 所有虚拟主机都可以启用Session复制 添加到 <Host> 该虚拟主机可以启用Session复制 最后，在应用程序内部启用了才可以使用 5.1 配置 server t1.tomcat.org:8080; server t2.tomcat.org:8080; } ... 5.2 在两台后端Tomcat主机上修改server.xml配置 复制集群的配置可以配置在
1.4K64发布于 2021-11-24 - 来自专栏运维开发王义杰
MySQL集群复制状态探究
InnoDB集群与复制状态 在传统的MySQL复制环境中，SHOW REPLICA STATUS命令可以提供关于复制的配置和状态的信息。但在InnoDB集群中，复制状态的查询有所不同。 InnoDB集群使用组复制（Group Replication）技术来保证数据的同步和一致性，而不是传统的MySQL复制技术。因此，我们需要使用不同的命令来查询复制状态。 在InnoDB集群中，组复制恢复通道用于在节点加入集群时进行数据的恢复和同步。 总结 在InnoDB集群环境中，查询和管理复制状态的方式与传统的MySQL复制环境有所不同。 通过理解InnoDB集群的复制机制和如何查询复制状态，我们可以更好地管理和监控我们的InnoDB集群环境，确保数据的一致性和高可用性。 当我们需要深入了解InnoDB集群的复制状态时，可以通过执行适当的AdminAPI命令来获取详细的信息，帮助我们了解集群的运行状态和配置。
50610编辑于 2023-10-24 - 来自专栏铭毅天下
Elasticsearch 跨网络、跨集群同步选型指南
涉及到跨版本、跨网络、跨集群的索引数据的迁移或同步。我们拆解一下： 2.1 跨版本 7.X 是当前的主流版本，早期的业务系统会停留在6.X、5.X 甚至 2.X、1.X 版本。 7.X版本：type 就是_doc。 2.3 跨集群 源数据和目的数据分布在两个不同的集群。 3、同步方案对比 如下几个同步方案，我们边实战边解读。 ? 3.0 实战环境准备 为了演示方便，我们把环境简化。复杂环境，原理一致。 path.repo: ["/home/elasticsearch/elasticsearch-7.12.0/backup"] 详细配置参考：干货 | Elasitcsearch7.X集群、索引备份与恢复实战 4、小结 本文针对 Elasticsearch 跨网络、跨集群之间的数据同步（模拟），给出了5 种方案，并分别在实战环境进行了验证。 ? 初步验证结论如下： ? 当然，结论并非绝对，仅供参考。
4.2K10发布于 2021-06-25 - 来自专栏Reinvent Data Science
Milvus跨集群数据迁移
容器，修改 configs/backup.yaml 配置 备份集群数据到本地存储中 将数据拷贝到新集群中进行恢复 01. 注意一下，由于需要在两个集群间迁移，因此创建工作负载的时候挂载一个共享存储（/backup），方便迁移 MinIO 备份后的数据。 03. 备份当前集群数据到本地存储中 使用 milvus-backup 工具备份数据，这里可以直接参考 ./milvus-backup -h，milvus 系列的文档还是非常棒的。 恢复数据到新的集群中 进入新的集群（B）执行步骤 2和步骤 3，在步骤 3 中将 backup.yaml 中的配置修改成集群 B 的链接信息。 然后将共享目录中备份好的文件拷贝到新集群的 MinIO 中，使用 milvus-backup 恢复即可！
73210编辑于 2024-06-14 - 来自专栏mysql-dba
mysql复制系列7-复制延迟计算
我们在主从复制中最常遇到我的问题就是复制延迟的问题，那究竟复制延迟是怎么计算的呢？ 复制延迟的准确定义应该是：同一个事务从主节点提交事务到从节点提交事务的时间间隔通常称之为复制延迟包括 包括事务被传输到从库的时间以及在从库应用的时间 我们经常使用的show slave status 中的 ： 1.当复制线程启动后，修改操作系统时间会导致计算出得复制延迟时间不准（重启io_thread可以修正） 2.如果io线程和sql线程同时为YES，且sql线程没有做任何事，此时直接判定复制延迟为0 3.如果sql线程为YES 而io线程为NO 且sql线程未应用完中继日志则会根据公式计算延迟，如果sql线程回放完中继日志，则直接判定延迟结果null 4.任何时候sql线程不为YES,则直接判定复制延迟为 ，特别是在级联复制的环境下计算复制延迟 可以通过相关的表字段计算出复制延迟如replication_applier_status_by_coordinator，replication_applier_status_by_work
1.1K11发布于 2021-05-18 - 来自专栏房东的猫
Elasticsearch跨集群数据迁移
ES官方在6.5版本之后的CCR（跨集群复制）功能，把旧集群作为Leader, 新集群作为Follower, 旧集群不停止读写，新集群从旧集群中follow新写入的数据；另一方面使用第三方工具把存量的旧集群中的数据迁移到新集群中 } } snapshot 适用场景 适用数据量大的场景 使用方式 snapshot api是Elasticsearch用于对数据进行备份和恢复的一组api接口，可以通过snapshot api进行跨集群的数据迁移 ，在旧集群和新集群数据完全追平之后，可以切换到新集群进行业务的查询，之后再对旧的集群下线处理。 image.png 使用中间件进行同步双写的优点是： 写入过程中丢失数据风险较低 可以保证新旧集群的数据一致性 总结 elasticsearch-dump和logstash做跨集群数据迁移时，都要求用于执行迁移任务的机器可以同时访问到两个集群 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移，而需要跨云厂商的迁移，比如从阿里云ES集群迁移至腾讯云ES集群，可以选择使用
1.8K32发布于 2021-01-20
腾讯云开发者
