- 综合排序
- 最热优先
- 最新优先
- 来自专栏铭毅天下
Elasticsearch 主从同步之跨集群复制
1、什么是跨集群复制？ 对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。 2、跨集群复制最早发布版本 Elasticsearch 6.7 版本。 3、跨集群复制的好处？ 4、跨集群复制的核心概念 图片来源：opster.com 跨集群复制使用主动-被动模型（active-passive model）。 6.1.2 前置条件2：备好至少 2 个集群 跨集群复制，核心是“跨”和“复制”。 “跨”体现在至少得两个集群，否则没有意义。 6.2.2 步骤2：配置权限 为跨集群复制配置权限。 跨集群复制用户在远程集群和本地集群上需要不同的集群和索引权限。 使用以下请求在本地和远程集群上创建单独的角色，然后创建具有所需角色的用户。
3K20发布于 2021-12-01 - 来自专栏南非骆驼说大数据
跨集群复制 Cross-cluster replication（CCR)
一、前言| 跨集群复制（CCR）功能支持将远程集群中的索引复制到本地集群，可以在一些常见的生产用例中使用此功能： 灾难恢复（DR）/高可用性（HA）：如果主集群发生故障，则进行灾难恢复， 辅助集群可以用作热备份 ； 地理位置优越：在 Elasticsearch 中复制数据以更接近用户或应用程序服务器，从而减少延迟，可以在本地提供阅读服务； 集中报告：将数据从大量较小的集群复制回一个中央集群进行报告。 leader索引 复制的目标索引成为follower索引 一个集群可以同时包含leader索引和follower索引 image.png 2，复制是主动-被动关系 你可以使用 leader 索引来进行读或写 操作被follower分片拉动并批量建立索引 多个请求同时进行，更改可以同时进行 image.png 三、部署CCR的前提条件 在进行CCR之前，我们必须满足以下的一些条件： 跨集群复制需要远程集群 image.png 我们马上就可以在本地打开dev tools进行查看，索引就复制过来了 image.png 我们尝试着在本地集群上给这个follower index进行写操作，看能否成功？
3.4K155发布于 2020-10-26 - 来自专栏雨夜-Elasticsearch成长专栏
ES 跨集群复制 Cross-Cluster Replication
CCR允许不同的索引复制到一个或多个ES 集群中。将索引复制到其他ES集群，可以解决多个用例，包括跨数据中心高可用(HA)，灾难恢复(DR)和CDN样体系结构，最终实现ES集群的高可用。 CCR双向复制 通过双向复制，我们建立了一个CCR体系结构，当集群和数据中心不可用和ES的文档不可变时（不执行任何更新操作）。可以直接使用灾备集群的索引，实现ES跨数据中心双活。 ] 2.4 创建双向复制索引 建立索引logs-dc1，以DC1为源集群，复制到目标集群DC2。 POST /<follower_index>/_ccr/unfollow 3.总结 1.ES 跨集群复制(CCR)技术必须满足如下两个条件方能够使用：A.ES必须大于6.6版本以上；B. ES7.0一下版本索引需要设置soft_delete属性； 2.ES 跨集群复制(CCR)技术无法做到在CRUD场景下的双活，在主机房异常的情况下，灾备机房既可以提供有损服务； 3.目前业界比较完善的双活方案应该是腾讯的三机房部署
3.1K10发布于 2021-03-15 - 来自专栏Apache Doris
Apache Doris 2.0 推出跨集群数据复制功能
在此基础上，跨集群复制（Cross-Cluster Replication，CCR）应运而生，并逐渐成为数据和服务高可用性的重要保障。 ClickHouse-Copie 也不支持增量迁移，由于 ClickHouse 本身没有事务的设计，在使用 Copier 同步数据相当于跨级群之间的副本同步，无法保证同步的一致性，也无法配置关于 DB Doris CCR 配置和使用也非常简单，简单操作即可快速完成跨集群数据复制。基于 Doris CCR 优异的能力，可以更好实现读写负载分离以及多机房备份，并可以更好支持不同场景的跨集群复制需求。 全量同步源集群和目标集群均为 1FE 1BE 的集群，系统信息与硬件信息如下： 图片图片源集群数据量：2097152MB目标集群数据量：0全量同步性能测试结果图片后续规划目前 Doris CCR 已支持表和库级别的数据同步 在库级别支持整库同步，可以将源集群中的所有表数据同步到目标集群中。此外，CCR 还支持创建和删除表的同步操作，可以在源集群中创建或删除表时，自动同步到目标集群中，以实现数据的同步和一致性。
1.5K52编辑于 2023-08-16 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群复制(CCR)之腾讯云ES跨地域容灾
集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ---- 腾讯云ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。 但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： 北京集群 es-ki42hwk9： 我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster。 说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。 备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。
4.1K30发布于 2021-01-08 - 来自专栏腾讯云大数据
Elasticsearch 跨集群复制(CCR)之腾讯云 ES 跨地域容灾
腾讯云 ES 目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。 随着腾讯云 ES 双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云 ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： ? 上海测试集群 北京集群 es-ki42hwk9： ? 说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。 备注说明：由于是跨地域打通了网络，如果出现下面的 Not connected 状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。 ?
2.7K20发布于 2020-10-28 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群复制(CCR)之腾讯云ES跨地域容灾
腾讯云ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。 随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： image.png北京集群 es-ki42hwk9：image.png我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster image.png发现上海的Follower集群中的Follower索引wurong_sh_index也包含了4条doc数据。说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。 image.png
5.4K83编辑于 2022-09-05 - 来自专栏腾讯云Elasticsearch Service
腾讯云Elasticsearch跨集群复制原理及最佳实践
一、跨集群复制原理 1、跨集群复制 跨集群复制即CCR，是一种能够实现数据迁移、数据备份、降低访问延迟的高可用解决方案。跨集群复制采用的是一个主备的架构模型。 在主集群中创建一系列leader索引，在备集群中通过主动Pull方式复制数据到follower索引中，且follower索引为只读索引。 这样能够保障在leader索引上的所有写操作都能够被复制到follower索引中，这些写操作包括create、update、delete文档等。 image.png image.png image.png 3、跨集群复制需要注意的问题 3.1 关于双向同步版本问题 CCR双向同步，必须要保证双向同步的两个集群版本基本保持一致，如集群A为6.8.2 三、跨集群复制总结 以上我们分别从CCR的基本原理和动手实践向大家介绍了Elasticsearch的跨集群复制功能，并总结了在生产实践中使用跨集群复制功能时需要注意的问题及解决方案，希望对大家有帮助。
5K90发布于 2021-11-20 - 来自专栏腾讯云中间件的专栏
腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移
导语 本文整理自 Pulsar Summit Asia 2022 技术峰会上腾讯云中间件高级研发工程师韩明泽的分享《基于跨地域复制实现租户跨集群迁移》。 本文主要介绍基于跨地域数据复制和订阅进度同步的实现及优化，以及腾讯云在跨集群迁移过程中遇到的问题及租户跨集群迁移解决方案。 订阅进度同步的实现及优化 跨地域复制简介 跨地域复制是 Apache Pulsar 提供的跨机房数据复制能力。 跨地域复制集群复制功能实现原理 如果 Apache Pulsar 不提供跨集群复制功能，如何在运维 RocketMQ 或者 Kafka 等情况下实现跨地域数据复制、容灾者备份和集群间数据迁移的工作？ 如果开启数据复制，此模块则会发起内部订阅（或游标进度）。在任一主题内消费消息时，生产者向对端集群投递消息来实现跨集群数据的复制功能，不影响本集群的生产消费。
1.4K20编辑于 2023-02-24 - 来自专栏从入门到出门
linux搭建mysql8主从复制集群
添加防火墙开放端口 firewall-cmd --add-port=3306/tcp --permanent 刷新防火墙规则使生效 firewall-cmd --reload 在主数据库，创建一个同步复制用户 CREATE USER 'repl'@'%' identified with mysql_native_password BY '123456'; 给创建的同步复制用户授权同步复制权限 GRANT REPLICATION
62420编辑于 2023-03-02 - 来自专栏个人开发
8张图带你彻底理解Pulsar的跨地域复制
2.2 跨地域复制过程 Pulsar 的跨地域复制跟上面的存储模型很类似，集群中多了一个 Replicator。 2.6 ZooKeeper 集群 跨机房复制可以采用全局 ZooKeeper 集群，把 Pulsar 集群信息注册到 ZooKeeper 集群。 要允许两个集群间消息跨地域复制，首先要允许 tenant(租户) 有权限访问两个集群。 而跨地域复制是在 namespace 级别进行管理的，如果允许一个 namespace 跨地域复制，那发布到这个 namespace 上的任意一个 topic 的消息，都会被复制到指定集合的所有集群中。 namespace 配置跨地域复制后，默认该 namespace 下创建的所有 Topic 都会复制到列表中其他集群。
1.5K20编辑于 2022-09-23 - 来自专栏腾讯云大数据
最佳实践 | 基于腾讯云ES如何跨地域容灾？跨集群复制为您解忧！
作者：吴容，腾讯云大数据Elasticsearch高级开发工程师 腾讯云大数据ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。 但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： 上海测试集群 北京集群 es-ki42hwk9： 北京测试集群 我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster Follower Index自动同步数据 发现上海的Follower集群中的Follower索引wurong_sh_index也包含了4条doc数据。说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。
1.5K20编辑于 2022-11-11 - 来自专栏Hadoop数据仓库
MySQL 8 复制（一）——异步复制
通过设置log-bin系统变量开启二进制日志，MySQL 8中缺省是开启的。 大多数MySQL的核心服务功能都在这一层，包括查询解析、分析、优化、缓存以及所有内置函数，所有跨存储引擎的功能（存储过程、触发器、视图等）都在这一层实现。如你所料，二进制日志也在这一层实现。 两者都设置为1，数据最安全，能保证主从一致，这也是MySQL 8的默认设置。 双核双CPU，Intel(R) Xeon(R) CPU E5-2420 0 @ 1.90GHz . 8G物理内存，8G Swap . 100G物理硬盘 三、安装mysql-8.0.16 MySQL 8中，该变量的缺省值为TABLE，即将与复制相关的主库信息记录到mysql.slave_master_info表中。随着复制的进行，表中的数据会随之更新。
5.6K21发布于 2019-05-25 - 来自专栏技术杂记
Redis 复制8
"slave-priority"2) "100"3) "slave-serve-stale-data"4) "yes"5) "slave-read-only"6) "yes"7) "slaveof"8)
27820编辑于 2022-07-09 - 来自专栏运维专栏
Prometheus跨集群采集
背景恩不想搭建太多prometheus了，想用一个prometheus,当然了 前提是我A集群可以连通B集群网络，实现Prometheus跨集群采集采集关于A集群A集群 以及prometheus搭建 参照 ：Kubernetes 1.20.5 安装Prometheus-OpratorB集群B集群操作参照：阳明大佬 Prometheus 监控外部 Kubernetes 集群创建RBAC对象：cat rbac.yamlapiVersion 集群中重新生成additional-configsA集群 promethus配置文件夹中：修改prometheus-additional.yaml，复制token 替换bearer_token 中XXXXXXXXXXXXXXXXXXX 总结一下：现实环境中我应该不会那么玩，还是跟原来一样，每个k8s集群搞一个prometheus-oprator集群，然后可以连接一个grafana......其实那么的搞了一圈玩一下就发现了K8s1.24 后BIG change in K8s 1.24 about ServiceAccounts and their Secrets
80441编辑于 2022-09-08 - 来自专栏云计算与大数据
Kafka集群间信息复制
于是集群间的数据镜像成为了 Kafka 的一个重要需求。本文将详细描述集群间信息复制的场景和方案。 Kafka 集群复制主要有2个场景，一个是基于地理位置的场景，一个是基于业务生命周期的场景。 基于地理位置的场景 跨国跨地域的公司由于性能，法规等要求，在业务所在地创建了 Kafka 集群对当地的业务数据进行收集和处理。 集群复制前提 如果2个或者多个集群想做复制，首先要考虑的是网络互连互通的问题。基于当前腾讯云网络的结构，主要需要考虑 VPC 之间的互连互通逻辑。 集群复制方案 目前集群复制方案有2个，一个叫 MirrorMaker ，一个叫 Confluent Replicator 。
69430发布于 2021-08-26 - 来自专栏Hadoop数据仓库
MySQL 8 复制（五）——配置GTID复制
目录 一、配置GTID复制 1. 联机配置GTID复制 2. 联机更改复制模式 3. GTID相关系统变量 二、GTID运维 1. 跳过一个事务 2. mysqldump导出 3. 这些作为配置MySQL复制的前置步骤，具体操作参考：https://wxy0327.blog.csdn.net/article/details/90081518#3.%20%E8%81%94%E6%9C 注意，为了保证主从数据一致性和实例恢复的性能，在MySQL 8中作为一项基本原则，除非有特殊需求，与复制相关的其它系统变量最好保持缺省值，包括但不限于下面所列出的系统变量： autocommit = ON 由此得出结论，除非手工删除了mysql.gtid_executed表，否则不会因它造成复制问题，至少MySQL 8是这样。 3. -2, 8eed0f5b-6f9b-11e9-94a9-005056a57a4e:1-980062 刚才从库执行的三个本地事务，在新从库上正常复制。
5K10发布于 2019-07-02 - 来自专栏云数据库RDS
部署MongoDB复制集群（最全）
集群简介在生产环境中，MongoDB 经常会部署成一个三节点的复制集，或者一个分片集群。我们先来看左边。 当 MongoDB 部署为一个复制集时，应用程序通过驱动，直接请求复制集中的主节点，完成读写操作。另外两个从节点，会自动和主节点同步，保持数据的更新。 那集群中的数据是如何分布的呢？这些元数据记录在 Config Server 中，这也是一个高可用的复制集。每个分片管理集群中整体数据的一部分，也是一个高可用复制集。 这样，整个分片集群没有任何单点故障。 fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-5.0.14.tgz2.解压mongodb-linux-x86_64-rhel70-5.0.14.tgz3.创建复制集群
79230编辑于 2022-11-22 - 来自专栏若尘的技术专栏
Tomcat的Session复制集群
配置说明 Cluster 集群配置 Manager 会话管理器配置 Channel 信道配置 Membership 成员判定。使用什么多播地址、端口多少、间隔时长ms、超时时长ms。 Interceptor 拦截器 Valve ReplicationValve 检测哪些请求需要检测Session，Session数据是否有了变化，需要启动复制过程 ClusterListener ClusterSessionListener 集群session侦听器 使用 <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster "/> 添加到 <Engine> 所有虚拟主机都可以启用Session复制 添加到 <Host> 该虚拟主机可以启用Session复制 最后，在应用程序内部启用了才可以使用 5.1 配置 server t1.tomcat.org:8080; server t2.tomcat.org:8080; } ... 5.2 在两台后端Tomcat主机上修改server.xml配置 复制集群的配置可以配置在
1.4K64发布于 2021-11-24 - 来自专栏Hadoop数据仓库
MySQL 8 复制（二）——半同步复制
如图8所示，图片引自Loss-less Semi-Synchronous Replication on MySQL 5.7.2。 ? 图8 其实上图流程中存在着会导致主备数据不一致，使主备同步失败的情形。见下面sync_binlog配置的分析。 五、在MySQL 8上安装配置半同步复制 实验环境： 主机IP 172.16.1.125（主） 172.16.1.126（从） 物理内存，8G Swap 100G物理硬盘 三台主机已经配置了一主两从的异步复制，参见“MySQL 8 复制（一）——异步复制”。 要使用半同步复制，必须满足以下要求： 安装插件需要MySQL服务器支持动态加载。要验证这一点，检查have_dynamic_loading系统变量的值是否为YES。MySQL 8缺省为YES。
5.7K42发布于 2019-05-25
腾讯云开发者
