回顾MM1 在上篇文章中我们介绍了MirrorMaker-V1(MM1),本质上MM1是Kafka的消费者和生产者结合体,可以有效地将数据从源群集移动到目标群集,但没有提供太多其他功能。...Uber的uReplicator Confluent的Confluent Replicator(收费哦) kafka带来的MM2 而kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2...官方提供了4中部署方式: 专用MirrorMaker集群运行 单机MirrorMaker运行 在connect cluster上运行 以MM1方式运行 本来cosmozhu准备使用第三中方式运行MM2集群...+2.0 https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/ https://blog.cloudera.com.../a-look-inside-kafka-mirrormaker-2/ ----- 作者:cosmozhu --90后的老父亲,专注于保护地球的程序员 个人网站:http://www.cosmozhu.fun
0 回顾MM1 在上篇文章中我们介绍了MirrorMaker-V1(MM1),本质上MM1是Kafka的消费者和生产者结合体,可以有效地将数据从源群集移动到目标群集,但没有提供太多其他功能。...Uber的uReplicator Confluent的Confluent Replicator(收费哦) kafka带来的MM2 而kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2...虽然官方提供了4中部署方式: 专用MirrorMaker集群运行 单机MirrorMaker运行 在connect cluster上运行 以MM1方式运行 本来cosmozhu准备使用第三中方式运行MM2...+2.0 https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/ https://blog.cloudera.com.../a-look-inside-kafka-mirrormaker-2/ ---- 作者:cosmozhu --90后的老父亲,专注于保护地球的程序员 个人网站:https://www.cosmozhu.fun
配置MirrorMaker连接器:在进行数据镜像之前,需要配置MirrorMaker连接器。MirrorMaker连接器的配置包括源集群和目标集群的连接信息、复制策略和转换器等。...监控MirrorMaker连接器:在进行数据镜像时,需要监控MirrorMaker连接器的运行状态。...---- MirrorMaker MirrorMaker连接器可以将一个或多个Kafka集群中的数据复制到另一个Kafka集群中。...在数据复制过程中,MirrorMaker连接器会保证数据的一致性和顺序性。MirrorMaker连接器还支持多种复制模式,可以根据实际需求选择合适的模式。...我们只需要在MirrorMaker连接器的配置文件中指定源集群和目标集群的地址即可。
通过上一篇文章Kafka:MirrorMaker-V1我们已经知道了MirrorMaker-V1的基本概念,这篇文章我们来给Kafka-cluster搭建一个mirror。...25.232-b09, mixed mode) zookeeper: apache-zookeeper-3.6.1 kafka: kafka_2.11-2.4.1 kafka集群架构 Mirror创建步骤 MirrorMaker-V1...*sync' 分析一下这个命令 --consumer.config 指的是消费者配置文件路径当然这里的消费者指的是MirrorMaker-V1,消费的数据来自于source-cluster。...验证MirrorMaker-V1是否成功创建 启动MirrorMaker-V1后,利用kafka-producer-perf-test.sh向Kafka-cluster1中g_sync写入数据。...相关文章 Kafka:MirrorMaker-V1 mongodb:实时数据同步(一) Kafka集群搭建
一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。...3)老版本和新版本迁移主要考虑consumer和producer的兼容性 4)如果允许的话,建议将MirrorMaker部署在目标集群内,这是因为如果一旦发生网络分区,消费者与源集群断开连接比生产者与目标集群断开连接要安全...如果消费者断开连接,那么只是当前读取不到数据,但是数据仍然在源集群内,并不会丢失;而生产者断开连接,MirrorMaker便生产不了数据,如果MirrorMaker本身处理不当,可能会丢失数据。...三、进度监控 1) 检测MirrorMaker提交到源集群的位移。...我们可以使用kafka-consumer-groups来检测分区的最新位移以及MirrorMaker提交的位移,通过计算差值得到落后间隔。
总结:Apache Kafka Mirrormaker V1的解决方案在提供企业管理的灾难恢复方面存在局限性。...MirrorMaker2架构 01 MM V2的核心架构基于Kafka Connect框架,可以抽象的理解为是一个Kafka Connect 里的Source Connector和Sink Connector...减少MirrorMaker集群数量 传统上,MM V1 群集与目标群集共用。因此,在使用Remote Consume和Local Produce模式之后,每个目标集群都会有一个镜像集群。 ?...Rebalance的频繁触发 MirrorMaker2中使用的Kafka Connect框架原生采用了Kafka的High Level Consumer从Kafka读取数据。...参考文章: 【A look inside Kafka Mirrormaker 2】: https://blog.cloudera.com/a-look-inside-kafka-mirrormaker
把CDH集群的kafka数据同步到TBDS的kafka集群做测试,可以使用自带的mirrormaker工具同步 mirrormaker的原理可以网上查看,详细的命令参考https://my.oschina.net
=$DESTINATION_HOST EOF # 运行 MirrorMaker kafka-run-class.sh kafka.tools.MirrorMaker \ --consumer.config...增量恢复 增量恢复需要使用 MirrorMaker 来实现,下面是 MirrorMaker 的用法示例: # 创建MirrorMaker 配置文件 cat > /tmp/mirror-maker.properties...多套集群镜像 运行 MirrorMaker consumer.config : 指定 MirrorMaker 中消费者的配置文件地址 (bootstrap.servers) : 该 MirrorMaker...因为 MirrorMaker 有可能在内部创建多个消费者实例并使用消费者组机制,设置 group.id 。配置 auto.offset.reset=earliest。...producer.config : 指定 MirrorMaker 内部生产者组件的配置文件地址。bootstrap.servers : 配置拷贝的消息要发送到的目标集群。
然后我们将讨论MirrorMaker本书以及如何使用它。我们将分享一些操作技巧,包括部署的性能调优。最后我们将讨论mirrorMaker的一些替代方案。...每一个MirrorMaker过程中只有一个生产者。工作流非常简单。MirrorMaker为每个消费者运行一个线程。...MirrorMaker正在读取分区中的最后一个事件的offset,MirrorMaker提交的最后一个offset以及它们之间的延迟,这个指标不是100%的准确,因为MirrorMaker并不是一直都有...Tuning MirrorMaker MirrorMaker调优 MirrirMaker集群的大小取决于你需要的吞吐量和你能忍受的延迟。...这几乎是你可以对MirrorMaker机械能的所有调优,但是,你任然可以增加每个消费者线程和每个MirrorMaker实例的吞吐量。
Kakfa MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。...用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步 背景 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案...用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步 概述 MirrorMaker工具将源Kafka集群镜像到目标(镜像)Kafka集群。
像Mirrormaker这种Kafka原生的工具不是为复制构建的,因此,我们的客户要求提供简单,直观和易于管理的工具。SRM通过在您的环境中跨多个集群启用Kafka复制来帮助您实现业务连续性。 ?...Mirrormaker是目前Kafka用于数据复制需求的常用工具。但是,Mirrormaker对于希望在Kafka集群之间进行关键任务数据复制的企业有严重的限制。...Mirrormaker has severe limitations https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker...-2-0/ 因此,我们主导创建了Kafka Mirrormaker 2方案,该方案解决了Mirrormaker 1的局限性,能够动态修改配置,使topic在集群之间保持同步并显著提高性能。...Kafka Mirrormaker 2 https://blog.cloudera.com/a-look-inside-kafka-mirrormaker-2/ Streams Replication
进程仅有一个生产者,该生产者将数据发送给目标集群的多个topic; Kafka MirrorMaker的官方文档一直没有更新,因此新版Kafka为MirrorMaker增加的一些参数、特性等在文档上往往找不到...,需要看Kafka MirrorMaker的源码,Kafka MirrorMaker启动脚步如下,发现其主类位于kafka.tools.MirrorMaker,尤其是一些参数的解析逻辑和主要的执行流程,...会比较有助于我们理解和运维Kafka MirrorMaker; 代码示例 exec (dirname 0)/kafka-run-class.sh kafka.tools.MirrorMaker " MirrorMaker...相反,在发生网络分区时如果 MirrorMaker 已经读取了数据,但无法将数据生产到目标集群上,就会造成数据丢失。所以说远程读取比远程生成更加安全。..." 日志监控:若想输出日志数据,则使用一下命令启动,日志数据会保存在kafka/logs/mirrormaker.out 中; .
集群复制方案 目前集群复制方案有2个,一个叫 MirrorMaker ,一个叫 Confluent Replicator 。...MirrorMaker 是相对简单的 stand-alone 工具,针对 Kafka 的2个集群做点对点的复制。而 Replicator 的方案更复杂也支持更多的功能。...下面针对两个方案做了一个对比,摘自 MirrorMaker 的官方文档: 具体实施 MirrorMaker 1....方案本身和上面的 MirrorMaker 很像: 1....官方文档: https://docs.confluent.io/4.0.0/multi-dc/mirrormaker.html CKafka集群: https://cloud.tencent.com/
不过在kafka的使用中还是遇到一些问题,比如mirrormaker莫名其妙的丢失数据[原因稍后再说],消费数据offset错乱[之后介绍spark streaming的时候再解释] 总之,还是遇到了不少的问题...那么官方提供了一个mirrormaker的工具,它其实就是封装了一个consumer和一个producer,把一个集群的数据,直接消费到另一个集群。...代码可以参考github: https://github.com/apache/kafka/blob/trunk/core/src/main/scala/kafka/tools/MirrorMaker.scala.../kafka-run-class.sh kafka.tools.MirrorMaker --consumerrties --producer.config producer.properties --whitelist...这样就开启了mirrormaker服务,可以看到第一个集群的所有消息,都同步到了第二个集群。
集群复制方案 目前集群复制方案有2个,一个叫 MirrorMaker ,一个叫 Confluent Replicator 。...MirrorMaker 是相对简单的 stand-alone 工具,针对 Kafka 的2个集群做点对点的复制。而 Replicator 的方案更复杂也支持更多的功能。...下面针对两个方案做了一个对比,摘自 MirrorMaker 的官方文档: ? 具体实施 MirrorMaker 1. ...方案本身和上面的 MirrorMaker 很像: 1. ...官方文档: https://docs.confluent.io/4.0.0/multi-dc/mirrormaker.html CKafka集群: https://cloud.tencent.com/
更灵活的 MirrorMaker 2 配置和 MirrorMaker 1 的弃用。 能够在 Kafka Connect 的一次调用中重新启动连接器的任务。...此外,不要错过 Kafka Connect 任务重启增强、KStreams 基于时间戳同步的改进以及 MirrorMaker2 更灵活的配置选项。...MirrorMaker ①KIP-720:弃用 MirrorMaker v1 在 3.0 中,不推荐使用 MirrorMaker 的第一个版本。...展望未来,新功能的开发和重大改进将集中在 MirrorMaker 2(MM2)上。...②KIP-716:允许使用 MirrorMaker2 配置偏移同步主题的位置 在 3.0 中,用户现在可以配置 MirrorMaker2 创建和存储用于转换消费者组偏移量的内部主题的位置。
相关文章 kafka:MirrorMaker-V1(MM1)到MirrorMaker-V2(MM2) Kafka:MirrorMaker-V1搭建步骤 Kafka:MirrorMaker-V1
更灵活的 MirrorMaker 2 配置和 MirrorMaker 1 的弃用。 能够在 Kafka Connect 的一次调用中重新启动连接器的任务。...此外,不要错过 Kafka Connect 任务重启增强、KStreams 基于时间戳同步的改进以及 MirrorMaker2 更灵活的配置选项。...MirrorMaker KIP-720:弃用 MirrorMaker v1 在 3.0 中,不推荐使用 MirrorMaker 的第一个版本。...展望未来,新功能的开发和重大改进将集中在 MirrorMaker 2(MM2)上。...KIP-716:允许使用 MirrorMaker2 配置偏移同步主题的位置 在 3.0 中,用户现在可以配置 MirrorMaker2 创建和存储用于转换消费者组偏移量的内部主题的位置。
跟随 Kafka 2.4 一起推出的 MirrorMaker2 (以下简称MM2)是下一代的多集群镜像解决方案,修复了 MirrorMaker1 的局限性。...如 MirrorMaker2 就是通过在目标集群的Topic上中带 Kafka 实例 ID 来避免循环镜像。或者通过消息 Head 中包含数据中心信息,从而避免循环镜像。...针对连接集群,社区解决方案主要是借助于 Kafka 自带的MirrorMaker工具。早期的MirrorMaker1(以下简称MM1)存在一些问题。...所以在 Kafka2.4 版本中,推出了一个新的 MirrorMaker2(以下简称MM2),MM2 基于 Kafka Connect 框架,解决了上面大部分的问题。...和MirrorMaker类似,Confluent Replicator 也依赖于 Connect 框架,并可以在 Connect 集群中运行。
领取专属 10元无门槛券
手把手带您无忧上云