MirrorMaker 2.0:在启动MirrorMaker之前，主题是否需要存在于目标集群中？
在启动MirrorMaker 2.0之前，主题不需要存在于目标集群中。
MirrorMaker 2.0是Apache Kafka的一个工具，用于将一个Kafka集群中的数据复制到另一个Kafka集群中。它可以实现跨数据中心或跨云平台的数据复制。
在MirrorMaker 2.0中，源集群和目标集群是完全独立的，它们可以拥有不同的主题和分区。当启动MirrorMaker 2.0时，它会自动创建目标集群中缺失的主题和分区，以确保数据的复制。
因此，在启动MirrorMaker 2.0之前，不需要手动在目标集群中创建主题。MirrorMaker 2.0会根据源集群中的主题自动创建相应的主题，并将数据复制到目标集群中。
推荐的腾讯云相关产品是腾讯云消息队列 CKafka。CKafka是腾讯云提供的分布式消息队列服务，基于Apache Kafka架构，具备高可靠、高吞吐、低延迟等特点。您可以通过腾讯云CKafka来实现MirrorMaker 2.0的数据复制需求。
腾讯云CKafka产品介绍链接地址：https://cloud.tencent.com/product/ckafka
相关·内容
我的源集群有一组要发布数据的主题。我在mirrormaker属性文件中指定了这些主题名称。我还没有在目标集群中创建主题。我的假设是，如果这些主题不存在，MM 2.0会自动在目标集群中创建它们。但是，当我尝试使用目标集群中的主题时，我看到以下
浏览 36提问于2020-06-12得票数 0
我有一个关于MirrorMaker的问题。我看到在正式文档(参见)中，MirrorMaker被放置在目标数据中心。有什么好的理由不能将它放在源数据中心呢？我之所以问这个问题，是因为在我们当前的设置中，MirrorMaker被放置在目标数据中心，而我们看到的是，在启动时简单地拥有分区或重新平衡需要很长时间。我们的设置如下：
跨越4个数据中心的6
浏览 0提问于2016-07-28得票数 1
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群1)杀死
浏览 0提问于2018-12-28得票数 0
我已经设置了MirrorMaker2来复制两个Apache集群。一切似乎都很顺利。我唯一的问题是，当从CLUSTER1.topic CLUSTER1中删除主题(复制为 on cluster2 )时，复制的主题CLUSTER1.topic on cluster2不会被删除。因此，删除某个主题似乎没有复制到其他集群中。有一些特定的属性控制在mm2上删除主题的复制？
谢谢
浏览 0提问于2021-02-08得票数 1
回答已采纳
org.apache.kafka.common.serialization.StringSerializerretries=3步骤
卡夫卡( messagesVerified )在server1上启动了卡夫卡镜像，并在server1上推出了100 messagesAfter镜像，在server1上推了100 messagesAfter，几分钟后就开始了server1上的卡夫卡镜像。
浏览 3提问于2019-11-26得票数 0
我正在尝试确定是否可以将自定义分区程序与mirrormaker 2一起使用，以便在复制到目标集群时使用我的自定义分区程序。*覆盖目标生产者设置，我已经尝试了各种格式，例如(其中源和目标是我的集群别名) target.partitioner.class=com.my.custom.Partitioners
浏览 53提问于2020-12-19得票数 3
回答已采纳
1回答
我们正在使用MirrorMaker备份主题。我们注意到，与源集群相比，由Kafka应用程序创建的重新分区主题在目标集群中的大小似乎在不断增加。换句话说，由于在目标集群中没有运行Kafka流应用程序，所以不会发生自动清除。
我们理解得对吗？如何确保在不丢失数据的情况下备份源集群，以及在不增加源群集大小之外的目标<
浏览 5提问于2021-03-12得票数 3
我在两个卡夫卡集群(名为DC，DR)上运行带有活动策略的Apache MirrorMaker 3.0.0。因此，DC上的主题被MirrorMaker2复制为DR集群和副vera上的DC.用例：在DC集群主题中生成了20条记录，名为: notification-test1，并且使用了来自同一集群的所有20条记录，因此延迟为0，记录由于保留期而被刷新(我已经将保留期设置为10分钟)。在那之后，我开始了集群</em
浏览 8提问于2022-03-09得票数 2
回答已采纳
我正在尝试设置一个Kafka Mirror机制，但是似乎Kafka MirrorMaker的消费者在Kafka集群中只在镜像生成器进程启动时从新传入的数据中读取主题，即它不读取以前保存在主题中的历史数据我使用Kafka的MirrorMaker类来实现：
/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.confi
浏览 0提问于2015-10-09得票数 4
我想从这个集群中的Kafka集群/主题流到dev环境中的另一个Kafka集群中，以便进行可伸缩性和regrrssion测试。
浏览 14提问于2016-05-09得票数 18
回答已采纳
我在找卡夫卡镜子。我发现了这个开源Comcast：，它在检索数据源kafka主题并将其写入目的地kafka主题时成功地工作。现在我需要从卡夫卡的主题中吸取教训，并把它写到卡夫卡的源头上。内置方法，我可以从目的地卡夫卡的主题。所以我不知道怎么写这个主题给kfafa public void put(Collection<SinkRecord> records) {
if (records.isEmpty
浏览 4提问于2019-12-20得票数 1
我们在不同的区域有2个kafka集群。我们使用MirrorMaker2来复制主题和消息。主题和消息是可以复制的。但我们观察到偏移量并没有复制。
浏览 42提问于2020-09-24得票数 2
我们已经设置了MirrorMaker来跨两个Kafka集群复制消息。我们还在mirror maker的消费者属性中设置了exclude.internal.topic=false，以复制内部主题。我假设这也将复制__consumer_offset topic，这将反过来同步辅助集群中的消费者组偏移量。但当我们在辅助集群中启动消费者组时，它从一开始就开始消费消息，所以看起来消费者组偏移量没有在辅助<em
浏览 0提问于2019-11-27得票数 0
我们使用将一些主题从一个kerberized集群复制到另一个kafka集群(严格单向)。我们不控制来源卡夫卡集群，我们只能访问描述和阅读特定的主题，将被消费。MirrorMaker2在源集群中创建和维护一个主题(mm2-offset-syncs)，为被复制的每个主题编码集群到集群的偏移映射，并在源集群中创建一个AdminClie
浏览 5提问于2020-11-24得票数 9
回答已采纳
我用的是MirrorMaker2。下面是我使用的yaml文件(我使用strimzi来创建它)所有源群集主题都在目标群集中复制。另外，...checkpoint.internal主题是在包含所有源集群偏移集同步的目标集群中创建的，但我没有看到这些偏移正在转换为目标集群_consumer_offsets主题，这意味着当我启动<
浏览 12提问于2021-01-27得票数 5
回答已采纳
我们正在使用运行在Azure Container实例中的Kafka MirrorMaker 1将记录从kafka集群发送到Microsoft Azure Eventhub。我们的主题有10个分区，我们在Azure EventHub中手动创建了一个具有相同名称和分区数量的主题。不幸的是，记录在被MirrorMaker 1复制后失去了原始分区。有没有办法使用MirrorMaker 1保留原始分区？
浏览 46提问于2021-08-24得票数 0
当源和目标设置不同时，我们有安装镜像制造者在两个kafka集群之间复制主题(source=2服务器，目的地=3服务器)。在启动(org.apache.kafka.clients.producer.internals.Sender)“时，它会抛出以下错误："Error: NOT_ENOUGH_REPLICAS NOT_ENOUGH_REPLICAS，而集群之间没有复制。我们使用了MirrorMaker版本2。
有谁能提供一些建议，为什么它没有按
浏览 4提问于2019-12-11得票数 1
我必须在两个不同的数据中心(DC)中设置两个kafka集群，它们具有相同的主题和配置。原因是两个数据中心之间的连接很糟糕，我们不能创建一个全局的数据中心。我们有生产者和消费者发表和分类每个DC的主题。
问题是，我需要使两个集群保持同步。让我们说:所有消息都写到第一个DC，最终应该复制到第二个DC，而另一个DC则相反。我正在评估卡夫卡MirrorMaker工具，通过使用第一个的信息创建镜像，并诱使消息到第二个。但是，还可以将数据从第二组复制到第一组，因为在</em
浏览 2提问于2017-02-06得票数 4
回答已采纳
我们正在为Kafka设置MirrorMaker 2.0。如果我没理解错的话，在复制集群中，主题偏移量是不相等的。这对于普通的Kafka应用程序来说不是问题，因为消费者群体也会被复制。Flink在状态内部存储Kafka偏移量-我认为在使用状态重新启动作业后，事情可能会出错。有没有办法设置Flink，以便我们可以在复制的Kafka集群上从集群故障中恢复？
浏览 0提问于2020-03-24得票数 3
1回答
我们使用Strimzi MirrorMaker2 CRD将数据从一个卡夫卡集群复制到另一个集群。复制现在是同步的，我注意到一个主题的主题偏移量(有3个分区)是不正确的，源有比目标更多的消息。我想要做的是在不影响同步的任何主题的情况下重新启动MM2中的单个主题。我无法在文档中看到如何重新启动一个主题，可以吗？
我们有大约12个主题
浏览 4提问于2021-03-26得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
