我正在尝试配置分布式Kafka connect，但在Azure HD Insight中找不到任何用于配置Kafka connect的jars。
你能帮我解决上面的问题吗？
浏览 14提问于2021-06-01得票数 0
在kafka连接分布式模式下，需要通过REST提交kafka连接源和kafka连接接收器配置。卡夫卡如何利用卡夫卡集团协调人组建消费集团？
浏览 5提问于2022-09-19得票数 0
如果我已经有卡夫卡运行在现场，卡夫卡连接只是我现有卡夫卡之上的配置，还是卡夫卡连接需要它自己的服务器/环境与我现有的卡夫卡的服务器/环境分开？
浏览 0提问于2019-03-28得票数 1
回答已采纳
1回答
如何覆盖属性？
、、
我在我的应用程序中使用了分布式领事配置，它运行得很好。但是，当我使用不同的Spring配置文件启动应用程序时，我也想覆盖一些配置属性。例如，我在主领事配置中定义了Kafka服务器地址： kafka:当我切换到名为“local”的Spring配置文件时，我想使用不同的地址： <e
浏览 0提问于2021-06-29得票数 0
但在相同的文档中，它们的目的是提供自动容错(在分布式模式下)，所以在我的理解中，不同的机器，因为进程级别的容错是没有意义的。 有没有人能开导我？
浏览 29提问于2019-12-05得票数 0
回答已采纳
Kafka Consumer (org.apache.kafka:kafka-clients:2.3.0)应该使用一个分区消费来自topic的消息。该服务记录消费者订阅，但它不使用消息，也不会使用Official Apache Tools kafka-consumer-groups.sh出现在消费者组列表中。o.a.k.clients.consumer.KafkaConsumer - [Consumer clientId=consumer-1, groupId=my-groupid] Subscribed to topic
浏览 129提问于2020-06-15得票数 0
回答已采纳
我们正在测试kafka connect，并在我们的测试中注意到，当我们的某个kafka节点关闭或不可用时，kafka connect就会关闭(挂起)。在我们的rest和分布式属性中，代理配置如下: dp-kafka-01:9092，dp-kafka-02:9092，dp-kafka-03:9092。
浏览 0提问于2020-02-19得票数 0
Mirrormaker 2基于Kafka框架，可以将其核心看作是Kafka源和接收器连接器的组合。因此，在MM2体系结构中，有源和接收器连接器。但是，对于MM2中的连接器，是否有额外的Kafka集群？因为在kafka连接设计中，源和汇连接器需要Kafka集群来移动数据。例如，
浏览 5提问于2020-10-15得票数 0
2回答
当我使用Confluent Control Center创建源或接收器连接器时，它会将与该连接器相关的设置保存在哪里？是否有我可以浏览的文件？我们正计划创建50+连接器，在某一时刻，我们需要将它们从一个环境复制到另一个环境，我想知道是否有简单的方法来做到这一点。
浏览 1提问于2018-04-27得票数 0
我们可以像中提到的那样配置连接器JAR。但是没有适当的指南，或者当前的文档非常混乱，并且与配置需求循环。当卡夫卡运行目标主题时，我们没有看到这个插件被调用。一些关于什么是正确配置的帮助，或者关于Cassandra键空间的一些文档信息将是有帮助的。
浏览 5提问于2021-07-06得票数 0
回答已采纳
我们需要从Kafka中提取数据并写入AWS s3。Kafka由单独的部门管理，我们只能访问特定的主题。根据Kafka文档，看起来Kafka Connect对我来说是一个简单的解决方案，因为我没有任何自定义的消息处理逻辑。通常，当我们运行Kafka Consumer时，我们可以使用相同的使用者组运行多个JVM，以实现可伸缩性。特定消费者的消费者JVM可以运行在同一台物理服务器上，也可以运行在不同的物理服务器上。当我想使用Kafka Connect时，会出现什么情况？
假设我有20个主题分区
浏览 2提问于2018-03-08得票数 1
1回答
我想在分布式环境中用三个节点配置一个主题的3个分区和3个副本。如果没有shell命令，我如何通过java来配置它们？<dependency> <
浏览 0提问于2019-07-22得票数 0
回答已采纳
1回答
在运行在多个实例中的基于Kafka的分布式JVM应用程序中，我需要对特定Kafka主题中的特定消息在特定可配置时间内(此超时值由业务逻辑驱动，可能会发生变化)的事件采取操作。
浏览 0提问于2020-09-29得票数 2
如果分布式表“查看”复制的表，则使用此替代方法。换句话说，如果要写入数据的表要复制它们本身。// .. fieldsSETTINGS kafka_topic_list这是否意味着分布式表正在将所有数据写入所有副本？我在中读过
浏览 4提问于2020-05-26得票数 1
回答已采纳
我使用Kafka作为队列，节点服务使用Kafka-Node生成和消费发送到Kafka主题的消息。 我一直在使用自制的分布式跟踪解决方案，但现在我们将转向Elastic APM。这似乎是为HTTP服务器量身定做的，但是我如何配置它才能与Kafka一起工作呢？我希望能够像下面这样跟踪事务:服务A向服务B发送HTTP请求，服务B向Kafka主题C生成HTTP请求，服务D从Kafka主题C消费该请求，服务D将一些数据放入Kafka主题E，服务
浏览 28提问于2019-04-01得票数 5
回答已采纳
要在本地mac中运行cps3连接以使用kafka主题，我做了如下操作ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/l
浏览 3提问于2020-05-23得票数 1
我有一个应用程序，它需要在分布在地理区域的实例的状态之间进行有趣的编排，同时需要一个可伸缩的分布式数据库。目前，我认为具有日志压缩的Kafka将满足我对状态维护和实例间消息交换的需要，而Cassandra将满足我对持久化数据的大量分布式读写的需要。然而，有相当多的数据是这样重复的:通过Kafka交换的许多数据也需要存储到Cassandra以进行分布式数据访问。将Kafka用于消息传递和分布式数据查询以及持久化似乎很有诱惑力。因此，我感兴趣的是，当使用Kafka<
浏览 6提问于2021-12-08得票数 0
回答已采纳
我正在努力建立一个卡夫卡连接分布式模式应用程序，这将是一个卡夫卡到S3管道。我正在使用Kafka 0.10.1.0-1和Kafka Connect 3.1.1-1.到目前为止，事情进展顺利，但是对于我正在处理的更大的系统来说，一个很重要的方面需要了解卡夫卡-> FileSystem根据文档，offset.storage.topic配置将是分布式模式应用程序用于存储偏移信息的位置。考虑到卡夫卡如何在“新”卡夫卡中存储消费者补偿，这是有意义的。这是我使用的命令：
kafka-conso
浏览 9提问于2017-01-05得票数 2
我在一个虚拟机上有Spark Streaming，我想把它连接到另一个包含kafka的虚拟机上。我要斯帕克从卡夫卡机器里拿到数据。这样做有可能吗？
谢谢
浏览 15提问于2016-08-26得票数 0
回答已采纳
我最近在我的电脑上安装了一个本地Kafka，用于测试和开发：我设法在独立模式下配置它，所以一切都是本地主机，并使用./connect-standalone.sh脚本启动了Kafka连接。
我现在要做的是在分布式模式下运行我的连接器，这样可以将Kafka消息分成两个工作人员。我已经启动了这两个工作人员(仍然是同一台机器上的所有东西)，但是当我向Kafka主题发送消息时，只有一个工作人员(最后一次开始
浏览 0提问于2020-04-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
