我正在寻找一个kafka rest api，将列出相同的细节 kafka-consumer-groups.sh --描述 将返回，基本上我正在尝试获取特定消费者组的每个分区的偏移量及其滞后的详细信息。
浏览 13提问于2019-05-27得票数 1
1回答
我们计划让生产者(Java rest api)和消费者(Java客户端)在多台机器上运行，并且所有消费者属于同一消费者组。1)在这种情况下，如果我在生产者发布Kafka写入随机/默认分区的消息时没有指定分区...
2)当消费者检索消息时，如果我没有提到分区，我会传递主题名称..and提交偏移量给Kafka服务器。如果我只有一个消费群体，这是一个好方法吗？3)我是否需要Kafka r
浏览 11提问于2016-02-24得票数 2
在合流的kafka rest代理中，我们可以得到特定消费群体的最后提交偏移量，但是如何才能得到主题的最新偏移量来计算滞后值。
浏览 2提问于2019-07-11得票数 0
嗨，我正在寻找一个汇合cli命令来使用GetOffsetShell来获取最早和最新的偏移量，并获得消费者组的详细信息。查找以下kafka命令，的汇合cli命令/opt/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --topic my_topic \
--t
浏览 9提问于2022-05-05得票数 0
1回答
我希望收集以下资料：
我可以得到1和2使用动物园管理员的公用设施，但我是迷失在休息。我还尝试使用基于regex的表达式来获取这些mbean，但这也不起作用。
我使用的是<
浏览 1提问于2019-02-12得票数 0
我想从Kafka看到针对特定消费者群体的接近实时的剩余延迟。我做过的最接近的事情就是从Kafka二进制文件中运行describe脚本，但是它很慢而且不可靠。我的第一个想法是在消费者中获取指标，并通过statsD发布到新的relic或datadog，然后通过HTTP进行轮询。这是我会长期做的事情。有没有一种更短期、更简单的方法来调查特定群体的消费滞后？
浏览 14提问于2020-06-04得票数 1
1回答
卡夫卡版本2.4.1动物园管理员3.4.10参考：消费者组信息存储在哪里？(我尝试了zkcli.sh命令，/consumers是空的)哪里存储与使用者相关的信息&它的状态还有其他命令可以用来查询组信息(或任何黑客)，消费者组成员存储在哪里?
浏览 0提问于2020-05-01得票数 1
回答已采纳
如何使用直播流API指定kafka spark流的消费组id。
浏览 0提问于2016-04-09得票数 7
回答已采纳
是否有更有效/更简单的方法来使用最新的Java客户端2.4API获取主题/分区的大小/最新偏移量？然后，通过将消费者组的偏移量与主题的大小进行比较，计算消费者群体的滞后.我知道以前的Kafka版本也问过这个问题，也有一种方法可以从Kafka公开的JMX度量中获取这些信息，但是我仍然被一个遗留应用程序困住了，它需要用Java来完成，但我需要使用最新的2.4 Kafka语言据我所知，获取这些
浏览 2提问于2020-02-05得票数 3
回答已采纳
我希望实现一个从Kafka主题消费的函数，对于每个消费的消息，它调用另一个方法对消息进行一些处理，然后将其存储在数据库中。源kafka主题有12个分区。我想在同一个消费群体下创建6到12个kafka消费者。所有的消费者都将消费来自Kafka的消息并调用该函数。我不能得到一个好的设计。有人能帮帮我吗？
浏览 1提问于2020-02-19得票数 1
1回答
我计划在Informatica中使用Kafka数据对象。我想每5分钟通过Informatica从Kafka读取数据。我很少有疑问，卡夫卡如何认识到当前的偏移，从它必须加载。我们可以设置一个主题的偏移量，Informatica需要从它加载Kafka数据对象中的增量或更改的数据吗？请给我一个如何从卡夫卡获取数据的方法。斯利纳特
浏览 2提问于2017-06-30得票数 0
假设我有一个kafka主题，假设有大约10个分区，我理解每个消费者组在任何给定时间都应该有10个消费者阅读该主题，以实现最大的并行度。然而，我想知道在任何给定的时间点，对于一个主题可以处理的消费者群体的数量，是否有任何直接的规则。(在最近的一次采访中，我被问到了这个问题)。然而，只是想知道在给定的时间点上可以扩展多少个最大的消费者组(每个有10个消费者)？
浏览 0提问于2019-07-09得票数 7
1回答
我想知道如果所有的消费者都消失了，消费者群体会发生什么变化。我在汇合平台上注意到，我有许多消费者群体没有任何消费者。
没有任何消费者的消费者群体能存在多久？
浏览 5提问于2020-10-22得票数 7
回答已采纳
有一个生产者和两个消费者为这一主题。我需要做的是过滤由生产者产生的消息，根据它们的前缀。例如，如果消息以'a‘前缀开头，那么只有第一个使用者必须接受它。如果它以'b‘前缀开头，那么只有第二个消费者必须接受它。
我做了很多搜索，我发现的是过滤来自一个主题的消息，然后在过滤后将它们发送到不同的主题。但如前所述，我需要对一个主题进行过滤。
浏览 1提问于2018-03-01得票数 4
回答已采纳
2回答
我以前没有使用过Kafka，我想知道如果消息是通过Kafka发布的，有哪些可能的方法来捕获这些信息？我不需要发布信息，只需要处理从Kafka publisher收到的数据。任何提示都会有所帮助。
浏览 3提问于2020-02-22得票数 0
根据Apache的文档，Kafka在其本地API的通信中使用了二进制TCP协议，但它们也为不支持Apache的本地API的语言提供了基于URL的restful。我只是想知道本地二进制TCP协议(在本机API中支持)是否比基于restful的与代理节点的通信有什么好处？我还在想restful是否还会维护only once属性呢？编辑: restful指南在这里：，它解释了如何在restful上生成和使用Kafka的消息
浏览 1提问于2017-09-24得票数 2
回答已采纳
1回答
比方说，我有一个服务，它通过kafka-rest代理来消费消息，并且总是在同一个消费者群体上。我们还可以说，它正在消耗一个有一个分区的主题。当服务启动时，它在kafka-rest代理中创建一个新的使用者，并使用生成的使用者url直到服务被关闭。当服务恢复时，它将在kafka-rest代理中创建一个新的消费者，并使用新的url (和新的消费者)进行消费。
因为卡夫卡每个
浏览 1提问于2016-07-07得票数 2
回答已采纳
有什么API可以用来找出消费者群体从卡夫卡话题开始消费的起始时间吗？
我使用的是卡夫卡0.11版
浏览 3提问于2017-12-07得票数 0
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
