我有一个Kafka流媒体制作器(在scala中)，它从目录中的所有文件中提取数据，并将其内容发布到一个主题中。然后，该内容由消费者处理。现在我正在通过shell手动执行生产者和消费者(都是在scala中)，但是我如何才能触发Kafka生产者和消费者在每次将文件添加到生产者从中检索文件的目录时自动执行呢？任何帮助都将不胜感激！
浏览 1提问于2018-03-18得票数 1
1回答
我想从Python应用程序中监控我的Kafka集群中的消费者组(基于Kafka的组，而不是ZK) (我愿意使用Kafka-python库和confluent Kafka客户端中的任何一个)。confluent Kafka admin API似乎没有Python选项来实现这一点。Burrow似乎是一种选择。但这将是一个额外的服务来设置和监控。
任何替代方法也是受欢迎的。
浏览 2提问于2018-08-13得票数 0
在我的应用程序中，我将对我的Kafka集群执行某种健康检查。目前，我创建了一个TopicMetadataRequest来检测死掉的代理： // this will fail if Kafka is unavailable
consumer.send有没有更好的方法来检查kafka经纪人？我需要的是像true/false指示器这样简单的东西。
浏览 1提问于2015-07-17得票数 10
回答已采纳
是否有Kafka监控指标、Java API或JMX bean来获取Kafka集群中每个主题的磁盘使用情况？ 有没有办法确定集群的总磁盘使用量，包括所有主题/分区/副本？
浏览 58提问于2020-09-10得票数 0
回答已采纳
2回答
我正在尝试为我的项目监控Kafka spout的性能。我使用的是apache-storm-0.9.2-孵化版本中包含的KafkaSpout。可以使用kafka偏移量监控工具监控kafka spout的吞吐量吗？有没有其他更好的方法来监控喷嘴？
谢谢，Palak Shah
浏览 2提问于2014-10-09得票数 0
我正在使用Kafka - 0.10.0.1运行sh kafka- .I -class.sh kafka.admin.ConsumerGroupCommand -new- consumer -describe-bootstrap-server
浏览 4提问于2018-01-17得票数 1
1回答
我正在从事一个项目，在这个项目中，我试图使用'kafka.network:type=RequestMetrics，文档中定义的mbean度量request={Produce|FetchConsumer|kafka-run-class kafka.tools.JmxTool -jmx-url kafka.tools.JmxTool--对象名称kafka.network:type=RequestMetrics我使用的kafka版本是2.1
浏览 12提问于2020-06-24得票数 1
有没有开源工具来监控融合的Kafka？大多数可用的开源工具都是特定于Apache Kafka的，但不是针对Confluent Kafka的。
我们希望至少监控连接器、流和集群的运行状况
浏览 3提问于2017-07-04得票数 0
我是微服务领域的新手。想知道什么时候使用Spring eureka，zuul vs spring数据流。微服务部署的技术选择应该是什么？
浏览 1提问于2017-06-01得票数 4
2回答
我正在采用Kafka，并试图了解如何监控它(例如，它是否耗尽了用于日志存储的内存)。我看到它使用Yammer Metrics并通过JMX公开它们-这对Java领域的人来说显然是有意义的。有没有可以构建的HTTP API？或者是任何一种相对结构化的输出？
浏览 7提问于2015-03-18得票数 2
我已经在生产中搭建了一个Kafka & Zookeeper集群。我需要设置INSTANA APM工具来监控和管理生产Kafka & Zookeeper集群。有没有人曾经使用INSTANA来监控Kafka。请分享您对此的看法。
浏览 33提问于2019-04-10得票数 3
IBM内部监控云上提供的服务，但不知何故，我需要获得中间件服务的状态，如kafka，API Connect等。它将帮助我自动化一些服务停止/不可访问的事情。
浏览 13提问于2019-10-14得票数 0
回答已采纳
有没有办法使用nagios监控我的kafka集群？有没有需要检查的工作插件、api或其他东西:代理状态、分区状态、内存状态、当前偏移量以及集群中所有有价值的指标？
浏览 12提问于2017-12-12得票数 1
有什么API可以用来找出消费者群体从卡夫卡话题开始消费的起始时间吗？
我使用的是卡夫卡0.11版
浏览 3提问于2017-12-07得票数 0
回答已采纳
1回答
我们有一个WebSocket服务器，它为每个WebSocket客户端创建一个单独的消费者组，这样每个WebSocket用户就可以相互独立地接收来自Kafka主题的更新。我们使用camel API来创建Kafka消费者(组)，它使用了Kafka原生Java API，所以这与Camel没有任何关系，但提到camel只是一个FYI。通过使用JMX和JMC监控，我们发现Kafka心跳线程被阻塞，并且对于每次新的WebSocket客户端加入时创建的每个新消费者组，被阻塞线程的数量
浏览 1提问于2018-11-06得票数 1
我目前正在让Kafka使用相同的group.id连接两个节点的集群 当使用curl /connectors时，我可以获得我创建的连接器的列表，但我看不到关于活动节点的信息，健康检查...
浏览 25提问于2019-02-05得票数 1
1回答
我有一个运行Kafka消费者的应用程序，并希望监控从主题消耗的每条消息的处理时间。该应用程序是一个Spring引导应用程序，并使用micrometre注册表将Kafka消费者指标公开给Spring Actuator Prometheus端点。我可以使用kafka_consumer_commit_latency_avg_seconds或kafka_consumer_commit_latency_max_seconds来监控或报警吗？
浏览 1提问于2020-09-21得票数 0
我的Kafka用户将他们的偏移量提交给Kafka(而不是Zookeeper)，所以我不能使用。所以我想知道除了上面两个之外，有没有Apache Kafka消费者滞后检查器？我用谷歌搜索了一下，但没有找到多少有用的信息。提前感谢！
浏览 0提问于2015-11-24得票数 3
我试图让JMX监控来监控一个测试kafka实例。
我有卡夫卡(千斤顶/卡夫卡)运行在码头通过boot2docker，但我不能得到正确配置的JMX监控。我已经做了大量的故障排除，我知道kafka实例正在正常运行(消费者和生产者都在工作)。配置注意事项:我连接到192.168.59.103 (运行'boot2docker ip‘时发现的virtualbox ip)，ches/boot2docker/ kafka实例使用端口7203作为JMX_PORT(
浏览 1提问于2015-07-01得票数 2
回答已采纳
5回答
我正在尝试编写一个Java代码，以获得消费者补偿和我们的kafka集群的滞后。是否有Java来获取这些信息？
浏览 12提问于2015-09-08得票数 3
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号