首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >MetricBeat -Kafka的消费者组指标集不发送任何数据?

MetricBeat -Kafka的消费者组指标集不发送任何数据?
EN

Stack Overflow用户
提问于 2017-04-03 20:09:36
回答 1查看 1.1K关注 0票数 1

我有运行ZooKeeper和单一的卡夫卡经纪人,我想获得指标与MetricBeat,索引它与ElasticSearch和显示与基巴纳。

然而,MetricBeat只能从partition度量集获取数据,而不能从consumergroup度量集获取数据。

由于kafka模块在metricbeat.yml中被定义为周期性的,它应该自己发送一些数据,而不仅仅是等待用户交互(f.exam。-写到主题)?为了确保我自己,我尝试创建消费者组,从主题编写和消费,但consumergroup指标集仍然没有收集到数据。

metricbeat.template.jsonmetricbeat.template-es2x.json中都定义了consumergroup

虽然metricbeat.full.yml完全被注释掉了,但这是我的metricbeat.yml kafka模块定义:

代码语言:javascript
复制
- module: kafka
  metricsets: ["partition", "consumergroup"]
  enabled: true
  period: 10s

  hosts: ["localhost:9092"]

  client_id: metricbeat1
  retries: 3
  backoff: 250ms

  topics: []

在MetricBeat的/logs目录中,显示如下所示的行:

代码语言:javascript
复制
INFO Non-zero metrics in the last 30s:
libbeat.es.published_and_acked_events=109
libbeat.es.publish.write_bytes=88050 
libbeat.publisher.messages_in_worker_queues=109             
libbeat.es.call_count.PublishEvents=5
fetches.kafka-partition.events=106
fetches.kafka-consumergroup.success=2
libbeat.publisher.published_events=109
libbeat.es.publish.read_bytes=2701
fetches.kafka-partition.success=2
fetches.zookeeper-mntr.events=3
fetches.zookeeper-mntr.success=3

使用ZooKeeper的mntr和Kafka的partition,我可以看到events=success=的值,但对于consumergroup,只有success。看起来没有触发任何事件。

partitionmntr数据在Kibana中正常可见,而consumergroup缺失。

存储在ElasticSearch中的数据是人眼不可读的,有些内部字符串用于目录名,而日志中不包含任何有用的信息。

有没有人能帮我弄清楚到底是怎么回事,并修复它(可能是MetricBeat),以便向ElasticSearch发送数据?谢谢:)

EN

回答 1

Stack Overflow用户

发布于 2018-03-09 23:56:55

您需要有一个在主题之外消费的活动消费者,才能为consumergroup指标集生成事件。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43184309

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档