前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >kafka 可视化 web 工具 kafdrop

kafka 可视化 web 工具 kafdrop

作者头像
BUG弄潮儿
发布于 2024-06-21 05:00:38
发布于 2024-06-21 05:00:38
1.2K01
代码可运行
举报
文章被收录于专栏:JAVA乐园JAVA乐园
运行总次数:1
代码可运行

一、Kafdrop是Apache Kafka的开源Web UI可视化界面

主要功能

  • 查看Kafka代理 -主题和分区分配以及控制器状态
  • 查看主题 -分区数,复制状态和自定义配置
  • 浏览消息 -JSON,纯文本和Avro编码
  • 查看消费者组 -每个分区的停放偏移量,合并延迟和每个分区滞后
  • 创建新主题
  • 查看ACL

更多功能可以移步官网查看

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://github.com/obsidiandynamics/kafdrop

二、使用docker-compose安装kafdrop

编写docker-compose-kafdrop.yaml文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@kafdrop]# mkdir -p /home/kafdrop
[root@kafdrop]# vim /home/kafdrop/docker-compose.yaml

version: "2"

services:
  kafdrop:
    image: obsidiandynamics/kafdrop
    restart: "no"
    ports:
      - "9000:9000"
    environment:
      KAFKA_BROKERCONNECT: "kafka:29092"
      JVM_OPTS: "-Xms16M -Xmx48M -Xss180K -XX:-TieredCompilation -XX:+UseStringDeduplication -noverify"
   depends_on:
     - "kafka"
  kafka:
    image: obsidiandynamics/kafka
    restart: "no"
  ports:
    - "2181:2181"
    - "9092:9092"
  environment:
    KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
    KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka:29092,EXTERNAL://localhost:9092"
    KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
    KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
    KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
    KAFKA_RESTART_ATTEMPTS: "10"
    KAFKA_RESTART_DELAY: "5"
    ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

三、启动kafdrop

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@kafdrop]# docker-compose -f docker-compose-kafdrop.yaml up -d

第一次运行docker-compose会先下载obsidiandynamics/kafkaobsidiandynamics/kafdrop镜像,随后启动容器

查看容器运行状态

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@kafdrop]# docker ps -a

四、启动成功,访问ip:9000

五、传统jar启动

  • 下载 kafdrop jar包
  • 启动
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-4.0.1.jar --kafka.brokerConnect=127.0.0.1:9092

启动脚本 startup.sh

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-4.0.1.jar --kafka.brokerConnect=127.0.0.1:9092

restart.sh

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ps -ef | grep kafdrop-4.0.1.jar | grep -v grep | awk '{print $2}' | xargs kill -9
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-06-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 BUG弄潮儿 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Kafdrop-Kafka开源可视化工具
Kafdrop是Apache Kafka的开源Web UI可视化工具。 主要功能 查看Kafka代理 -主题和分区分配以及控制器状态 查看主题 -分区数,复制状态和自定义配置 浏览消息 -JSON,纯文本和Avro编码 查看消费者组 -每个分区的停放偏移量,合并延迟和每个分区滞后 创建新主题 查看ACL 1、编排文件 [administrator@JavaLangOutOfMemory luga]% vi docker-compose-kafdrop.yml version: "2" services: k
Luga Lee
2021/12/09
2.4K1
Kafdrop-Kafka开源可视化工具
docker搭建kafka集群
advertised_listeners 监听器会注册在 zookeeper 中;
全栈程序员站长
2022/08/10
1.6K0
docker搭建kafka集群
5分钟带你体验一把 Kafka
新建一个名为 zk-single-kafka-single.yml 的文件,文件内容如下:
Guide哥
2020/05/07
9120
5分钟带你体验一把 Kafka
Docker如何搭建Zookeeper、Kafka集群?
可以使用腾讯云服务器 https://cloud.tencent.com/product/cvm ,相对来讲比较便宜。
云上云
2019/08/28
2.7K0
Docker如何搭建Zookeeper、Kafka集群?
一文搞懂 Kafka 开源可视化 Web UI - Kafdrop
Hello folks,我是 Luga,今天我们来分享一下与 Kafka 有关的观测性话题- Kafdrop。作为一个构建在 Spring Boot 之上的免费 Web UI工具,越来越受到广大技术人员的喜好。
Luga Lee
2023/03/10
5.5K2
一文搞懂 Kafka 开源可视化 Web UI - Kafdrop
docker zookeeper kafka kafka-manager 本地hbase hadoop
最近项目需要节约成本进行开发,所以要把docker利用的淋漓尽致,暂时只有一台服务器可用。 规划如下:zookeeper开启三个,kafka开启三个,hbase和hadoop在本地开启,不用docker。 参考:https://www.cnblogs.com/idea360/p/12411859.html 首先服务器上已经有了docker,这里我们使用docker-compose,提高开发效率,首先安装docker-compose:
gzq大数据
2021/03/20
4910
docker搭建kafka集群实践
kafka集群使用了3个节点,依赖zookeeper进行协调,所以会同时搭建一套3节点的zookeeper集群。
HUC思梦
2023/03/06
3.3K0
docker搭建kafka集群实践
kafka集群搭建
使用docker-compose搭建kafka集群,解析一些参数含义及列出搭建过程的一些坑。
doper
2022/09/26
6210
kafka集群搭建
kafka docker搭建
kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replication-factor 1 \ --partitions 1
yiduwangkai
2021/07/27
5230
docker-compose部署hive、kafka服务
参考了一些 https://www.likecs.com/show-152186.html 中的信息,去 https://github.com/big-data-europe/docker-hive 中把下载 docker-compose.yml 和 hadoop-hive.env 放在 docker-hive路径下,cmd输入 docker-compose up -d,会部署hive相关的容器
Michael阿明
2022/10/24
1.3K0
docker-compose部署hive、kafka服务
kafka 上手指南:集群版
在消息系统中,涉及的概念都比较类似,初学消息系统,概念有时候理解不到位,需要读者反复的根据自己的学习进度回过头把基本概念捋清楚。
谢伟
2019/11/12
1.4K0
Kafka 入门
消息队列不知道大家看到这个词的时候,会不会觉得它是一个比较高端的技术。消息队列,一般会简称为 MQ(Message Queue)。消息队列是一种帮助开发人员解决系统间异步通信的中间件,常用于解决系统解耦和请求的削峰平谷的问题。
RendaZhang
2020/12/16
6830
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
随着时间的积累,日志数据会越来越多,当你需要查看并分析庞杂的日志数据时,可通过 Filebeat+Kafka+Logstash+Elasticsearch 采集日志数据到Elasticsearch(简称ES)中,并通过 Kibana 进行可视化展示与分析。
高楼Zee
2021/09/23
1.8K0
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
kafka学习一:docker安装kafka
官网:https://kafka.apache.org/33/documentation.html#quickstart Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
仙士可
2023/02/16
3.2K0
Docker-compose 工具解析
Docker-Compose 项目是 Docker 官方的一个开源项目,其主要职责是负责实现对Docker容器集群的快速编排。       Docker-Compose 将所管理的容器分为三层,分别是工程(project)、服务(service)以及容器(container)。Docker-Compose 运行目录下的所有文件(docker-compose.yml,extends 文件或环境变量文件等)组成一个工程,若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务,每个服务中定义了容器运行的镜像,参数,依赖。一个服务当中可包括多个容器实例,Docker-Compose 并没有解决负载均衡的问题,因此需要借助其它工具实现服务发现及负载均衡。       Docker-Compose 的工程配置文件默认为 docker-compose.yml,可通过环境变量 COMPOSE_FILE 或 -f 参数自定义配置文件,其定义了多个有依赖关系的服务及每个服务运行的容器。使用一个 Dockerfile 模板文件,可以让用户很方便的定义一个单独的应用容器。在工作中,经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目,除了 Web 服务容器本身,往往还需要再加上后端的数据库服务容器,甚至还包括负载均衡容器等。       同时,Docker-Compose 允许用户通过一个单独的 docker-compose.yml 模板文件(YAML 格式)来定义一组相关联的应用容器为一个项目(project)。Docker-Compose 项目由 Python 编写,调用 Docker 服务提供的 API 来对容器进行管理。因此,只要所操作的平台支持 Docker API,就可以在其上利用 Compose 来进行编排管理。
Luga Lee
2021/11/20
1.1K0
Docker-compose 工具解析
Docker安装Kafka(docker-compose)、EFAK监控
1、kafka需要zookeeper管理,所以需要先安装zookeeper。 (PS:2.8版本以后kafka-Kraft 模式不再依赖zk,目前别的很多组件都依赖zk注册,所以还是以zk举例)
鱼找水需要时间
2023/02/16
2.3K0
Docker安装Kafka(docker-compose)、EFAK监控
简单耍一下-Kafka
Partition 机制,一个 Topic 划分为多个 Partition,防止单台 Broker 机器无法容纳太多的数据,Partition 机制与 Replica 机制联系紧密,每个 Partition 可以有多个 Replica(1 Leader + N Followers)。
Cloud-Cloudys
2020/12/16
8120
简单耍一下-Kafka
1.5万字长文:从 C# 入门 Kafka
本教程是关于 Kafka 知识的教程,从 C# 中实践编写 Kafka 程序,一边写代码一边了解 Kafka。
痴者工良
2023/03/11
2.3K0
1.5万字长文:从 C# 入门 Kafka
Kafka入门实战教程(2)基于Docker搭建Kafka环境
这里我们使用一台Linux CentOS系统的服务器来模拟三个Kafka Broker的伪集群(即一台server上开三个不同端口)环境用于学习测试,大概的准备工作有两个:
Edison Zhou
2022/09/01
2.2K0
Kafka入门实战教程(2)基于Docker搭建Kafka环境
Filebeat/Kafka/LogStash/ES/Kibana架构
随着客户的不断增多,客户业务复杂程度不断加大,传统的服务器级别监控由于监控粒度过大,且当告警时需要进一步排查原因,已无法满足需求,为了深入客户业务,保证业务健康运行,我们需要手机服务器系统的日志、客户业务日志,并进行分析处理,做到故障发生时可以第一时间定位故障原因,通知相应的人员处理,那么怎么将日志文件归集,怎么将日志文件呈现,以及故障发生时第一时间通知给相应业务负责的人员,成了很多公司需要面对的问题,因此日志监控系统应运而生。
mervinwang
2021/04/28
2.2K1
Filebeat/Kafka/LogStash/ES/Kibana架构
相关推荐
Kafdrop-Kafka开源可视化工具
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文