首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

你说通过Kafka AdminClient获取Lag会有性能问题?尊嘟假嘟0.o

泊浮目

在早期版本中,kafka的元数据是保存在的zk里的。为了更全面的带大家阅读代码,我们把两个实现都读一遍。

8510

Kafka系列之高频面试题

johnny666

ISR是由Leader维护,Follower从Leader同步数据有一些延迟,超过配置的阈值会把Follower剔除出ISR,存入OSR列表,新加入的Follo...

8010

一文说清楚ETL Cloud如何与Kafka如何实现集成

用户7966476

随着企业对实时流数据的处理要求越来越高,很多企业都把实时流数(日志、实时CDC采集数据、设备数据…)先推入到kafka中,再通过ETL对kafka中的数据进行消...

12310

掌握Kafka事务,看这篇就够了

JavaSouth南哥

Kafka事务实际上引入了原子多分区写入的概念,Federico Valeri播客画了以下流程图,展示了事务在分区级别如何工作。

131110

为什么kafka在2.8版本之后就弃用了ZooKeeper作为注册中心(详解kafka底层架构原理)?

潋湄

kafka作为消息队列中重要一员的存在,它在大数据处理、日志记录等领域有着广泛的应用,本篇文章着手讲述kafka在底层架构上面为何会在2.8版本后弃用ZooKe...

26510

Apache Kafka 消费者 API 详解

九转成圣

Apache Kafka 是一个高吞吐量、低延迟的分布式流处理平台,用于构建实时数据管道和流应用。在 Kafka 中,消费者负责从 Kafka 集群中读取消息。...

16310

一个故事理解消息队列-下

老_张

在7月18号,我用了一个故事作为案例,介绍了消息队列的基本功能和应用场景。本打算第二天介绍消息队列的主要功能特性的,由于文章排期等其他因素影响,故更新搁置了。

13110

【赵渝强老师】大数据生态圈中的组件

赵渝强老师

京东大学 | 大数据学院院长 (已认证)

大数据体系架构中的组件非常多,每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始,逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习...

12610

异源数据同步 → DataX 为什么要支持 kafka?

青石路

昨天发了一条朋友圈:酒吧有什么好去的,上个月在酒吧当服务员兼职,一位大姐看上了我,说一个月给我 10 万,要我陪她去上海,我没同意

10810

【赵渝强老师】Kafka分区的副本机制

赵渝强老师

京东大学 | 大数据学院院长 (已认证)

在Kafka中每个主题可以有多个分区,每个分区又可以有多个副本。在这多个副本中,只有一个副本的角色是Leader,而其他副本的角色都是Follower。仅有Le...

7710

【赵渝强老师】Kafka的主题与分区

赵渝强老师

京东大学 | 大数据学院院长 (已认证)

Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消费者负责订阅主题进行消费。主题可以分为多个分区,一个分区只属于某一个主题。下面为列...

9410

【赵渝强老师】Kafka的体系架构

赵渝强老师

京东大学 | 大数据学院院长 (已认证)

Kafka消息系统是一个典型的分布式系统,其组成部分包括:消息生产者(Producer)、消息消费者(Consumer)、消息服务器(Broker)以及分布式协...

12010

Spring Boot 整合 Kafka 详解

九转成圣

本文将详细介绍如何在 Spring Boot 项目中整合 Apache Kafka,包括 Kafka 的配置、消息的同步和异步发送。

34610

kafka集群部署

弟大翻着洗

Kafka 是一个开源的分布式消息队列系统,主要用于处理和传输大量的数据流。通俗来说,它就像一个“邮局”或者“快递公司”,负责在不同的应用程序之间发送和接收信息...

13320

RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别

寻求出路的程序媛

RabbitMQ和Kafka是两种流行的消息传递系统,它们在多个方面存在显著的差异。

73020

厉害了!一文撕开Kafka Compact Topic神秘面纱

用户9421738

KafkaServer.startup会启动LogManager,LogManager.startup会启动一个Schedule线程池和一个LogCleaner...

11910

分布式日志处理:ELK+Kafka实现日志收集

Java_慈祥

不需要朋友之间跳过即可!应用开发 这里一般公司中,都会有专业的运维人员来进行搭建,个人学习就顺手学习了整理了笔记! 适合个人学习搭建

19610

Apache Kafka 生产者 API 详解

九转成圣

Apache Kafka 是一个高吞吐量、低延迟的分布式流处理平台,用于构建实时数据管道和流应用。在 Kafka 中,生产者负责将消息发布到 Kafka 集群。...

6510

Apache Kafka 事务详解

九转成圣

Apache Kafka 是一个分布式流处理平台,主要用于实时数据的传输和处理。在现代的数据密集型应用中,事务性保证在数据传输和处理中的作用至关重要。本文将详细...

7010

解密kafka为啥总是在重平衡

沐榕樰

使用的是java SDK :kafka-clients:2.1.0, kafka版本:2.4.1

16210

相关产品

  • Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

领券