首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

万亿级 Kafka 消息规模下的降本增效之旅

深度学习与Python

京东内部使用基于 Apache Kafka 构建的 JDQ 来支持其平台业务。JDQ 是京东集团大数据平台统一的实时数据总线,赋能集团内部京东零售、物流、科技、...

3810

从Netflix到Walmart:开源Kafka的实际应用

云云众生s

以下案例研究展示了 Kafka 在四个关键领域的卓越表现:实时数据处理、消息传递、运营指标和日志聚合。

8110

kafka集群部署

运维牛马

在3.5版本发布后,Zookeeper已被标记为弃用并推荐使用KRaft模式部署kakfa集群,但是官方手册也提到了KRaft中仍有一小部分功能有待实现,所以个...

5410

五分钟入门Erlang语言基于brod类库实现操作Kafka案例总结

用户9421738

现场大数据项目Kafka组件大多数使用的语言集中在Java、Python、Go、C++。最近现场需求使用Erlang对接,遂有本文。Erlang是一种函数式并发...

7510

【赵渝强老师】Kafka消息的消费模式

赵渝强老师

Kafka消费者组中的消息消费模型有两种,即:推送模式(push)和拉取模式(pull)。视频讲解如下:

9710

kafka broker的含义

Linux运维技术之路

在 Apache Kafka 中,Broker 是指 Kafka 集群中的一个节点(或服务器)。它是 Kafka 系统的核心组件之一,负责存储和管理消息数据,并...

9410

【赵渝强老师】Kafka的消费者与消费者组

赵渝强老师

消费者就是从Kafka集群消费数据的客户端,下图展示了一个消费者从主题中消费数据的模型。

6710

Kafka工作原理学习

Linux运维技术之路

Apache Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,并于 2011 年开源。Kafka 的设计目标是提供高吞吐量、低延迟的消息传递...

11610

【赵渝强老师】Kafka生产者的消息发送方式

赵渝强老师

Kafka生产者有三种方式进行消息的发送,这三种方式区别在于对于消息是否正常到达的处理。视频讲解如下:

6610

【赵渝强老师】Kafka生产者的执行过程

赵渝强老师

Kafka的生产者Producer将消息序列化之后,发送到对应主题的指定分区上。下图为展示了生产者的执行过程。

5910

工业物联网简易高效的通信库,支持读取、写入、订阅、状态获取、动态数据转发(Kafka、Mqtt、NetMQ、Netty、RabbitMQ)、以及WebApi控制数据采集

Shunnet

这些都是免费的公共动态库,在 Nuget 上都可以搜索到 [ 搜索格式: Snet.* ]

13210

图解Kafka:架构设计、消息可靠、数据持久、高性能背后的底层原理

腾讯云中间件团队

针对问题2,kafka 提供两类消息发送方式:同步(sync)发送和异步(async)发送,trpc-go 框架中kafka插件相关参数如下:

19610

一夫当关,万夫莫开!Doris Kafka Connector 的“数据全家桶”实时搬运大法(一)

一臻数据

Apache Doris 提供多维度数据摄入能力,除内置 Routine Load 及 Flink 支持读取 Kafka 写入 Doris 方案外,Doris ...

14010

为什么Kafka 不支持读写分离?

代码小李

Kafka 本身的设计并不支持传统的读写分离,这主要是由于其架构和设计目标决定的。以下是 Kafka 不支持读写分离的主要原因:

6210

【大数据技术基础 | 实验十四】Kafka实验:订阅推送示例

Francek Chen

在两台机器上(以slave1,slave2为例),分别部署一个broker,Zookeeper使用的是单独的集群,然后创建一个topic,启动模拟的生产者和消费...

7600

【数据采集与预处理】数据接入工具Kafka

Francek Chen

7、Offset:kafka 的存储文件都是按照 offset.kafka 来命名,用 offset 做名字的好处是方便查找。例如你想找位于 2049 的位置,...

6200

Kafka的发布-订阅功能: Java实现与应用场景解析

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

Apache Kafka 是一个流行的分布式消息传递系统,广泛用于构建实时数据管道和流应用程序。它以高吞吐量、内置的分区、副本和容错性著称。Kafka 主要提供...

12510

ZooKeeper 在 Kafka 中的应用

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

Apache ZooKeeper 在 Apache Kafka 的架构中扮演着至关重要的角色。作为一个分布式协调服务,ZooKeeper 提供一致性和同步,确保...

13010

Kafka的Topic CRUD演示

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

Kafka是一个分布式流处理平台,它以高吞吐量、可扩展性和容错性而闻名。在Kafka中,Topic是消息流的逻辑容器,用于组织和存储消息。让我们通过Java代码...

6710

Kafka:新闻发布站的比喻

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

Kafka就像一个忙碌的新闻发布站,它能够处理和分发大量的实时信息。通过新闻发布站的比喻来详细解释Kafka中的各个知识点、设计思想,结合具体的代码和面试常问的...

4300
领券