开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码头群卡夫卡。如何为brokers分配唯一主机

码头群卡夫卡是一个不常见的词组，无法直接与云计算或IT互联网领域的名词词汇联系起来。因此，无法给出与该词组相关的完善和全面的答案。如果您有其他与云计算或IT互联网领域相关的问题，我将很乐意帮助您解答。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

大数据那些事(28):卡夫卡们的故事

人生亦有涯，而知也无涯。把庄子的话改吧改吧放上来作为开头，就是想和大家说，现在的这个大数据的世界里，数据太大，而我自己懂的东西很有限。除了analytics以外的其他领域就是典型的半瓶醋了。连八卦都不说。然而作为一个系列，连Kafka都不提一下，显然是说不过去。所以我也就硬着头皮的来提一下卡夫卡以及其他的消息队列们。当然严格的讲，卡夫卡不算是一个严谨的消息队列。它并不提供一入一出这样严谨的语义。所以严格一点讲卡夫卡算是一个基于pub/sub（中文叫发布/订阅？？）的消息系统。消息系统的作用在现代网站和

kafka 分区和副本以及kafaka 执行流程，以及消息的高可用

Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。

01

kafka中文文档

之前的版本：0.7.x，0.8.0，0.8.1.X，0.8.2.X，0.9.0.X，0.10.0.X。

03

Kafka体系结构：日志压缩

这篇文章是从我们介绍Kafka 体系结构的一系列文章中获得的启发，包括Kafka topic架构，Kafka生产者架构，Kafka消费者架构和Kafka生态系统架构。

03

聊聊微服务的分布式通讯

微服务目前比较热，但是微服务最难的还是可靠性问题，因为一个系统微服务可能几百个，网络调用频繁，网络的容错性就非常重要，因为对于分布式系统，需要默认网络环境是不可靠的，丢包或堵塞等情况都是可能会发生的，这里面其实就是经典的拜占庭将军问题，两个将军想约定某个时候一起进攻，但是不能确保这个信息能否可靠地传递给对方，是路途耽误了还是送信的人死了永远不可能送达，都无法确定，网络之间的通讯也是如此，A给B发个TCP数据包，这个数据包是因为网络繁忙暂时堵塞，还是就是被丢弃了呢？双方都不知道。

03

「BPM架构」Zeebe 的常见问题和答案

关于这个项目 Zeebe与Camunda BPM(以及其他传统工作流引擎)有何不同? 为了回答这个问题，我们首先分享一些关于我们为什么开始在Zeebe上工作的背景知识是有帮助的。多年来，我们已经看到用

02

Hadoop Spark Kylin...你知道大数据框架名字背后的故事吗？

对软件命名并不是一件容易的事情，名字要朗朗上口，易于记忆，既不能天马行空，又要代表软件本身的功能和创新。本文将历数几款大数据框架及其创始背后的故事。

02

[Kafka ]全面介绍Apache Kafka™

Kafka是一个现在听到很多的话......许多领先的数字公司似乎也在使用它。但究竟是什么呢？

08

「事件驱动架构」何时使用RabbitMQ或 Kafka?

如果你问自己是否Apache Kafka比RabbitMQ更好或RabbitMQ是否比Apache Kafka更可靠，我想在这里阻止你。本文将从更广泛的角度讨论这两种情况。它关注的是这两个系统提供的功能，并将指导您做出正确的决定，决定何时使用哪个系统。

03

【软件架构】为杠杆（利用率）架构设计软件

卡瓦尔康蒂：我在这里谈论的是如何利用软件架构。首先，我将在这里定义杠杆的含义。这是谷歌的定义。杠杆率是相对于你所做投资的深度，你可以获得的价值量。我们希望获得比您所做的投资更高的价值。在软件环境中，是您所做的决定、所做的选择，或者您所获得的与您所能创造的价值量相关的技术债务。我想看一看我们在Nubank的整个发展过程中所做的一些架构决策的例子，这些决策的目的是在当时获得尽可能高的杠杆率。你可能在你的公司中处于类似的位置，或者在未来的公司中处于你将做出这些决定的阶段。你可以以我们为例，或者至少有一种心态。

02

教程|运输IoT中的NiFi

本教程涵盖了Apache NiFi的核心概念及其在其中流量管理，易用性，安全性，可扩展架构和灵活扩展模型非常重要的环境中所扮演的角色。

02

被坑惨喽 ~ 探讨kafka分区数与多线程消费

kafka 算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的 high-level Consumer 的 API，最经典的不过如下：

02

打不死的小强机器人来了，向心加速度堪比猎豹，能抵抗自身数百倍重量碾压

来源：学术头条本文约2100字，建议阅读5分钟 “打不死的小强” 会继续给科学家们带来源源不断的灵感和力量。在卡夫卡的《变形记》里，推销员格里高尔某天早上醒来后变成了一只大甲虫。他由此遭到了家人和社会的唾弃，郁郁而终。如果卡夫卡今天还在的话，他可能要为自己的小说重写一下续集了。因为对科学家们来说，昆虫是他们制作微型仿生机器人最大的灵感来源之一。前不久，加州大学伯克利分校 (University of California，Berkeley) 的科学家们以昆虫的粘性脚掌为灵感，成功创造出一个具有高度灵

03

海量日志实时收集系统架构设计与go语言实现

日志收集系统应该说是到达一定规模的公司的标配了，一个能满足业务需求、运维成本低、稳定的日志收集系统对于运维的同学和日志使用方的同学都是非常nice的。然而这时理想中的日志收集系统，现实往往不是这样的...本篇的主要内容是：首先吐槽一下公司以前的日志收集和上传；介绍新的实时日志收集系统架构；用go语言实现。澄清一下，并不是用go语言实现全部，比如用到卡夫卡肯定不能重写一个kafka吧...

02

Kafka 工作机制

Kafka 是 Apache 的子项目，是一个高性能跨语言的分布式发布/订阅消息队列系统（没有严格实现 JMS 规范的点对点模型，但可以实现其效果），在企业开发中有广泛的应用。高性能是其最大优势，劣势是消息的可靠性（丢失或重复），这个劣势是为了换取高性能，开发者可以以稍降低性能，来换取消息的可靠性。

03

RabbitMQ 一二事 - 简单队列使用

消息队列目前流行的有三种 1. RabbitMQ 2. ActiveMQ 3. Kafka 这三种都非常强大，RabbitMQ目前用的比较多，也比较流行，阿里也在用 ActiveMQ是阿帕奇出品，但是性能上和RMQ相比相对差一些卡夫卡呢，使用场景不同，不多介绍，主要是用于日志收集方面，结合hadoop非常灵活 RabbitMQ官网：http://www.rabbitmq.com/ 安装不多说了，可以下载Windows版本，或者linux版本下载页面： http://www.rabbitmq.com/do

05

Apache Kafka，Apache Pulsar和RabbitMQ的基准测试：哪一个是最快的MQ？

ApacheKafka是最流行的事件流处理系统。在这个领域中有很多同类的系统可以拿来比较。但是最关键的一点就是性能。Kafka以速度著称，但是，它现在能有多快，以及与其他系统相比又如何呢？我们决定在最新的云硬件上测试kafka的性能。为了进行比较，我们选择了传统的消息broker RabbitMQ和基于Apache Bookeeper的消息broker Apache Pulsar。我们要关注以下几点，1.系统吞吐量。2.系统延迟。因为他们是生产中事件流系统的主要性能指标，特别是吞吐量测试测量每个系统在利用硬件（特别是磁盘和CPU）方面的效率。延迟测试测量每个系统交付实时消息的延迟程度，包括高达p99.9%的尾部延迟，这是实时和任务关键型应用程序以及微服务体系结构的关键需求。我们发现Kafka提供了最好的吞吐量，同时提供了最低的端到端延迟，最高达到p99.9的百分比。在较低的吞吐量下，RabbitMQ以非常低的延迟交付消息。

04

谈谈 Linux 假死现象

所谓假死现象，是指 Linux 内核 Alive，但是其上的某个或所有操作的响应变得很慢的现象。

02

【redis】属于redis的 “消息队列”：redis stream（浅析）

这以前只知道redis有类似于消息队列的发布/订阅，还真不知道它居然悄咪咪的有“消息队列”呀哈。

02

探讨kafka的分区数与多线程消费

kafka算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的high-level Consumer的API，最经典的不过如下：

03

Kafka的安装与入门基础

Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。 Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。

02

「事件驱动架构」Kafka vs. RabbitMQ:架构、性能和用例

如果你正在考虑是否卡夫卡RabbitMQ最适合你的用例,请继续阅读,了解这些工具背后的不同的架构和方法,如何处理信息不同,和他们的性能优缺点。我们将讨论的最佳用例的每个工具,当它可能比依赖于一个完整的端到端流处理的解决方案。

03

什么是Kafka

该文介绍了Kafka的基本概念、应用场景、优缺点、实现原理、主要概念、相关概念和主要功能。Kafka是一个分布式流媒体平台，用于发布和订阅记录流。它具有高吞吐量、可扩展性、持久性、容错性、实时性等特点。Kafka在大数据领域非常流行，用于实时数据处理、日志收集、流处理、事件驱动应用等。

02

后无服务器时代的云计算：目前及未来趋势

随着 AWS Lambda 即将于今年迎来十周年，无服务器计算已不再局限于功能即服务（FaaS）。如今，无服务器是指无需手动配置、按需自动提供扩展，以及采用按用量计费的云服务。这种转变只是云计算广阔发展的一部分，而无服务器技术也在不断变革。本文中关注无服务器技术之外的未来，探索云计算的格局将如何超越目前的超大规模模式，以及其对开发者和运营团队的影响。作者将探讨这一演变下的三大趋势。

01

Flink Forward 2019--实战相关(17)--Yelp分享实时访问规模预测

Using Flink to inspect live data as it flows through a data pipeline -- Matthew Dailey(Splunk)

03

Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何选择流处理框架

根据最新的统计显示，仅在过去的两年中，当今世界上90％的数据都是在新产生的，每天创建2.5万亿字节的数据，并且随着新设备，传感器和技术的出现，数据增长速度可能会进一步加快。从技术上讲，这意味着我们的大数据处理将变得更加复杂且更具挑战性。而且，许多用例（例如，移动应用广告，欺诈检测，出租车预订，病人监护等）都需要在数据到达时进行实时数据处理，以便做出快速可行的决策。这就是为什么分布式流处理在大数据世界中变得非常流行的原因。

04

【Manning新书】Kafka实战

来源：专知本文约700字，建议阅读5分钟Kafka in Action介绍了Kafka的核心特性，以及如何在实际应用中使用它的相关例子。 Kafka in Action介绍了Kafka的核心特性，以及如何在实际应用中使用它的相关例子。在其中，您将探索最常见的用例，如日志记录和管理流数据。当你完成之后，你就可以在一个以Kafka为中心的团队中处理基于开发者和管理员的基本任务了。 https://www.manning.com/books/kafka-in-action 这本书分三部分，共十二章。第一部分介

03

90年代自学C，独立研发中文编辑器和输入法，被称小说圈中的Geek，你一定不知道这样的王小波！

早在90年代初，王小波就接触了计算机。1988年，他毕业于美国匹兹堡大学东亚研究中心，获硕士学位，那时就知道Macintosh，玩过IBMPS/2。

02

2017英国封面设计学院奖获奖作品，能学几招是几招

从 2014 年开始，书籍封面设计师 Jon Gary 和 Jamie Keenan 开始举办英国封面设计学院奖（The Academy of British Cover Design，简称 ABCD），用以表彰优秀的英国书籍设计师。也包括电子书。

03

2022 年我的读书总结

不知道为什么，总觉得时间过得一年比一年要快，转眼又到了年底，这个星期因为感染新冠，较为乏力，就想去总结一下这一整年的读书情况。

03

如何在Ubuntu 18.04上安装Apache Kafka

Apache Kafka是一种流行的分布式消息代理，旨在有效处理大量实时数据。Kafka集群不仅具有高度可扩展性和容错性，而且与其他消息代理（如ActiveMQ和RabbitMQ）相比，它还具有更高的吞吐量。虽然它通常用作发布/订阅消息传递系统，但许多组织也将其用于日志聚合，因为它为已发布的消息提供持久存储。

02

75个每个人都应该知道的大数据术语

在第一篇文章中介绍了以下术语：算法，分析，描述性分析，规定分析，预测分析，批处理，Cassandra，云计算，集群计算，黑暗数据，数据湖，数据挖掘，数据科学家，分布式文件系统，ETL，Hadoop，内存计算，IOT，机器学习，Mapreduce，NoSQL，R，Spark，流处理，结构化。非结构化数据。现在我们来看看还有50个更大的数据条款。 Apache软件基金会（ASF）提供了许多Big Data开源项目，目前有350多个项目。我可以花一整天的时间来解释这些项目，而不是选择几个热门词汇。 Apache

04

云绑定应用：实现业务逻辑，减轻开发者负担

随着对应用为先的云服务采用愈发广泛，应用与云服务的融合程度也到了前所未有的深度。应用程序和云运行时的边界从虚拟机转移到了容器和函数中。集成边界从仅使用数据库和消息代理访问，转换成应用程序的机械部分在云中的混合运行。在这些因素影响下的架构中，应用程序与“云绑定”，应用逻辑与管理责任转移至云服务中，允许开发者专注于业务逻辑。

02

Kafka快速上手（2017.9官方翻译）

为了帮助国人更好了解、上手kafka，特意翻译、修改了个文档。官方Wiki : http://kafka.apache.org/quickstart

02

译文｜Airbnb助力Hadoop SQL查询引擎！

Airbnb是Hadoop在国内的一个公开资源数据开发和SQL查询工具。它的出现，能给Facebook Presto云技术的发展注入一剂强心剂吗？ 7个你不知道的关于Linux的事实数据驱动型旅游公司Airbnb于周四对外宣布，将把其内部开发的工具Airpal作为公开资源，这一举措将给Facebook开发的Presto在Hadoop SQL查询功能锦上添花。 Presto是Facebook于2013年末作为公开资源赠给Apache的一项内存Hadoop SQL查询技术。Airpal则是基于这项技术的数据

09

零拷贝技术与 sendfile

可以看到，整个数据的传输过程，都要需要 CPU 亲自参与搬运数据的过程，而且这个过程，CPU 是不能做其他事情的。

02

一条豆瓣动态引发的『量化文学』复兴

量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者，荣获2021年度AMMA优秀品牌力、优秀洞察力大奖，连续2年被腾讯云+社区评选为“年度最佳作者”。事情的起因是这样的： 3月18日，豆瓣网友@K 模仿卡夫卡经典作品《变形记》的开头，发了一条动态：一天早晨，格里高尔.萨姆沙从不安的睡梦中醒来，发现自己小区被封了。这句话无异于吹响了创作大赛的号角，众网友纷纷转发评论，

04

Kafka的分区数与多线程消费探讨

这是典型的kafka消费端消费数据的代码，但可以看出这是十分典型的单线程消费。不能直接用在生产实践中。

02

「事件驱动架构」Kafka再平衡协议：静态成员和增量合作再平衡

为了减少暂时性故障导致的用户重新平衡，Apache Kafka 2.3在KIP-345中引入了静态成员的概念。

01

我与Apache Storm和Kafka合作的经验

对于这个学派的新手来说，我会尝试用非常简单的方式去解释。基于海量写入的扇出架构尝试在写入时使用所有业务逻辑。初衷是为了给每个用户及用例准备好视图；当有人想要读取数据时，他们不必应用复杂的逻辑。于是读取就会变得轻松简单且通常可以保证恒定的读取时间。Twitter就基于海量写入的扇出架构。

02

机器人庄周能否梦见电子蝴蝶

00

出口集装箱堆场箱位分配问题(Slots Allocation Problem for Outbound Containers)

（Slots Allocation Problem for Outbound containers，简称OB-SAP）

05

Kafka 简介

在Kafka中，客户端和服务器之间的通信是通过一种简单的，高性能的，语言不可知的TCP协议完成的。

04

快收藏！优化 Apache Flink 应用程序的 7 个技巧！

在 Shopify 中，我们将Apache Flink作为标准的有状态流媒体引擎，为我们的BFCM Live Map等各种用例提供支持。我们的 Flink 应用程序部署在利用Google Kubernetes Engine的 Kubernetes 环境中。我们的集群采用配置使用高可用性模式，配置任务管理为故障点。我们还为我们使用状态保存器作为我们使用的检查点和点写入谷歌云存储（GCS）。

03

Kafka及周边深度了解

文章有点长，但是写的都挺直白的，慢慢看下来还是比较容易看懂，从Kafka的大体简介到Kafka的周边产品比较，再到Kafka与Zookeeper的关系，进一步理解Kafka的特性，包括Kafka的分区和副本以及消费组的特点及应用场景简介。

02

Kafka 简介

在Kafka中，客户端和服务器之间的通信是通过一种简单的，高性能的，语言不可知的TCP协议完成的。

02

【消息中间件】Redis vs Kafka vs RabbitMQ

对微服务使用异步通信时，通常使用消息代理。代理确保不同微服务之间的通信可靠且稳定，消息在系统内得到管理和监控，并且消息不会丢失。您可以从几个消息代理中进行选择，它们的规模和数据功能各不相同。这篇博文将比较三种最受欢迎的代理：RabbitMQ、Kafka 和 Redis。微服务通信：同步和异步微服务之间有两种常见的通信方式：同步和异步。在同步通信中，调用者在发送下一条消息之前等待响应，它作为 HTTP 之上的 REST 协议运行。相反，在异步通信中，消息是在不等待响应的情况下发送的。这适用于分布式系

01

降本增效大环境下，培养全栈技术能力是测试工程师的“保命符” | 展望测试工程师的 2023

提起软件测试工程师，更多人联想到的是工作轻松，不需要敲代码、工资高、涨薪快，甚至可以发展成为管理层，那么现实真的是这样吗？

01

云原生系列四【轻松入门容器基础操作】

注意：请使用第（2）步中的标红框的容器ID替换命令中的【容器ID】，后续都用此ID进行替换。

01

kafka和mq的应用场景_kafka和mq

在这个系列博客中，小编将向大家介绍一下一款吞吐超级大的消息中间件——kafka。说到消息中间件MQ，小编也在前面的博客中介绍过 rocketMq，activeMq等等。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭