卡夫卡消费者总是给一个java.nio.channels.ClosedChannelException
是因为消费者尝试从已关闭的通道读取消息。ClosedChannelException是Java NIO库中的异常类，表示通道已关闭。
Kafka是一个分布式流处理平台，用于高吞吐量、可持久化的消息传输。它使用了发布-订阅模式，消息的生产者将消息发布到主题（topic），而消费者则从主题中订阅消息进行消费。
在Kafka中，消费者通过订阅一个或多个主题来接收消息。当消费者尝试从已关闭的通道读取消息时，就会抛出java.nio.channels.ClosedChannelException异常。
解决这个问题的方法是确保消费者在读取消息之前，通道处于打开状态。可以通过以下步骤来检查和解决问题：
- 检查消费者代码：确保在消费者读取消息之前，通道没有被关闭。如果通道被关闭，需要重新打开通道。
- 检查Kafka集群状态：如果Kafka集群出现故障或异常情况，可能会导致通道关闭。确保Kafka集群正常运行，并且没有任何错误或异常。
- 检查网络连接：如果网络连接不稳定或中断，可能会导致通道关闭。确保网络连接正常，并且没有任何问题。
- 检查Kafka配置：确保Kafka的配置正确，并且与消费者代码中使用的配置一致。特别是检查Kafka的连接地址、端口和主题等配置项。
推荐的腾讯云相关产品：腾讯云消息队列 CMQ。腾讯云消息队列 CMQ 是一种高可用、高可靠、高性能、可弹性伸缩的分布式消息队列服务，适用于分布式系统间的异步通信、流量削峰填谷、解耦和消息通知等场景。CMQ 提供了多种消息模型和消息传输协议，支持消息的持久化存储和可靠投递，具备高并发、低延迟的特点。
产品介绍链接地址：https://cloud.tencent.com/product/cmq
相关·内容
1回答
我是卡夫卡的新手，我对卡夫卡的消费者和卡夫卡的听众感到困惑。当我创建倾听现有主题的新侦听器时，这是否意味着将创建新的使用者？创建侦听器和使用者之间到底有什么区别？
浏览 1提问于2022-07-08得票数 0
我有一个带有一个组和一个分区的Kafka主题 我有15个Kafka用户订阅了这个主题 当我发布消息时，我希望所有的消费者都能收到一条消息。 我正在使用pythonkafka库。 卡夫卡有可能吗？
浏览 17提问于2020-11-18得票数 0
我有3个消费者订阅了一个卡夫卡主题。生产者向主题发布1条消息。
我如何确保信息在内部复制卡夫卡，然后被所有三个消费者消费？
一种方法是不提交消息，但随后消息将继续堆积在主题中。
浏览 1提问于2018-09-14得票数 1
回答已采纳
1回答
在卡夫卡，我们有一个领先的n个副本和其他复制来自生产者的数据和数据跨n复制被维护。
卡夫卡如何检查乌尔普斯呢?如果数据在卡夫卡消费者中不断地被推送，那么会不会总是在副本中出现滞后？
浏览 1提问于2021-11-02得票数 0
2回答
我目前正在探索卡夫卡作为一个初学者一个简单的问题。
会有一个生产者将消息推送到一个主题，但是火花应用程序的使用者将有n个人从kafka按摩数据并插入到数据库中(每个使用者都插入到不同的表)。
是否有可能消费者会失去同步(就像消费者的某些部分在相当长的时间内下降一样)，那么一个或多个使用者将不会处理消息并插入到表中？
假设代码总是正确的，那么在传递数据时也不会出现异常。重要的是，每条消息只处理一次。
我的问题是，卡夫卡是为我们处理这个部分，还是我们必须编写一些其他代码来确保这种情况不会发生。
浏览 8提问于2017-01-06得票数 1
回答已采纳
1回答
我正在使用5节点卡夫卡和5节点动物园管理员集群。动物园管理员工作得很好。卡夫卡的作品，直到我在卡夫卡创造了一个主题。因此，这些步骤是：
1. Setup Zookeeper cluster and start all zookeeper nodes
2. Setup Kafka cluster and start all kafka nodes
3. Everything is fine upto here.
4. Create a topic.
5. Following error starts to pop up continuously and squeezes all the disk
浏览 1提问于2015-11-11得票数 0
我的应用程序有N个实例正在运行。实例的数量总是大于Kafka分区的数量。例如，一个消费者组的6个实例，从4个Kafka分区消费.因此，在任何时候，实际上只有4个实例在使用。
在这种情况下，我是否可以暂停卡夫卡消费骆驼路线，而不让卡夫卡试图向其他潜在消费者重新平衡？我的理解是，挂起的路线会停止轮询，而另一条则会接载。
浏览 4提问于2020-02-25得票数 0
我正在使用卡夫卡9，并混淆了订阅的行为。
为什么它期望group.id与订阅。
我们是否需要使用commitSync手动提交偏移量。即使不这样做，我也看到它总是从最新开始。
有没有办法从一开始就重播这些消息。
浏览 5提问于2017-02-02得票数 1
回答已采纳
我是用春天卡夫卡依赖建立一个卡夫卡消费者消费信息的主题。它经常突然停止使用消息，日志中没有任何错误。如果我重新启动服务，它可以正常使用消息。但它可能会在某一时刻再次停止消费信息。
不可能在最大轮询间隔内使用消息，因为每个消息将在1分钟内处理，而默认的最大轮询间隔为5分钟。信息发布的频率很低，约为每分钟1-2条.
有人遇到过这个问题吗？我该怎么解决呢？
浏览 3提问于2022-10-21得票数 0
2回答
我最大的问题是，在卡夫卡中，我们是否有一个名为“消费群体”()的概念是不活动/活跃的。
我不知道如何在我的本地卡夫卡服务器实现这一点。
有没有人能帮助卡夫卡的消费者群体达到不活跃的状态？
浏览 0提问于2018-11-16得票数 0
1回答
我的卡夫卡消费者说：
[TopicPartition{topic=my-topic,partition=0,offset=-1000,error=None}]
每当我运行poll()时，它都会返回None。
我希望将偏移量设置为最后消耗的消息。如果我手动设置offset=0，每当我重新启动使用者时，所有消息都将被重新读取--我只想使用上次偏移量中的消息。
为什么我的偏移量设置为-1000？
我怎么能让卡夫卡为我管理的补偿，而不是总是-1000？
什么是-1000偏移表示，它似乎相当无效。
浏览 2提问于2022-02-09得票数 0
1回答
我是爪哇，春天和卡夫卡的新手
我有下一个发送消息的代码
kafkaTemplate.send(topic, message);
我的制作人配置：
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
bootstrapServers);
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
IntegerSerializer.class);
props.put(ProducerConfig.VALUE_SERIALIZER_CL
浏览 1提问于2017-01-26得票数 8
回答已采纳
1回答
卡夫卡版本2.4.1动物园管理员3.4.10
我在删除由kafka应用程序创建的消费者组时遇到了困难。即使应用程序已关闭，但组总是将其报告为“再平衡”状态。卡夫卡-消费者团体不允许我删除它，因为它说‘这个组不是空的’
参考：
问题：
消费者组信息存储在哪里？(我尝试了zkcli.sh命令，/consumers是空的)哪里存储与使用者相关的信息&它的状态还有其他命令可以用来查询组信息(或任何黑客)，消费者组成员存储在哪里?
浏览 0提问于2020-05-01得票数 1
回答已采纳
我们是卡夫卡的制作者，为一个只有一群消费者消费的主题制作信息。消费者的速度有很大的不同。我们总是有一定数量的消费者滞后作为缓冲。
生产者是否有可能知道使用者组的每个分区的滞后，并首先以最低的延迟向分区生成消息？如果我使用C/C++客户端或Java客户端，是否有可能？
谢谢。
浏览 4提问于2020-01-13得票数 0
回答已采纳
当达到卡夫卡max.poll.interval.ms并重新平衡发生时，是否有异常抛出？
浏览 3提问于2020-04-09得票数 2
回答已采纳
在讨论卡夫卡和RabbitMQ的区别时，“哑巴经纪人”和“智能经纪人”在与消费者的互动中不断出现。卡夫卡被描述为有一个愚蠢的经纪人，而RabbitMQ据说有一个聪明的经纪人/愚蠢的消费者模型。
这到底是什么意思？我熟悉卡夫卡的基础知识，并对RabbitMQ有更多的了解。然而，RabbitMQ的哪些功能使经纪人比卡夫卡更聪明呢？
浏览 5提问于2017-08-28得票数 11
我正在设计一个通知引擎(基于打字本)，它将作为一个一站式商店，为各种其他系统发送通知到不同的渠道(推送通知，短信，电子邮件等)。我希望构建这个系统来使用Kafka作为message组件(还有许多其他组件)。
我的查询是针对app推送通知的(我们当前的系统使用基于FCM主题的订阅通知，来自发布的各个系统)。Notification将以Kafka生产者的身份工作，并定期向主题发布消息(如此系统的Scheduler组件中所配置的)。应用程序用户如何在通知发布后立即获得通知？我假设这里的应用程序必须像卡夫卡消费者那样工作。实现这一目标的最佳途径是什么？卡夫卡REST代理是移动应用程序充当卡夫卡消费者的
浏览 1提问于2022-06-28得票数 0
有时，由于一些外部问题，我们在卡夫卡的消费中会遇到一些滞后。
Flink作业总是以精确的一次语义使用kafka历史(延迟数据)，但下面是一个场景：
当卡夫卡的消费滞后过大时，我们将跳过延迟数据，以便让我们的下游服务及时获得最新数据。我正在考虑设置一个窗口时间来做这件事。我应该为它编码什么？
浏览 3提问于2022-05-04得票数 1
回答已采纳
我是卡夫卡的新手，我将非常感谢对下一个案例的澄清。
卡夫卡文件在“消费者立场”一段中说：
“我们的主题被划分为一组完全有序的分区，每个分区在任何给定的时间都由一个使用者使用。”
基于上面的声明，如果很少的使用者组订阅了某个主题，并且生产者会将消息发布到这个主题中的特定分区，那么只有一个使用者可以提取消息。
问题是，如果只有一个消费者能够传达特定的信息，那么如何向许多消费者群体广播呢？
浏览 3提问于2014-04-17得票数 19
拥有一个在多个实例中运行的应用程序，并且每个实例都需要使用来自主题的所有分区的所有消息。
我知道有两种策略：
为每个应用程序实例创建一个独特的消费组id，并像往常一样订阅和提交，缺点是卡夫卡仍然需要代表每个用户维护一个消费者组。要求卡夫卡为这个主题提供所有分区，并为所有这些分区分配消费者。据我所知，卡夫卡不再有任何代表消费者的消费群体。因此，问题在于，由于卡夫卡方面没有消费者群体来跟上时代的发展，是否仍有必要做出补偿。创建消费者时没有指定“group.id p.id”.
浏览 0提问于2020-06-10得票数 0
2回答
我正在为卡夫卡阅读多篇文章，以了解消费者群体。我有一个疑问，卡夫卡如何确保一个信息将只处理一次在一个消费者群体？
考虑一下，消费者群体中有不止一个消费者。卡夫卡是否对每一条信息保持某种跟踪，并在每个消费者中依次尝试？
如有任何参考或帮助，将不胜感激。
浏览 5提问于2020-08-18得票数 1
1回答
我在Databricks读了下面的博客
在解释星火卡夫卡集成是如何使用接收器与WAl工作的过程时，它说
1.卡夫卡数据不断被火花工人/执行者中的卡夫卡接收者接收。使用了卡夫卡的高级消费者API。
2.接收到的数据存储在Spark的worker/executor内存以及WAL中(在HDFS上复制)。卡夫卡接收机只在数据被保存到日志后才将卡夫卡的偏移信息更新给动物园管理员。
现在我怀疑高级用户如何更新动物园管理员中的偏移量，因为高级用户不处理偏移量，而是由动物园管理员处理。因此，一旦我们从卡夫卡读取一条信息，使用动物园管理员，然后动物园管理员自动更新偏移量。
浏览 1提问于2017-06-30得票数 1
1回答
我是卡夫卡的新手，我试图理解卡夫卡消费者如何消费和处理卡夫卡主题的信息而不丢失信息，如果消费者在之间失败的话。
例如：
有一个名为cart_checkout的卡夫卡主题，当用户成功地签出他们的购物车时，它只保存一个事件。它所做的就是得到一个事件，并发送电子邮件给用户，他们的项目是签出。
这是一条幸福的道路：
用户从主题中获取一个事件。Kafka.Consumer 读取偏移量被提交给email.Repeat.调用应用程序的特定函数来发送
如果应用程序在Step 3 期间失败，会发生什么？
如果消费者启动，它就会错过一个事件，对吗？(因为已提交已读取的消息)
消费者可以倒带，但它如何知道如何倒带
浏览 7提问于2022-05-06得票数 0
回答已采纳
2回答
如果我创造
卡夫卡消费者instancespassing propertiessubscribe 2卡夫卡同题
这两个使用者实例(在diff组Id中)是否具有相似的分区结构，或者可能有所不同？
也就是说，如果我做了.assignment()，我会得到相同的结果在这两个
我的实际问题陈述，我将在其中使用此验证
在我的应用程序中，我在特定的状态下实现了代理的偏移(这是通过我的第一个kafka消费者对象完成的)。
后来，我创建了第二个卡夫卡消费者对象，并使用这个来迭代主题，寻求从之前的偏移达到。
(因此，如果上述假设是错误的，我的逻辑就会失败)
浏览 5提问于2020-06-01得票数 1
回答已采纳
我正在阅读卡夫卡的文件，并试图了解它的工作。这是关于消费者的。简单地说，主题被划分为分区的数目。有多个消费者群体，每个群体都有多个消费者实例。现在，我的问题是，每个分区是否向每个使用者组发送“相同”的消息，而这个消息又会给组内的特定使用者实例？
如果是的话，卡夫卡如何确保信息只由一个消费者处理？
如果我遗漏了什么，请指点我。
浏览 2提问于2018-12-13得票数 0
回答已采纳
1回答
我是一个用卡夫卡做春云流的新手，我想知道它的概念。在我的应用程序中，当源向kafka绑定器发送消息时，数据不会堆积.我可以看到，资料来源在卡夫卡的消费者中起作用，而卡夫卡消费者实际上并不是在消费，只是为了检查数据真的出来了。
然而，问题是我不能使用堆积在接收器上的数据。(处理器的侦听器)。它只能在几乎实时的情况下消耗来自源源的数据。
让我给你举个例子。对于制片人来说，
data1, data2, data3, data4, data5, ... (streaming for producer)
对于消费者来说，它将在data4生产时启动。然后，我的应用程序将从数据4中获取数据.
data4,
浏览 2提问于2017-09-28得票数 0
回答已采纳
卡夫卡中是否有任何客户端可以设置的特性，例如标志或信息的某些属性？
用户故事是:客户端读取来自Kafka的消息，并设置标志或属性作为消息的逻辑意思是“消息处理”。客户用信息做某事，例如发送到其他系统。如果发送到其他系统是成功的，那么客户端集在卡夫卡的信息，该消息被处理。在该消息不应该被其他使用者获取/使用之后，消息处理就完成了。
卡夫卡有什么内置的机制吗？
浏览 2提问于2020-05-07得票数 2
回答已采纳
3回答
我需要实现卡夫卡消费者在火花流的火花1.0。我写过卡夫卡制作人。有谁能帮我写一个火花接收器来提取卡夫卡的信息吗？另外，我能知道如何在Intellij IDEA中运行kafka星火流项目吗？
浏览 1提问于2014-09-10得票数 1
回答已采纳
我希望在一个春季引导应用程序中创建多个Kafka消费群，以处理不同的Kafka队列。需求场景是基于消息的临界性，它应该被推送到不同的Kafka队列。为了管理不同的卡夫卡队列，我想创建一个专门的卡夫卡消费群体。但我不确定是否可以在一个春季引导应用程序中创建一个以上的Kafka消费群。
目前，我有三个卡夫卡主题，每个主题4个部分，只有一个卡夫卡消费群与三个卡夫卡消费者。这三个卡夫卡消费者阅读从三个专门的卡夫卡队列。
我搜索了一下，但找不到关于这个的任何线索。
浏览 1提问于2017-10-05得票数 0
1回答
我需要一个建议，什么是正确的卡夫卡结构使用我的项目和原因。
我的项目是为投资机器人管理创造一个平台。非常高水平-你可以编码几个投资策略，并将它们上传到平台上，它们将实时执行，提供分析和性能的实时信息。这些策略是从4个数据流中输入信息的。当他们阅读四个不同的卡夫卡主题时，这些数据被传递给策略。这个kafka主题直接从交换websocket接收信息。在任何给定的时间，平台中都有一个动态的机器人数量。
我所做的是:使用图像卡夫卡-wurmeister和动物园，初始化卡夫卡初始化所有的卡卡主题，我将需要事先。我将所需的数据推送给Kafka，方法是将所有信息生成到以下主题：
payloads = [
浏览 3提问于2020-05-10得票数 0
回答已采纳
1回答
我们的实现与此链接中的实现完全相同:-
`@KafkaListener(topics = "someTopic")
public void listen(final String message, final Acknowledgment ack) {
try {
processMessage(message);
ack.acknowledge();
} catch (final IOException e) {
// do not acknowledge here since we can temporar
浏览 1提问于2022-07-11得票数 0
我刚接触卡夫卡，我有一个卡夫卡领导者version 0.10.0和一个动物园管理员version 3.4.6.There是我遇到的两种类型的卡夫卡消费者应用程序接口：
1. Kafka Polling
2. Kafka Streams
我找不到这两者之间的显著区别。Kafka polling和Kafka流媒体消费者有什么区别?适用于两者的用例有哪些？
任何帮助都是非常感谢的。
浏览 10提问于2017-02-01得票数 2
回答已采纳
“卡夫卡喷泉”和“卡夫卡消费者”都是从卡夫卡经纪人那里检索数据的，到目前为止，我所知道的是用来与暴风沟通的，而消费者是与其他任何东西交流的。
-but，技术上有什么不同？
-or，如果我使用一个消费者提取数据，然后使用一个“setSpout”接收数据，那么如果我只是使用一个"Kafka“，然后将它添加到的setSpout()函数中，两者之间的区别是什么？
-and何时使用消费者，或卡夫卡喷口
浏览 1提问于2016-07-01得票数 4
回答已采纳
2回答
卡夫卡消费者的火花流
、、、、
我可能需要和卡夫卡合作，而且我对此完全陌生。据我所知，卡夫卡的制片人会将日志(称为事件或信息或卡夫卡中的记录)发布到卡夫卡的主题上。
我需要通过消费者阅读卡夫卡的主题。我需要先设置消费API，然后才能使用SparkStreaming上下文(PySpark)进行流，还是可以直接使用KafkaUtils模块从KafkaUtils主题中读取？
如果我需要设置Kafka消费者应用程序，我如何做到这一点？请您共享指向正确文档的链接。
提前谢谢！！
浏览 1提问于2016-07-01得票数 5
回答已采纳
3回答
我使用的是一个从Kafka读取消息并将其推入Cassandra的服务。
我也在使用线程架构。
有说，k threads消费来自卡夫卡的话题。它们写入队列，声明为：
public static BlockingQueue<>
n说，现在有许多线程可以写入卡桑德拉。下面是这样做的代码：
public void run(){
LOGGER.log(Level.INFO, "Thread Created: " +Thread.currentThread().getName());
while (!Thread.currentThread().isInterr
浏览 2提问于2016-04-18得票数 4
回答已采纳
我们使用Kafka流(2.5.0JAR)和java应用程序(只有一次语义)和Jdbc接收器连接器(UPSERT模式)向db写入数据。
流动：-
Java Kafka Stream应用程序
akhq用户界面显示总是滞后1，即使所有消息都是有效消息。所有的信息都会被消耗掉。是因为连接器没有"isolation.level“作为"read_committed”，目前是"read_uncommited“。滞后情况如下图所示。我也见过一个与卡夫卡相关的bug，它与此有关吗？
浏览 8提问于2021-06-14得票数 0
回答已采纳
1回答
我试图在两个或更多的spring应用程序之间传递数据。为此，我在RabbitMQ中使用了Spring。现在，我还需要Pub体系结构，在这里，所有订阅者都应该得到消息。目前，在RabbitMQ中，Pub为每个用户创建每个队列。这个我不想要。
我还在查看Pub消息传递系统的列表，这将解决我的问题。
Publisher------>Data----->Subscriber 1
----->Subscriber 2
雷迪斯
阿帕奇卡夫卡
请推荐最佳的消息传递系统。
浏览 1提问于2016-09-08得票数 0
如果我在卡夫卡中有两个主题，是否有办法判断一个主题中的一个事件是否发生在另一个主题中的事件之前，如果它们都出现在一个毫秒内(即它们具有相同的时间戳)？
背景:我正在构建一个基于事件源的事件驱动架构。通常，当一个主题中发生一个事件时，我需要进行扫描，以确定另一个主题中是否已经发生了一个单独的事件。同样，如果第二个主题中的事件出现，我需要扫描以查看主题1中的事件是否发生。
为了避免重复处理，我需要一种确定性的方法来对事件进行排序。如果事件间隔超过1毫秒，我可以在事件中使用时间戳。但是，因为卡夫卡时间戳只适用于毫秒，当两个事件发生在一起时，我就不能再使用这种方法了。
实际上，我不在乎哪个话题是“先发
浏览 5提问于2022-04-24得票数 0
回答已采纳
1回答
生产者是如何使用client.id的？我的理解是，卡夫卡的消费者需要client.id，以便将其与补偿联系起来。例如，一个应用程序可以使用"abc123“client.id从一个主题读取，如果它失败了，可以用相同的client.id重新启动它，然后继续从它停止的地方读取。
另一方面，我的理解是，制片人总是写到主题的结尾。那么，为什么卡夫卡的制作人需要一个client.id呢？
浏览 5提问于2022-11-21得票数 1
回答已采纳
3回答
我开始玩卡夫卡，当我从数据库导入数据时，我脑子里有很多问题。
我的场景是:我有一个有几个表的关系数据库，我想将它们导入到KAFKA主题中。我头脑中的困惑是:如果我使用卡夫卡连接导入所有这些表，我的消费者将如何知道数据何时加载了所有的？在我的消费者开始工作之前，我需要将来自不同表的大部分记录加载到kafka主题中。
例如，我的数据库中有一个客户和一个订购表。我想将这两个表导入到客户和订单主题中。如果我的消费者因为有一个新的订单而启动，但是关于客户的信息还没有出现在“客户”主题中，那么它将无法工作。我让事情复杂化了吗？
浏览 4提问于2020-02-11得票数 1
回答已采纳
2回答
我正在阅读这两个概念。主要是卡夫卡。并与JMS进行比较，以便更好地理解。
Kafka保证有序投递和多订阅者。卡夫卡是怎么做到的？
Kafka有多个分区。如果每个分区有一个消费者，那么我们可以保证排序。我们可以通过多个分区实现负载均衡。所以两者同时存在是可能的。
在JMS的情况下，如果我们有多个队列，不是和Kafka一样吗？
Q1:在这种情况下，哪个更好？
Q2:我看得太窄了吗？卡夫卡做的还不止这些吗？
请给我提个建议。
即使我对JMS的看法是错的，请让我知道。
浏览 1提问于2017-03-08得票数 18
回答已采纳
如果卡夫卡消费者在同步模式下消费信息，但是他们依赖的下游服务中断(例如。无法连接到DB)。卡夫卡协调者不断触发群体再平衡，最终所有的消费者都会死吗？
浏览 0提问于2018-11-04得票数 0
回答已采纳
卡夫卡消费者是否一直在检查经纪人(卡夫卡服务器)的健康状况，反之亦然？
不管怎么说，消费者和经纪人都知道对方的健康状况，那么消费者将如何解读分区呢？
假设一个主题有48个分区，主题有两个使用者组，那么有多少线程将使用来自所有分区的数据？
浏览 0提问于2020-08-04得票数 0
回答已采纳
1回答
我们正在寻找一个新的消息传递平台，并缩小了我们的选择范围RabbitMQ或卡夫卡。
现在，我倾向于卡夫卡，但我怀疑这是一个很好的选择，鉴于我们的要求之一。
我们需要一个由未知数量的消费者使用的队列。也就是说，当“工人”在线进行处理时，我们需要动态地添加和删除消费者。此外，工人可以随时下车。
例如，我们可能会启动一个没有消费者的队列，然后消费者的数量可能会增加到30个。后来，它可能会增长到5000或更多，然后下降到3。
我们不关心这个特定用例的消息排序。卡夫卡适合这样吗？
此外，我们还计划维护一个消费者线程池，以便工作人员能够获取一条消息并处理它。因此，可能有100名消费者在池中，只有20名工人
浏览 3提问于2015-10-24得票数 2
回答已采纳
2回答
我正经历着卡夫卡流的奇怪的任务行为。我有三个节点的卡夫卡流集群。我的流非常简单，有一个源主题(24个分区，所有kafka代理都运行在kafka流节点以外的其他机器上)，我们的流图只接收消息，按键对它们进行分组，执行一些筛选，并存储所有用于接收主题的内容。每个节点上都有两个卡夫卡线程。
然而，每当我做滚动更新我的kafka流(通过关闭总是只有一个应用程序，以便其他两个节点正在运行)，我的kafka流以每个“节点”(通常为16-9-0)的不均匀分区数结束。只有在重新启动node01之后，有时node02集群才会恢复到更均匀的状态。
，有人能建议我如何在额外重新启动之前实现更平等的分配吗？
浏览 3提问于2021-10-09得票数 1
卡夫卡出口商公开了"kafka_consumergroup_members“标准，它显示了每个消费者群体中有多少成员。然而，我想知道是否有可能列出每个消费群体的实际成员，类似于如何使用“-group-describe-members”选项与卡夫卡-消费者组。be shell脚本输出指定群体的个人消费者。这是否有可能与卡夫卡出口商或任何其他卡夫卡相关的出口商？
浏览 7提问于2022-06-10得票数 0
如果在整个网络的某个地方有一个Kafka服务器“在那里”，我会假设消费者可能有两种方式可以使用这些消息：
首先，通过“订阅”主题，并实际上告诉Kafka服务器它正在监听的位置，这样当产生新消息时，Kafka就会主动地通过网络将消息发送给消费者。
消费者必须投票卡夫卡服务器，要求任何新的消息，使用偏移的信息，它目前已采取。
这就是卡夫卡的工作方式，是否可以为哪一种选择配置？
浏览 3提问于2016-03-07得票数 5
我对Kafka很陌生，我尝试使用Apache Kafka实现的场景是：
我有三个制片人，他们正在向卡夫卡的某个特定主题发送指令。我有大约35个消费者，他们一次拿起一个指令并执行指令集中提到的任务。一旦完成，它将发布在卡夫卡的另一个主题的更新。
需求。
由1名使用者读取的指令不应给其他用户用于处理
消息优先级*-不是强制性要求
一次只能取一条指令进行处理。
我知道这可以使用JMS来实现。但是我的组织已经准备好了卡夫卡的设置，作为云时代HDFS设置的一部分。因此，使用卡夫卡来实现这一点是最可取的。
我在谷歌上搜索了一下，找出了解决办法。但我没能找到一个正确的答案，我的第一，也是
浏览 3提问于2016-11-21得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
