2回答
我想知道是否有可能读取和处理多个消息由Kafka消费者(Java客户端)并行..I意味着使用多线程...我应该使用rxJava吗?？3)并希望使Java客户端作为守护服务运行在Linux中，这样它就可以连续运行，轮询Kafka的消息，读取和处理相同的..is这是一个很好的方法。
浏览 0提问于2016-02-24得票数 0
从理论上讲，既然nodejs是单线程的，那么当我定义多个使用者以提高吞吐量时，如何才能实现并行呢？例如，如果我有一个有4分区的卡夫卡主题，那么当与nodejs一起使用时，我如何能够并行地使用4条消息。最多我可以使用单线程事件循环来实现并发。一种可能的解决方案是分叉子进程(在本例中为3)，以便每个进程能够接收来自特定分区的消息，假设系统有3个空闲内核。但是，这种方法的效率/效力如何？
实现这一目标的最佳途径是什么？
浏览 2提问于2020-05-18得票数 2
我已经创建了一个多线程Kafka使用者，其中为每个分区分配了一个线程(我总共有100个分区)。我已经关注了https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example链接。 下面是我的消费者的init方法。Kafka流的列表(总共100个)(正如预期的那样)。100个分区并行开始处理<
浏览 24提问于2019-03-01得票数 0
2回答
我有一些基本的Kafka流代码，可以从一个主题读取记录，进行一些处理，并将记录输出到另一个主题。如果它是单线程的，我希望选择多线程处理来处理大量数据。
如果它是多线程的，我需要了解它是如何工作的，以及如何处理资源，比如SQL数据库连接应该在不同的处理线程中共享。相对于其他选
浏览 1提问于2016-10-12得票数 27
回答已采纳
1回答
卡夫卡在多线程情况下的订货保证
、、、、
据我所知，卡夫卡生产者和消费者都必须在每个主题上使用一个线程-分区，如果我们想要按顺序写入/读取记录。我说得对吗?或者他们在这种情况下使用多线程？
浏览 11提问于2022-03-18得票数 0
回答已采纳
我正在尝试设计一个使用Kafka的处理代理来并行处理来自Kafka主题的消息。
如果一条消息被发布到某个主题，它是只存在于主题中的所有分区之间，还是在可能的多个分区上复制？我读过可以支持这两种可能性的声明。“偏移”是每个分区还是每个消费者/
浏览 7提问于2017-05-17得票数 0
背景时不时地，我们的Flink不能处理突发信息。如果我们使用常规的Kafka用户，那么就像添加一个用户一样简单(假设我们有足够的Kafka分区)，并且Kafka将在所有用户之间重新分配主题分区。Flink Kafka消费者自己管理分区分配和偏移量，这允许只有一次
浏览 27提问于2019-11-14得票数 1
我的主题只有一个分区，但我需要实现多进程。我有大量异步生成的消息，我希望异步读取所有这些消息并提交每条消息。
浏览 2提问于2018-10-03得票数 4
我仍然不能清楚地理解并行性，比方说，我们有一个flink集群，它有足够的插槽。在我们的flink工作中，我们从3个不同的kafka集群中使用3个kafka主题，每个主题有10个分区。并行性应该是什么？
如果我们将并行性设置为10，那么就会使用10个槽，这意味着，根据我的理解，10个线程对吗？如果这10个线程“连接”到topic_1，那么就没有线程读取topic_2和topic_3。如果我们将并行性设置为30，那么就有30个线程，但这30个线程是否足够聪
浏览 0提问于2019-03-13得票数 12
回答已采纳
2回答
该主题只有一个分区，partition 0，我认为它是默认分区。 我已经尝试将组id和线程添加到KafkaListener。这似乎有时起作用，有时则不起作用。
浏览 18提问于2020-08-24得票数 1
回答已采纳
我有一个有多个主题的Kafka集群，我将为每个主题设置一个分区，所有这些主题将由一个运行3个Kafka消费者线程的EC2实例消耗(每个线程一个消费者)，属于同一个消费者组。我还没有尝试过，但我想知道Kafka是否可以平衡所有主题的分区，使其平均由3个线程消耗？或者Kafka会将所有分区都分配给一个线程使用？
浏览 1提问于2019-01-16得票数 1
我有一个简单的，它从Kafka主题读取数据并将数据写入文件。但是，我可以看到，每个使用者作业进程(JVM)最终都会读取所有消息。output_from_consumer_
浏览 3提问于2020-09-19得票数 0
Q1 -在Spark中，每个Kafka分区将成为spark中的一个分区，然后它们将由单个任务并行处理。我想我在某处读到过Hazelcast Jet将合并来自kafka的所有消息，而不考虑group.id和主题分区，对吗？Q2 -我们如何在Jet程序中增加“消费者”的数量，以增加来自kafka的吞吐量消耗？在Spark中，我想我们只需要增加主题分区的数量，以便为新分区分配新的spar
浏览 0提问于2018-01-23得票数 2
2回答
我没有任何分区。我很困惑，究竟是为所有22个主题设立一个单一的消费者团体，还是有22个消费者团体？我对以下几点感到困惑：
如果我让one使用者组在单机()上运行one使用者，使用者是使用单个线程处理所有主题，还是每个主题都有单独的线程？如果是单个线程，则该线程可能会被重载。如果有多个线程，我将能够实现并行(利用所有的核心)，而不旋转另一台机器。如果我让one使用者组收听在多台机器
浏览 4提问于2020-01-16得票数 0
回答已采纳
1回答
我们至少有20+卡夫卡主题，将数据生成为雅夫罗格式的个别卡夫卡主题，每个主题被划分在3到4个分区之间。我正在使用SparkReadStream阅读所有20+主题(逗号分隔的主题值)。有几个问题我找不到答案
对于所有的主题，我可以使用一个ReadStream吗？因为我在EMR中只执行一个“火花提交作业”，它会被认为是所有主题和分区的一个星火用户吗？spark应用程序是如何在分区之间分发处理的？spark是否使用不同的执行器并行读取这些主题/
浏览 2提问于2017-12-18得票数 4
根据Apache Kafka文档，消息的顺序可以在分区内实现，也可以在主题中的一个分区内实现。在这种情况下，我们得到的并行性好处是什么，它等同于传统的MQs，不是吗？
浏览 11提问于2015-04-23得票数 62
2回答
问题是:每个主题中有多少分区？这是否真的取决于促进并行性的消费者的数量？还是只是在文件server.config中设置了一个参数？在后一种情况下，是否有一种方法可以在内部有不同数目的分区的不同主题？
浏览 1提问于2018-03-01得票数 5
回答已采纳
我是卡夫卡的新手，我通过了，但我什么都不懂。有人能解释一下什么时候使用ConcurrentKafkaListenerContainerFactory类吗？我已经使用了Kafkaconsumer类，但是我发现在我当前的项目中正在使用ConcurrentKafkaListenerContainerFactory。请解释一下它的用途。
浏览 2提问于2019-03-06得票数 11
回答已采纳
1回答
kafka生产者读取每个CSV记录，并发送到具有2个分区和每个分区中的2个消费者的kafka主题。每个CSV文件可以有100 - 100,000条记录。每个消费者阅读同一主题，平均30秒可处理1000条记录。
因此，4个消费者可以在( 100,000 /4)*30/1000/60 = 12.5分钟内处理一个100,000条记录的文件。问题是，当一个文件正在处理时，第二个文件必须等待12.
浏览 22提问于2020-11-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
