如何使用Spring提供的Kafka apis在一个消费组中创建多个消费者

文章/答案/技术大牛

发布

2回答

为一个kafka主题创建多个消费者

java、apache-kafka

我有一个spring boot应用程序。我希望实现一个从Kafka主题消费的函数，对于每个消费的消息，它调用另一个方法对消息进行一些处理，然后将其存储在数据库中。源kafka主题有12个分区。我想在同一个消费群体下创建6到12个kafka消费者。所有的消费者都将消费来自<em

浏览 1提问于2020-02-19得票数 1

1回答

Kafka:消费者添加多条记录

java、apache-kafka、kafka-consumer-api

我有三个消费者，它们都有多个实例，都在使用相同的主题。我希望每个消费者都使用该主题一次。为此，我创建了一个消费者组。据我所知，Kafka应该足够聪明，可以选择服务的一个实例来消费主题，但这并没有发生，所有使用者的所有实例都在消费主题我认为这可能与三个消费者都具有相同

浏览 3提问于2018-04-09得票数 0

3回答

java、apache-kafka、spring-kafka

我试图在一个消费者组中创建多个消费者，以便进行并行处理，因为我们有大量的消息流入。我使用的是spring boot和KafkTemplate。如何在spring boot应用程序的单个实例中创建属于单个消费者组的多个<em

浏览 121提问于2020-07-01得票数 2

回答已采纳

1回答

Kafka多消费者监听多个主题

java、spring、apache-kafka、kafka-consumer-api、spring-kafka

我们正在开发一个应用程序，在该应用程序中，我们希望在Kafka中收听多个主题。所有主题都有一个单独的分区。所有的主题名称都有一个共同的前缀，比如“topicPattern -x”，"test-y“，所以我们可以使用spring。我们想要编写一个使用regexp模式监听所有主题的java spr

浏览 2提问于2018-03-22得票数 0

1回答

如何在kafka中创建新的消费群体

apache-kafka、kafka-consumer-api

然后，我在config/consumer.properties中定义了我的使用者组配置，以便我的使用者可以从定义的group.id中挑选消息bin/kafka-consumer-groups.shvia kafka-console-consumer.sh 我能够通过一个基于python的消费者连接到k

浏览 1提问于2020-05-13得票数 5

回答已采纳

1回答

如何获取kafka消费组的config属性详细信息

apache-kafka、kafka-consumer-api、logstash-forwarder

我是kafka的新手，我正面临着一个消费者组的问题我有一个logstash消费者组，它是很久以前创建的，当我创建一个新的Kafka主题以solr*开始*它会自动添加到kafta消费者组"logstash“如果我创建任何其他名称的主题，它没有添加到该

浏览 3提问于2020-07-08得票数 1

1回答

春天卡夫卡-试图了解事情如何在幕后运作。

java、spring、spring-kafka

ConcurrentKafkaListenerContainerFactory<>(); return factory;我创建了一个消费工厂和一个我有一个带有@KafkaListener注释的方法public void listen(String message) {

浏览 5提问于2018-01-14得票数 3

回答已采纳

1回答

自动偏移复位=最新不工作的春季-卡夫卡

apache-kafka、spring-kafka

我有一个用例，我希望使用者总是从最近的偏移开始。我不需要为这个消费者提供补偿。这是不可能实现的spring，因为一个新的消费者组总是提交新分配的分区。然后，在程序的后续启动时，使用者从存储的偏移量中读取，而不是从最新的偏移量中读取。换句话说，只有从新

浏览 1提问于2017-08-19得票数 4

回答已采纳

1回答

用于分区的Spring* kafkaListener使用者GroupID*

apache-kafka、spring-kafka

目前，我们为一个给定的主题创建了多个kafka消费者，该主题中的所有消息都由同一消费者组中的所有消费者共同处理。我们现在要加强这方面的工作。我们不需要创建多个从同一个主题读取的kaka消费者/侦听器，而是希望同一个使用者组<em

浏览 5提问于2022-04-18得票数 0

回答已采纳

1回答

Spring Kafka消费者线程池

spring、spring-boot、spring-kafka

我使用的是Spring Kafka Consumer。我已经将并发设置为10，并创建了5个消费者(针对5个主题)。所以有50个Spring Kafka消费者线程。我可以为Kafka消费者提供的最大线程数是多少？如何增加这个线程池的大小？我已经看过了spring文档，但没有发现任何相关内容。

浏览 84提问于2021-08-17得票数 1

回答已采纳

1回答

@KafkaListener并发多个主题

apache-kafka、spring-kafka

我想要创建一个并发的@KafkaListener，它可以处理多个主题，每个主题都有不同数量的分区。我注意到Spring只为这个主题初始化了一个每个分区的使用者，而且大多数分区都是这样。我得到了一个@KafkaListener，它可以收听以下主题。主题A有最多的分区- 5，所以Spring初始化了5个消费者。我期望Spring初始化8个消

浏览 3提问于2018-08-29得票数 6

回答已采纳

1回答

当两个不同端口的应用程序通过两个不同的端口监听同一个kafka主题时，如何避免重复消息？

spring、maven、apache-kafka、apache-camel、apache-karaf

我的spring boot应用程序正在使用来自kafka主题的(apache camel)消息。相同的应用程序(运行在eclipse上的8080和运行在intellij上的9090)在同一台机器上的两个不同端口(8080和9090 )上运行，因此两个端口的应用程序监听相同的主题。我如何才能将消息发送到特定的端口使用者？例如，如

浏览 56提问于2020-12-05得票数 0

2回答

为多个主题创建多个使用者组

apache-kafka

在我的例子中，我需要多个主题，每个主题都与多个消费者链接。我想为每个主题设置一个消费者组。我没有在kafka .net客户机中找到任何方法，因此我可以动态创建使用者组，并将主题与该使用者组链接起来。我正在使用kafka 0.9.0版本，请告诉我是否需要更改为kafka

浏览 4提问于2016-06-21得票数 0

1回答

默认情况下，多个Kafka消费者可以从同一个topic的同一分区中读取数据吗？

apache-kafka

默认情况下，多个Kafka消费者可以从同一个topic的同一分区中读取数据吗？默认情况下，我的意思是因为group.id不是强制性的，所以我想知道如果我在没有指定任何group.id的情况下产生多个kafka使用者，并为它们提供相同的主题和分区名称，它们是否能够从相同的分区中读取我知道，如果我

浏览 4提问于2017-03-31得票数 1

4回答

Kafka :使用公共消费者组访问多个主题

apache-kafka、apache-kafka-connect

我们的集群运行Kafka 0.11，并且对使用消费者组有严格的限制。我们不能使用任意的使用者组，所以Admin必须创建所需的使用者组。我们运行Kafka Connect HDFS Sinks从主题中读取数据并写入HDFS。所有主题只有一个分区。在Kafka HDFS Sin

浏览 0提问于2019-09-02得票数 28

回答已采纳

1回答

使用组ID的Spark Streaming Direct Stream方法

spark-streaming、kafka-consumer-api

我在最新的文档页面中阅读了Spark Streaming kafka集成指南，它是基于Kafka 010版本的。我可以看到其中一个卡夫卡参数是"group.id" -> "example" 我认为当我们使用DirectStream方法时，我们不需要将group.id作为一个参数传递。我对这个文档感到困惑。group.id和Spark Streaming Direct Stream的

浏览 0提问于2016-10-13得票数 1

1回答

Spring kafka多消费者结果组合

spring、apache-kafka、kafka-consumer-api

有n个分区和一个包含n个消费者的消费者组。Kafka系统将消息分发到消费者之间。我如何将所有消费者的消息组合在一个地方，以便我有10条消息。我使用的是Kafka和Spring。

浏览 10提问于2019-02-10得票数 0

2回答

Spring批处理Kafka消费者作业:跨多个JVM进程的消息组

java、apache-kafka、spring-batch、consumer

我有一个简单的，它从Kafka主题读取数据并将数据写入文件。这种方法的直接问题是，5个进程将写入同一个文件。我通过在文件名中附加一个唯一的进程id来解决这个问题。当我最终启

浏览 3提问于2020-09-19得票数 0

1回答

Flink，在使用多个Kafka源时，如何正确设置并行性？

apache-flink、flink-streaming

我仍然不能清楚地理解并行性，比方说，我们有一个flink集群，它有足够的插槽。在我们的flink工作中，我们从3个不同的kafka集群中使用3个kafka主题，每个主题有10个分区。如果我们想尽快使用该消息。并行性应该是什么？如果我们将并行性设置为10，那么就会使用10个槽，这意味着，根据我的理解，10个线程对吗？如果我们将并行性设置为30，那么就有30个线程，但这30个线程是否

浏览 0提问于2019-03-13得票数 12

回答已采纳

1回答

Apache Camel - Kafka组件-单生产者多消费者

java、apache-kafka、apache-camel、kafka-consumer-api、kafka-producer-api

我正在创建两个apache camel (blueprint XML) kafka项目，一个是kafka-producer，它接受请求并将其存储在kafka服务器中，另一个是kafka-consumer，它从kafka服务器获取消息并处理它们。这种设置对于单一主题和单一使用者来说工作得很好。但是，如何在同一个kafka topic中</e

浏览 28提问于2020-05-03得票数 1

点击加载更多

为一个kafka主题创建多个消费者

Kafka:消费者添加多条记录