很少有kafka分区没有分配给任何flink使用者
很少有kafka分区没有分配给任何flink使用者
提问于 2020-09-08 02:37:22
我有一个kafka主题，有15个分区0-14，我正在运行5个并行的flink。因此，理想情况下，每个并行flink使用者应该分别使用3个分区。但是，即使在多次重启之后，很少有kafka分区不是由任何flink工作者订阅的。
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-13, topic_name-8, topic_name-9
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-11, topic_name-12, topic_name-13
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-14, topic_name-0, topic_name-10
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-5, topic_name-6, topic_name-10
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-2, topic_name-3, topic_name-7从上面的日志中可以看出，分区10和13已经被2个消费者订阅，而分区1和4根本没有被订阅。
注意:如果我以1个并行度开始该作业，则该作业工作得非常好。
Flink版本: 1.3.3
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-09-08 04:35:21
这听起来像https://issues.apache.org/jira/browse/FLINK-7143。
仔细阅读Jira ticket和pull request (https://github.com/apache/flink/pull/4301)中的详细信息，似乎如果您使用的是Flink 1.3.x，则只有重新启动才能从此错误修复中受益。从保存点重新启动不足以从修复中受益。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63782684
复制相关文章
相似问题
腾讯云开发者
