我有一个关于将数据下沉到Kafka主题中的流作业和另一个消耗kafka主题中的数据的流作业。我的Kafka集群的分区号配置为3。当我将作业的并行度设置为4时，只有3个插槽在忙于生成数据，并且只有3个消费者子任务获得了数据。 考虑到任务槽数量的限制，我想将并行性改为1。在我看来，即使我将并行度设置为1，我仍然将数据下沉到3个分区中，并且可以有3个消费子任务使用数据。 为什么只有一个消费子任务在这里工作？
浏览 230提问于2021-06-16得票数 0
回答已采纳
如何获取集群中所有Kafka主题的列表，以及主题可用的分区号和唯一分区号。最好使用Java代码或cli命令。
浏览 3提问于2019-08-06得票数 0
1回答
在Kafka流中，当使用修改键的函数时，Kafka流就会创建内部重新划分的主题。我想知道新创建的主题的分区数是多少？当新的主题分区号大于1时，来自消费者组的其他消费者也会参与消费该内部主题吗？
浏览 6提问于2022-10-29得票数 0
1回答
我们为40个用户流分配40个线程(BTW，我们使用kafka客户端0.8.2)。
在消费期间，在的前4个小时内，每个分区的滞后保持下降。在最后一个小时上，2/3的使用者流已经完成了事件消耗。只有不到10个使用者流继续接收剩余的事件。对于相关的小于10个分区的滞后范围为2-3百万。这意味着消费者池的使用逐渐回到空闲状态，而等待剩馀的几个使用者完成任务。假设cpu内核、内存空间和网络带宽已经足够，任何确保Kafka用户能够在一段时间内完成总体消费的提示都不会落后(除了扩大分
浏览 3提问于2016-05-04得票数 2
据我所知，在这种类型的流处理器中，它使用State Store维护某种状态。topology.addStateStore(storeBuilder,"processorName")
Ref also: org.apache.kafka.streams.state.Store第二部分:对于statestore，它创建目录，如: 0_0、0_1等。卡夫卡主题( sp
浏览 2提问于2020-05-05得票数 2
回答已采纳
最近，我开始阅读即将到来的项目中的Kafka流，无意中发现了这样的概念:如果我们想要连接两个流，就需要共同分区，我所能理解的就是，如果我们有两个主题A和B都必须有相同的分区数，而对于键'X‘来说，对于两个主题来说，分区号也必须是相同的。问:为什么两个主题(对于'X‘键)的分区号必须是相同的，以及如果两个主题中有相同数目的分区，但是一些分区是空闲的，那么我们可能会遇到什么问题，即消息不是均匀分布在分区之间的。
浏览 0提问于2021-06-04得票数 0
回答已采纳
据我所知，在阅读了Kafka文档之后，不可能只将它用于来自给定主题的一个分区的流数据，而是始终必须将其整体读取。若然，有否计划在未来为空气污染指数提供这样的选择？
浏览 7提问于2017-06-20得票数 7
回答已采纳
1回答
在发布dataframe时，我看到kafka集群中的CPU出现了20到30分钟的大幅增长。分区号是否创建200个连接？ "kafka.security.protocol" -> "SSL",
"
浏览 4提问于2020-07-14得票数 1
回答已采纳
我想从一个Kafka集群上的所有主题采样数据。KStreams看起来很适合，因为它去掉了很多样板。但是，它似乎不适合在每个流中查询多个主题。比方说，如果我有50个主题，具有不同的分区号，那么KStreams是从每个主题分区消费一些消息的好方法吗？或者我应该只写我自己的kafkaconsumer？
浏览 0提问于2018-10-06得票数 0
我有一个使用Kafka的基于Stream的微服务。 log.info("Message Sent: {}", transactionResponse);我的期望是，spring云流将接受键然而，消息被发送到分区号3。
Math.abs("110019882".hashCode()%4) = 2。然而，消息被发送到分区号0。此消息确实会被发送到分
浏览 0提问于2017-07-04得票数 0
回答已采纳
在Samza和Kafka流中，数据流处理是在处理步骤( Samza中称为“作业”，Kafka Streams中称为"processor“)的序列/图(Samza中称为”数据流图“，Kafka Streams但是：
Samza将每个工作人员(即作业)分别复制到多个任务(输入流中的每个分区一个)。也就是说，任务是工作流工作人员的副本。Kafka流将整个工作流(即
浏览 2提问于2016-12-09得票数 27
我想要聚合来自kafka的记录流。我知道在JAVA中有kafka流的实现，但我不熟悉JAVA，我想知道在python中有没有执行这样的任务的选择，与kafka流相比，它有多好？
浏览 22提问于2020-03-19得票数 0
现在，Stream-1-task开始进行一些处理和转换，并且需要超过10分钟。有没有可能，Kafka框架会触发重新平衡，从系统中取出流-任务-1，并将P1分配给流-任务-2？
浏览 33提问于2020-10-07得票数 0
在我的Kafka Streams应用程序中，我有一个任务可以设置一个预定的(按墙时间)标点符号。标点符号遍历存储的条目并对其执行某些操作。我已经阅读了Kafka Streams: Punctuate vs Process和那里的答案。我可以理解，一般来说，任务并不绑定到特定的分区。但是迭代器应该绑定到IMO。 怎样才能找到分区？我需要它的原因:我想在一些日志消息中包含分区号。现在，我有几条几乎相同的日志消息，说明标点符号做这做那。为了使这些消息“唯一”，我想在其中包含分区号。
浏览 15提问于2021-02-04得票数 1
假设我有一个有许多分区的主题。我在里面写K/V数据，并希望在中按键将所述数据聚合到Windows中。如何确保结果聚合包括每个键的所有值？我不希望每个worker实例都有一些值的子集。
浏览 3提问于2016-08-31得票数 5
回答已采纳
1回答
我使用Kafka来处理消息。消息可以分成几个部分(它是一个复合消息)。例如，在流中，我可以有一个被分成三个部分的复合消息。换句话说，它将是Kafka流中的三个记录，但这是一个大消息。例如，如果我在流中有一条消息的三个部分(三个Kafka记录)-每个部分都有字段total number of part，值为3。我的理解是，任务在积极的场景中很简单:在表中聚合部件，从表中创建流，并过滤具有等于聚合部件大小和部件总数的记录，映射在一个合并的消息中过滤并将其插
浏览 5提问于2018-08-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
