我有一个应用程序，它从一个主题多分区读取kstream，而从另一个主题多分区读取ktable。因此Kstream和Ktable都将引用两个不同主题中相同分区或两个不同主题中的任何分区
浏览 13提问于2021-10-26得票数 0
2回答
我有3个不同的主题，在模式注册表中有3个Avro文件，我想将这些主题流到一起，并将它们写入到一个主题中。问题是，我想加入的键与我将数据写入每个主题的键不同。报警 "type" : "record", "namespace" : "com.kafkastream.schema.avro", "name" : "alarm_id"
浏览 0提问于2017-01-23得票数 2
回答已采纳
T1 i.tabval中没有键的部分
现在，如果我尝试使用T1键( keyval|someval )，我只会在使T1成为GlobalKtable并消费时，才能得到该键的最新写入，我想即使我只是将它用作KTable但是我需要来自T1的所有与主题S中的keyval|someval组合相匹配的记录，而不仅仅是最后一次更新。我是否应该将T1作为表使用，然后使用到流，然后基于window()进行rekey和合并？
浏览 5提问于2022-07-29得票数 0
1回答
在我目前的项目中，我们创建了一个使用Kafka、Kafka Connect、Elasticsearch的数据管道。数据最终出现在主题“信号-主题”上，并且不在表单上。现在，我试图引入Kafka流，以便能够对从Kafka到Elasticsearch的数据进行一些处理。这样做的“
浏览 5提问于2017-11-10得票数 0
回答已采纳
mergedKey有相同密钥的100+列表，而DataStream只有1个列表与mergedKey具有相同的密钥。我希望将来自mergedKey的endStream值与DataStream合并。//get DataStream // Transform merged to Eq
浏览 15提问于2018-08-25得票数 0
我们正在尝试实现下面描述的用例，我们有我们希望克服的实现问题，我们正在尝试通过匹配两个流的消息中存在的关键字(JSON)来在两个Kafka主题之间进行KStream连接。我们想把不匹配的记录放回KStream，但在这种情况下，不能保证顺序。
问题1:如何在其他主题中停止或保持join，直到预期的键到达。例如，KTable有密钥100，但KStream还没有收到密钥100，那么我们应该重试Join或按住KStream，直到密钥100到达。问题2:有没有办法在KStream
浏览 2提问于2019-05-08得票数 2
乍一看，在我看来，使用KStream#reduceByKey可以实现与KStream to KTable leftJoin相同的功能。也就是用相同的键组合记录。我有什么区别，两者之间，也在性能方面？
浏览 0提问于2016-09-11得票数 2
回答已采纳
我有一个kafka streams拓扑，它从输入主题读取，更新一些状态，并确定状态条目是否需要保留在状态存储中，或者可以删除。如果它可以被删除，它将被删除，否则我有一个标点符号，它每10秒运行一次，并使状态存储中的项过期。我可以使用哪些模式在单独的线程池中执行标点符号内部的逻辑，以避免阻塞流处理？
浏览 10提问于2020-02-08得票数 2
1回答
我想，如果我想要在表上加入，我需要已经创建了Ktable或Kstream，这给出了要在其上执行连接的结构。但是，如果Kafka连接只是创建主题，而不是Ktable或Kstream，那么似乎需要执行额外的步骤，使这些主题自动可用，如Ktable或Kstream。因此，问题是，是否有一种方式从卡夫卡连接，以创建Kstream或Ktable自动？
卡夫卡作为模式的概念与Kstre
浏览 2提问于2019-07-06得票数 0
回答已采纳
1回答
首先，我有三个连接器，但我不能使用我自己的键。我需要钥匙才能加入他们对吧？如何使用2个或2个以上的密钥加入？. * from users a内部连接deps b on a.dep = b.dep和a.group = b.group )a内部连接user_afy on a.id = b.id 我希望将数据保存在一个主题中的内部联接中Consumed.with(Serdes.String(), jsonSerde); f
浏览 7提问于2020-01-15得票数 3
我想做一个KStream到KTable连接。使用KTable作为一个查找表。下面的步骤显示了执行代码的顺序假设KStream中有8000条记录，KTable中有14条记录，并且假设KStreams中的每个键都
浏览 5提问于2020-03-08得票数 0
回答已采纳
我有一个卡夫卡流应用程序，它接收来自主题-1作为KStream和主题-2作为KTable的数据。这两个主题都有4个分区。假设我有4个应用程序实例正在运行，那么每个实例将从主题-1的单个分区接收数据。主题-2作为KTable接收如何？在这种情况下，所有实例都将从所有4个分区接收数据吗？如果这两个主题都是相同的，那么我猜Kafka流将确保为应用程序分配相同的分区。
浏览 0提问于2018-04-27得票数 5
回答已采纳
对于两个不同的KTable，我使用了两个不同的保留时间，它适用于RocksDB状态和。final KStream<Integer, String> eventSt
浏览 1提问于2019-06-20得票数 0
回答已采纳
我在我的应用程序中实现了一个KTable和一个KStream连接，并在以下情况下期望输出消息；我已经观察到我的应用程序可以像预期的那样执行1和2，而不是3。
浏览 3提问于2021-02-10得票数 0
假设我将A-Event KStream聚合为A-Snapshot KTable，将B-Event KStream聚合为B-Snapshot KTable。此时，我们可以假设我们有一个持久化的kafka主题和一个rocksDB本地存储库，用于A-KTable和B-KTable聚合。然后，我的拓扑将与A-KTable一起使用B-KTable来生成一个连接的AB-KStream。假设A-Event主题和B-Event主题保
浏览 1提问于2019-05-21得票数 0
回答已采纳
一个是KStream，另一个是KTable。左联接抱怨处理器的状态存储不存在。我确实看过许多卡夫卡GitHub和其他地方的代码示例，在这些地方，KStream客户端代码没有显式地创建StateStore。请告知下面的代码中缺少了什么。应用程序流将与user表连接，以便与app和user一起发出记录。应用程序的所有者是用户。StreamsConfig.STATE_DIR_CONFIG, "/tmp/kafka-streams");
//
浏览 0提问于2018-07-28得票数 1
回答已采纳
meta = "BRAND", BRANDNAME="ABC", BRANDID=16, PRODUCTID=57, BRANDCATEGORY = "Electronics"})(key,{meta = "JOINEDTABLE",PRODUCTNAME=ON
浏览 2提问于2017-08-30得票数 2
回答已采纳
2回答
, @Input KStream<Long, Child2> child2Stream) {KTable<Long, Parent> parentTable = convertParent(parentStream);
KTable<Long, ArrayList<Child1>> child1Table连接起来，并在输出流上返回它。我认
浏览 0提问于2018-04-27得票数 1
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号