我在尝试加入两个流的时候遇到了问题。mergedKey有相同密钥的100+列表，而DataStream只有1个列表与mergedKey具有相同的密钥。我希望将来自mergedKey的endStream值与DataStream合并。//get DataStream
final KStream<String, GenericRecord> DataStream = builder.stream("Datastreams，在Endst
浏览 15提问于2018-08-25得票数 0
0回答
我目前正在尝试使用KStream to KTable join来丰富Kafka主题。对于我的概念证明，我目前有一个包含大约600,000条记录的Kafka Stream，所有记录都具有相同的键，以及一个从具有1条记录的键、值对的主题创建的KTable，其中KTable主题中的键与创建KStream<String, String> source = bu
浏览 2提问于2018-07-20得票数 0
回答已采纳
我们正在尝试实现下面描述的用例，我们有我们希望克服的实现问题，我们正在尝试通过匹配两个流的消息中存在的关键字(JSON)来在两个Kafka主题之间进行KStream连接。此外，我们应该维护消息序列，因为它是从源文件到达KStream的。
场景是，如果匹配的键还没有到达任何一个流，我们应该停止或重试join，直到预期的键到达其他主题。例如，KTable有密钥100，但KStream<
浏览 2提问于2019-05-08得票数 2
如果我有一个主题模式(即Kstream)： "type": "record", "namespace": "test1", "default": null ],}
其他主题<e
浏览 2提问于2022-07-06得票数 0
如果它可以被删除，它将被删除，否则我有一个标点符号，它每10秒运行一次，并使状态存储中的项过期。感谢你的帮助。
浏览 10提问于2020-02-08得票数 2
乍一看，在我看来，使用KStream#reduceByKey可以实现与KStream to KTable leftJoin相同的功能。也就是用相同的键组合记录。我有什么区别，两者之间，也在性能方面？
浏览 0提问于2016-09-11得票数 2
回答已采纳
我使用物化的KTable与我的KStream进行左连接(而流是左侧的)。我是否可以让它延迟启动，这样它就会等待初始的主题加载？
浏览 0提问于2019-06-12得票数 11
回答已采纳
我有一个混合匹配的DSL-PAPI拓扑。DSL部件将页面视图(“页面视图”主题)与这些页面视图的用户(“用户”主题)连接起来。我希望两者都加入，因此，如果用户是新的，然后创建一个新的“用户”从pvs信息到“用户”主题，并没有做任何其他事情。所以我试图在页面视图和用户之间做一个左连接，如果用户为空，这意味着还没有用这个键创建用户，所以我创建了一个。在代码中，我将页面视图作为流，用户作为表，当用户在联接中出现空值时，将它们连接</
浏览 1提问于2018-06-13得票数 0
回答已采纳
2回答
我有3个不同的主题，在模式注册表中有3个Avro文件，我想将这些主题流到一起，并将它们写入到一个主题中。问题是，我想加入的键与我将数据写入每个主题的键不同。现在，我想加入这三个主题，并获得一个新的记录，并将它写入一个新的主题。问题是，我想加入、告警、和事件，基于alarm_id和，并加入基于ne_id的告警和维护。我想避免创建一个新的主题和重新分配一个新的键。在我加入的时候，我是否指定了密钥？
浏览 0提问于2017-01-23得票数 2
回答已采纳
如何使用另一个具有不同键的主题加入流？
下面所有表/流的所有主题都是由DB表使用Kafka connect获取的。我的应用程序是一个，它使用Kafka作为一个组中的单个用户编写，这样我就可以使用每个主题的所有分区。)，我只会在使T1成为GlobalKtable并消费时，才能得到该键的最新写入，我想即使我只是将它用作KTable，也会发生这种情况。但是我需要来自T1的所有与主题S中的keyval|someva
浏览 5提问于2022-07-29得票数 0
我想做一个KStream到KTable连接。使用KTable作为一个查找表。>
假设KStream中有8000条记录，KTable中有14条记录，并且假设KStreams中的每个键都有一个KTable记录。在构建KTable之前( starts + Rekey)，构建KStreams并从KStream侧为join提供数据，然后连接从out KTable开始，
浏览 5提问于2020-03-08得票数 0
回答已采纳
1回答
Topic1是针对用户的事件，topic2是针对该用户的配置。作为第一步，我将通过键匹配它们，以便从topic2中过滤出不属于该用户的配置，但随后我仍然会有多个匹配。我需要向topic2添加更多的过滤器才能找到完全匹配的内容，但是我不知道在通过键连接之后是否可以这样做。但我仍然想知道，一旦过滤和连接完成后，我如何处理这些数据？如果我最终得到一个包含多个条目的ktable (1个重复键对应于N个值)。我如何在我
浏览 11提问于2021-09-10得票数 0
我有以下的主题卡夫卡(10分区，每个)，并希望加入他们，在下面的例子中给出？有人能告诉我怎么做吗？当有大量订单时，这会导致大量的性能问题。我经历了诸如KTable/GlobalKTable之类的东西，但不确定它是如何在内部运行的。
KTable/GlobalKTable会加载堆内存中的所有数据吗？有谁能告诉我这个场景是如何实现的吗？
浏览 2提问于2021-03-08得票数 1
回答已采纳
1回答
假设我有两种类型的日志，它们有一个公共字段“uid”，如果包含uid的这两个日志的日志到达，就像一个join一样，我想输出日志，那么Kafka可以吗？
浏览 1提问于2018-01-25得票数 1
回答已采纳
在Kafka Stream库中，我想知道KTable和GlobalKTable的区别。
同样在KStream类中，有两个方法leftJoin()和outerJoin()。这两种方法又有什么区别呢？我读了，但没能找到确切的区别。
浏览 29提问于2017-08-31得票数 13
回答已采纳
假设我将A-Event KStream聚合为A-Snapshot KTable，将B-Event KStream聚合为B-Snapshot KTable。A-Snapshot和B-Snapshot都不传递空值(删除事件被聚合为快照的状态属性)。此时，我们可以假设我们有一个持久化的kafka主题和一个rocksDB本地存储库，用于A-KTable和B-KTable聚合。然后，我的拓扑将与A-KTable</em
浏览 1提问于2019-05-21得票数 0
回答已采纳
我有一个卡夫卡流应用程序，它接收来自主题-1作为KStream和主题-2作为KTable的数据。这两个主题都有4个分区。假设我有4个应用程序实例正在运行，那么每个实例将从主题-1的单个分区接收数据。主题-2作为KTable接收如何？在这种情况下，所有实例都将从所有4个分区接收数据吗？如果这两个主题都是相同的，那么我猜Kafka流将确保为应用程序分配相同的分区。如果Top-2没有任何键，而是应用程序将从值本身推断出这一点，那么这意味着所有实例都需要从To
浏览 0提问于2018-04-27得票数 5
回答已采纳
如标题所示，代码如下所示： KStream<String, City> citesStream =citiesExcludeProvince" KTableConsumed.with(Serdes.String(), SerdesFactory.serdesFr
浏览 1提问于2018-01-31得票数 1
我试图更好地理解在创建KStream和KTable时在资源级别上发生了什么。下面，我将提到一些我已经得出的结论，因为我理解它们(请随时纠正我)。首先，每个主题都有许多分区，这些分区中的所有消息都按连续顺序存储在硬盘中。
KStream不需要将从主题读取的消息再次存储到另一个位置，因为偏移量足以从连接到的主题中检索这些消息。(是这样吗？)这个问题涉及到KTable。正如我所理解的，<
浏览 3提问于2020-01-08得票数 0
回答已采纳
参见下面的更新以显示潜在的解决办法在启动应用程序之前，我们用多个分区配置测试了这个理论。使用一个分区，我们可以看到100%的消息。因为我们要加入，所以从主题1中消耗的</em
浏览 0提问于2020-07-13得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
