在Kafka Streams应用程序中，是否有一种方法可以使用输出主题的通配符列表来定义拓扑？
在Kafka Streams应用程序中，可以通过使用输出主题的通配符列表来定义拓扑。通配符列表允许应用程序将输出发送到多个主题，而不必显式地为每个主题编写单独的代码。
使用通配符列表的优势是可以提高代码的可维护性和扩展性。如果需要将输出发送到新的主题，只需将该主题添加到通配符列表中，而无需修改现有代码。这样可以简化应用程序的开发和维护过程。
通配符列表还可以用于应对动态的主题创建和删除情况。当动态创建新的主题时，应用程序可以自动将输出发送到新创建的主题，无需人工干预。
使用通配符列表定义拓扑时，可以使用Kafka Streams的to方法，并使用通配符模式作为参数。例如，可以使用to("output-topic-*")将输出发送到所有以output-topic-开头的主题。
在腾讯云中，可以使用腾讯云消息队列 CMQ 作为 Kafka 的扩展组件，实现通配符列表功能。CMQ 提供了类似 Kafka 的主题订阅和发布功能，可以通过创建订阅规则来定义通配符列表，并将消息发送到相应的主题。
更多关于腾讯云消息队列 CMQ 的信息和使用方法，请参考腾讯云官方文档：腾讯云消息队列 CMQ
相关·内容
我有一个多模式Kafka Streams应用程序，它通过连接到KTable来丰富记录，然后传递丰富的记录。 输入主题命名格式目前定义良好，但我将其更改为通配符。我想确定每条记录的输入主题，通过正则表达式替换派生输出主题，然后发送它。 例如，在听event.raw.*的时候，event.raw.foo上传来了一张唱片，我想把它传到
浏览 9提问于2019-06-24得票数 0
1回答
使用Kafka流DSL 创建Kafka流时例如:当我们开始的时候，我们定义了一个拓扑来读取一个主题(来源)和一个目标主题(Sink)。但是，在进行配置更改时，我们现在需要从两个不同的主题(如果需要的话是两个源)进行读取，并将其写入单个目标主题。
从
浏览 0提问于2019-06-18得票数 1
回答已采纳
，其中“输出”主题是另一个拓扑的“输入”主题。我可以在同一拓扑中定义几个输入和输出主题。但是，只要在同一拓扑中使用相同的主题作为输入和输出主题，就会得到以下异常：
org.apache.kafka.streams.errors.Topolo
浏览 3提问于2020-05-03得票数 0
这是我在这里发表的第一篇文章，我不确定以前是否在这里讨论过这个问题，但这里是这样的:我有一个使用处理器API的Kafka Streams应用程序，遵循以下拓扑结构： 1.Produce its process status to an output topic (processor.addSink()) 然而，为了可追溯性的目的，我需要在日志中记录kstreams向输出</
浏览 47提问于2020-04-30得票数 1
回答已采纳
我在Kafka Streams上的所有应用程序都使用schema-registry。我们的一个流进行聚合，我想对聚合对象使用schema-registry，如下所示： stream.groupByKey()
.windowedBy(TimeWindows.of(Duration.of(.aggregate(initAggreggatedObj(), aggregateData(), Materialized.with(Serdes.String(),
浏览 17提问于2021-06-30得票数 0
回答已采纳
我是kafka流处理器的新手，偶然发现了“拓扑”的关键概念。我创建了一个源代码处理器，它从一个" source -topic“中读取数据，如下所示： Topology topology = new Topology();
topology.addSource("SOURCE", "source-topic"); 上面的代码片段将创建(如果我的理解正确的话)一个名为" source“的源流处理器，并将侦听
浏览 32提问于2019-03-19得票数 1
回答已采纳
用例是:我有一个kafka streams应用程序，使用者可以从输入主题输出到中间主题，然后在相同的流中使用这个中间主题的另一个拓扑。
每当更新应用程序id时，这两个主题从最早就开始成为使用者。我希望将中间主题的auto.offset.re
浏览 0提问于2018-11-09得票数 2
回答已采纳
我是阿帕奇卡夫卡和春靴的新人。我正在尝试创建一个Spring侦听器，它只在接收到两个特定消息(通过Apache发送)(用于确定的资源)时才生成一个新事件。显而易见的解决方案是使用数据库在第一个事件发生时更改资源的状态，并在第二个事件出现时执行代码(如果客户处于数据库中的正确状态)。在这种情况下，我担心如果两件事同时发生。是否有一种方法可以
浏览 4提问于2020-01-13得票数 0
回答已采纳
我正在开发一个Kafka流应用程序，它将读取来自输入Kafka主题的消息，并过滤不必要的数据并将其推送到输出Kafka主题。应用程序开始的时候，我得到的是异常。: Not authorized to access group: QC-NormalizedEventProcessor-v1.0.0
我们的Kafka团队对"group.id
浏览 0提问于2019-05-27得票数 8
我想要有一个Kafka Streams拓扑，它将有五个独立的KStreams从各自的主题读取数据，并将数据转储到一个大型的整体主题中。我想让这个物化的全局存储基本上作为其他Kafka Streams应用程序的“查找”表。我已经阅读了一些关于使用带有application.server配置的RPC层来公开这一点<
浏览 41提问于2020-11-11得票数 0
我们正在使用低级处理器API开发一个Kafka Streams应用程序。 根据Kafka上的文档，所有的线程和并行性都是由Stream线程和流任务处理的。使用主题上的分区，并行性也是可扩展的。.
context.forward(key, updatedValue) }
}
浏览 15提问于2019-05-29得票数 2
我的应用程序有一个GlobalStateStore，它有自己的处理器("GlobalConfigProcessor")来保持商店的更新。更新当前情况:我设置了一个测试存储库，以便更好地概述我的情况。这可以在这里找到：
正如您在回购中所看到的，我有两个消费者，他们都使用不同的主题。如果代码在使用中</e
浏览 1提问于2022-02-16得票数 0
回答已采纳
我是KStreams的新手，有一个关于在KStreams应用程序中重新分区的问题。
我很难在在线文档中找到一个明确的答案，我想知道你们中是否有人可以提供一些启发。目标是以一种有效的方式在新的关键字上重新划分主题。在KStreams中，我们可以调用map()并更改键并将其写入<
浏览 0提问于2021-02-09得票数 0
我试图使用KStreamBuilder将数据从一个主题移动到另一个主题。;}KStreamBuilder initialized!!有什么想法吗我正在使用kafka
浏览 1提问于2016-07-26得票数 1
根据文档()，内部主题遵循命名约定<application.id>-<operatorName>-<suffix>。我们有一些例子：testapplication-KSTREAM-REDUCE-STATE-STORE-0000000027-repartition
有人知道整数是如何确定的吗？不幸的是，我们的安全需求不允许我们用我们
浏览 2提问于2018-10-04得票数 4
相当多的文章描述了实现Kafka流的使用，其中它们输出到新的Kafka主题，而不是保存到某种分布式数据库。这只是一个常见的用例，假设嵌入的db +交互式查询就足够了，还是有一些架构上的原因，为什么人们想要在再次消费主题来持久化它之前输出它，而不是直接持久化？我不确定这是否有区别，但我正在查看<
浏览 14提问于2017-06-19得票数 5
回答已采纳
A -> A' --> [S]但是我不能这样做，因为当我创建拓扑时，会抛出一个异常：
Caused by: org.apache.kafka.streams.errors.TopologyException但是，如果我在会话控制之后在转换器中这样做，这些转换后的会话可以更改并发送到下游--但它们不会在S中反映它们的新状态--因此对存储的进
浏览 0提问于2019-05-08得票数 1
这是关于升级生产中的现有代码库，这些代码库使用来自kafka-clients，kafka-streams，spring-kafka 2.4.0到2.6.x的窗口，并将spring-boot-starter-parent2.2.2.RELEASE升级到2.3.x，因为2.2与kafka-streams 2.6不兼容。streams code}
现在，将kafka</e
浏览 20提问于2021-05-15得票数 2
在Samza和Kafka流中，数据流处理是在处理步骤( Samza中称为“作业”，Kafka Streams中称为"processor“)的序列/图(Samza中称为”数据流图“，Kafka Streams输入(Kakfa主题X) ->(工作者A) ->(工作者B) -输出(Kafka主题
浏览 2提问于2016-12-09得票数 27
在为Apache Kafka创建主题时，什么被认为是最佳实践？
每个人都允许自动创建主题吗?或者你是如何做到的？是否将topic-creation-step与kafka-instance的启动绑定？我有一个基于docker的Kafka- is，它可以被多个应用程序使用。如何将每个应用程序的主题创建与Ka
浏览 1提问于2018-01-29得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
