是否有Kafka API可以删除/检索在日期范围之前未收到任何新消息的主题？

文章/答案/技术大牛

发布

1回答

apache-kafka

我正在工作的实用程序，以删除卡夫卡主题不被使用的一天。我可以使用kafka Admin/Consumer Api删除主题。我的问题是，当topic收到最后一条消息时，如何识别？

浏览 14提问于2021-08-20得票数 1

1回答

关于多节点Akka-Streams瞬时消息的Kafka消费者问题

apache-kafka、akka-stream

我们使用Kafka来存储由集群中的节点生成的消息，并分发到集群中的所有节点，我让它主要使用akka-streams，但有几个问题我必须解决。这是有一些限制的。首先，消息必须由集群中的每个节点使用，但只由一个节点生成。我知道我可以为每个节点分配一个组id，这可能是它的节点ID，这意味着每个节点都会收到消息。已经排序好了。但这里有一些问题。数据是非常短暂和相当大的(仅低于一兆字节)，不能进一步压缩或分解

浏览 0提问于2017-12-06得票数 0

1回答

kafka与Apache spark的集成

java、apache-spark、apache-kafka

我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑我有我的字数统计写的

浏览 15提问于2019-12-10得票数 1

2回答

卡夫卡用户-项目设计建议

apache-kafka、apache-flink、apache-kafka-streams、hazelcast-jet

打开项目A的用户只看到/接收项目A的消息。消息到达时应该被推送到Kafka主题，让我们把这个主题称为根主题。消息一旦被推入根主题，可以由Kafka消费者/侦听器读取，并且基于消息中的项目标识符可以将该消息推送到特定于项目的主题。因此，任何消息都可能出现在<em

浏览 1提问于2018-01-30得票数 1

2回答

kafka消息过期事件-如何捕获

apache-kafka

我是Kafka的初学者，最近开始在我的工作项目中使用。我想知道的一件重要的事情是，当消息在kafka中过期时，是否有可能捕获事件。这样做的目的是捕获这些过期邮件，并将它们备份到备份存储中。

浏览 1提问于2021-03-17得票数 0

3回答

Kafka在连接2流上抛出一个异常，其键值作为一般记录。

apache-kafka、apache-kafka-streams、confluent-platform

有人能帮我解决这个问题，正确地连接两个关键和值为GenericRecord的流吗？首先，正如您所看到的，我使用AVRO模式为键和值创建了两个主题。之后，我将加入这两个流，并在输出主题中创建新的GenericRecord，这是一个所谓的带有投影模式的投影记录，我得到了异常，如代码片段后面所示：public void joinKStreamToKStreamWhereKeyValueIsGenericRecordGenericRecord:72) at

浏览 4提问于2017-03-23得票数 0

2回答

卡夫卡OffsetOutOfRangeException

apache-spark、apache-kafka、spark-streaming

我正在通过卡夫卡传输大量的数据。然后我有火花流，它正在消耗这些信息。基本上，火花流会抛出以下错误：现在我知道这个错误意味着什么了。所以我把留用政策改为5天。然而，我仍然遇到了同样的问题。然后我用卡夫卡从头到尾列出了一个话题的所有信息。可以肯定的是，卡夫卡流媒体部分一开始就有大量信息没有出现，而且由于火花流有点落后于卡夫卡流部分，所以火花流试图消耗被卡夫卡删除的</e

浏览 1提问于2017-04-18得票数 1

回答已采纳

2回答

将Kafka消费者和API服务分离或合并在一起

api、apache-kafka、architecture、microservices

在最近阅读了关于基于事件的体系结构之后，我想将我的体系结构转变成一个利用这些优势的体系结构。我有两个服务公开了一个API (crud，graphql)，每个服务都基于不同的实体，并且使用不同的数据库。但是，现在每当有人在服务A中删除某一类型的行时，我需要删除服务B中的耦合行。所以我将Kafka添加到我的设计中，每当我删除服务A

浏览 6提问于2022-01-27得票数 1

1回答

使用OAUTH2保护个别的卡夫卡主题

apache-kafka、oauth-2.0、microservices

对于一个大型的Kafka实现，我需要能够在每个主题的基础上实现安全性(更具体地说，是授权)。理想情况下，我希望使用OAUTH2 (client_credentials flow)，但是通过阅读文档(Confluent和Apacheand第三方供应商)，对主题的授权似乎只能在全局范围内完成。换句话说，Kafka OAUTH2安全性在其配置中使用一个单独的作用域，这是访问任何/所有主题

浏览 1提问于2020-12-16得票数 1

回答已采纳

4回答

什么是真正的“卡夫卡分区是不变的”？

apache-kafka、offset、partition

在我读过的所有Kafka教程中，他们都提到"Kafka分区是不可变的“。但是，我也从这个站点上读到，Kafka会不时地删除分区中的旧消息(取决于您在log- that命令中设置的保留时间)。您可以从下面的屏幕截图中看到，在删除分区中的重复键之后，分区中的数据明显发生了变化：所以我的问题是，说"<e

浏览 8提问于2019-10-03得票数 1

回答已采纳

1回答

Kafka Streams API如何从模式注册表获取正确的模式？

apache-kafka-streams、confluent-platform、confluent-schema-registry

我试图理解Kafka Streams API是如何与Schema Registry一起工作的。我知道在设置应用程序时必须指定Schema Registry URL，但我无法理解如果不指定主题名称或ID，应用程序如何从注册表检索正确的模式。它使用主题名称检索模式？

浏览 2提问于2019-11-25得票数 2

2回答

kafka消费者会话超时

apache-kafka、kafka-consumer-api

我们有一个应用程序，消费者读取消息，线程执行许多操作，包括在消息被生成到另一个主题之前访问数据库。在线程上消费消息和生成消息之间的时间可能需要几分钟。一旦向新主题生成了消息，就会执行一次提交，以指示我们已经完成了对消费者队列消息的处理。由于这个原因，自动提交被禁用。我使用的是高级消费者，我注意到zookeeper和kafka会话超时，因为我们在消费者队列上做任何事

浏览 2提问于2014-12-20得票数 9

回答已采纳

2回答

在一定范围的偏移量之间读取来自Kafka主题的消息

java、apache-kafka、kafka-consumer-api

我正在寻找一种方法来消费我的Kafka主题中具有特定偏移量范围的一些消息集(假设我的分区偏移量为200 - 300，我希望消费偏移量为250-270的消息)。我使用下面的代码，我可以在其中指定初始偏移量，但它将消耗从250到结束的所有消息。在此之前，是否有任何方法/属性可用于设置结束偏移量以使用消息。@KafkaListener(id

浏览 3提问于2020-03-06得票数 0

2回答

为什么要花这么长时间才能删除卡夫卡的主题？

apache-kafka、kafka-topic

在一个3节点集群上，我创建了几个包含数千条消息的主题。我注意到删除一个主题需要很长时间。我花了比14分钟更多的时间去删除500个主题。当我创建一个

浏览 3提问于2019-11-14得票数 3

回答已采纳

2回答

如何实现卡夫卡主题的生存时间(TTL)

apache-kafka

我想要删除一个主题后，一些预定义的时间不活动。卡夫卡是否有一个内置的</em

浏览 4提问于2021-09-19得票数 2

回答已采纳

3回答

Kafka主题创建最佳实践

apache-kafka

在为Apache Kafka创建主题时，什么被认为是最佳实践？每个人都允许自动创建主题吗?或者你是如何做到的？是否将topic-creation-step与kafka-instance的启动绑定？我有一个基于docker的Kafka- is，它可以被多个应用程序使用。如何将每个应用程序的主题创建与Kafka容器的启动分开？看看

浏览 1提问于2018-01-29得票数 10

回答已采纳

1回答

如何根据给定的主题顺序构思kafka主题

java、spring-boot、apache-kafka

目前，我面临着一个问题，我需要按照指定的顺序消费来自不同主题的数据。假设我们有3个主题，分别称为topic-1、topic-2和topic-3。首先，我需要确保我按以下顺序使用主题。topic-2 > topic-3 > topic-1 应用程序应该侦听和读取topic-2中的所有消息，然后继续从topic-3消费，然后从topic-1消费。再次需要这样做，直到主题收到消息。使用Kafka可以做到这一点吗

浏览 36提问于2021-03-02得票数 0

回答已采纳

1回答

Kafka消费者-接收消息不一致

apache-kafka、kafka-consumer-api

我可以针对Kafka location安装在命令行上发送和接收消息。我还可以通过Java代码发送消息。这些消息显示在Kafka命令提示符中。我还有一个用于Kafka消费者的Java代码。然而，它今天早上没有收到任何消息。代码未更改。我想知道属性配置是不是不太正确。下面是我的配置：bootstrap.servers - localhost:9092key.serializer - Strin

浏览 4提问于2016-06-24得票数 0

1回答

Elasticsearch接收器只获取新消息，而不是使用kafka-connect-elasticsearch +时间戳SMT获取上一条消息。

elasticsearch、apache-kafka、apache-kafka-connect

我正在使用kafka -connect Elasticsearch插件从我的kafka获得消息到Elasticsearch。我在kafka中的数据包含一个日期字段(时间戳格式)。我的第一个问题是当我使用这个插件时，Elasticsearch索引没有将日期字段识别为日期类型，而是识别为一个长的.我在连接器配置中使用SMT转换来解决这个问题。下面是我当前的</

浏览 0提问于2018-12-25得票数 3

回答已采纳

2回答

在一定时间间隔内从API调用更新listview - xamarin.forms

xamarin、xamarin.forms

我正在开发一个xamarin.forms.The视图模型中的聊天应用程序，绑定到我的聊天列表视图页面有一个API调用，该调用将获取聊天数据，绑定到listview.The API只会在打开页面时调用一次我要做的是每10秒调用一次API，如果有新的messages.But，更新列表视图，而不是更新列表，而是复制整个数据。我认为，如果API再次调用，它会重新绑定整个数据，这是正常的。如果有任何新

浏览 5提问于2020-04-06得票数 0

点击加载更多