Spring集成:从Kafka队列读取

文章/答案/技术大牛

发布

1回答

java、spring-integration、spring-kafka

在Spring Boot应用程序中，我希望使用Spring Integration从Kafka队列中读取数据。消息在队列上接收，但不由解析器bean处理。Spring Boot应用程序的注释如下：所以不应该有Kafka bean(KafkaMessageListenerContainer.java:736)

浏览 10提问于2018-02-21得票数 1

1回答

如何将XML事件发送到Apache Kafka？

apache-kafka、spring-integration、integration

在我的组织中有一个群集(2节点) CRM应用程序，它使用spring集成框架(v2.2.0)在执行操作时发布事件，例如创建请求、创建客户等。目前，这些事件只是转到空通道，但我想开始将它们转发到运行在同一网络上的Apache Kafka实例。从那里，我想对数据进行进一步的处理和分析，以使用其他组件创建实时报告。我看过spring- integration -kafka项目，但它似乎与应用程序使用的spring集成版本不兼容(我无法升级)。我认为我将这些活动带到Ka

浏览 13提问于2017-08-11得票数 0

回答已采纳

1回答

使用Spring* Integration启动Spring Boot应用程序Kafka用户暂停*

java、spring、spring-boot、apache-kafka、spring-integration

我正在开发一个Spring Boot应用程序，它使用以Kafka主题为源的Spring集成流。我们的集成流开始使用一个包含带有springframework.cloud.stream.annotation.Input和输出注释的SubscribableChannels的接口。这些配置为通过云配置和spring.cloud.stream.kafka.bindings从Kafka读取。当应用程序第一次启动时，它会立即开

浏览 0提问于2018-04-24得票数 1

1回答

如何在spring中将对象序列化为json ad hoc

json、spring-boot、apache-kafka

我创建了一个Spring引导应用程序，它将消息发送到Kafka队列(使用spring集成kafka支持)。我想发送任意的json序列化对象。有没有办法在我的spring boot应用程序中获得/注入json-de-/序列化程序？或者如何即席反/序列化一个对象？应用序列化有哪些好的实践？

浏览 1提问于2018-01-29得票数 0

2回答

将Kafka与sql server 2008集成

sql、sql-server-2008、queue、apache-kafka、service-broker

我有一个SQL2008 R2数据库，我想要集成到Kafka，所以基本上我想使用更改数据捕获来捕获我的表中的更改，并将它们放到一个Kafka队列中--这是给前端Devs从Kafka读取数据的。

浏览 8提问于2016-06-03得票数 2

回答已采纳

1回答

当螺栓缓慢时，风暴KafkaSpout失败

java、apache-kafka、apache-storm

我在使用卡夫卡-风暴集成。Kafka将将数据加载到队列中，Kafka Spout将提取数据和进程。我有下面的设计。Kafka -> Queue -> KafkaSpout -> Process1 Bolt -> Process2 Bolt 问题是，如果Process2 Bolt需要较长的时间来处理KafkaSpout正在失败的数据，并且再次尝试从队列中读取数据，这将导致重复记录。

浏览 6提问于2015-05-14得票数 2

1回答

具有手动抵销管理弹簧集成的Kafka

spring-integration、apache-kafka、kafka-consumer-api

我是卡夫卡的新手，我正在尝试从卡夫卡消费消息，我能够通过的基本卡夫卡spring集成示例来实现这一点现在我可以从Kafka读取消息，但我想用spring集成手动做偏移管理，我可以用KafkaConsumer我想对spring集成做同样的事情，有没有可用的示例或文档

浏览 2提问于2016-06-28得票数 3

1回答

JMS与Spring集成或Spring批处理

jms、spring-integration、spring-batch

我们的项目是集成两个应用程序，使用每个应用程序的REST和JMS (提供异步性质)。应用程序-1将消息写入队列。下一步是从队列中读取消息，对其进行处理，并将其发送到application2。我有两个问题：我们应该使用spring批处理还是spring集成来读取/处理数据？

浏览 1提问于2015-10-15得票数 1

1回答

Apache Kafka与tomcat和spring的集成

spring、http、tomcat、apache-kafka

我是kafka的新手，我正在考虑集成kafka消息队列与传入的http请求和在我的web应用程序中消费。在这里，我的问题是如何在tomcat中捕获对我的kafka的传入请求，以及我的spring MVC应用程序应该使用哪种格式。我不确定这是否是正确的做法。

浏览 2提问于2017-01-23得票数 5

1回答

Spring集成的唯一标识符

spring-integration

在中，我有一个发布/订阅队列。一旦将消息放到队列中，我就可以看到生成了一个新的消息ID，并为每个订阅者创建了不同的消息ID。我想使用初始的唯一消息ID作为唯一标识符，同时它通过各种微服务订阅者。我可以从每个订阅者那里获得原始消息ID吗？另外，如果我有多个spring集成实例将消息写入一个kafka队列，那么消息ID是否是唯一的？

浏览 1提问于2018-05-08得票数 0

回答已采纳

1回答

Spring :块属性的预期行为是什么？

java、spring、apache-kafka、rabbitmq、spring-batch

amqpReader()) .writer(entityWriter)如你所见，我正在努力：当队列中只有一条消息可用时？我编写了向RabbitMQ发送

浏览 2提问于2021-08-11得票数 0

1回答

：入站通道适配器与消息驱动适配器

spring、spring-boot、apache-kafka、spring-integration、spring-integration-dsl

我刚开始使用春季集成卡夫卡。我当时正在读取文档，在入站通道适配器和消息驱动的通道适配器之间出现了混淆。有人能解释他们之间的区别吗。同样，卡夫卡的spring集成也有一些错误处理机制，比如amqp/rmq(使用dlq)的spring集成机制。谢谢,

浏览 4提问于2019-10-05得票数 0

回答已采纳

2回答

将Kafka生产者和消费者集成到web应用程序中

spring-integration、apache-kafka

我正在使用春季集成-卡夫卡最新版本。在Spring中使用相同的代码时，我无法生成消息。但是，在独立的Java程序中使用它是有效的。定义了两个资源，一个是使用Kafka本地Java，它正在工作。其他资源正在使用spring集成，而且它不起作用。/kafka/spring-integration-kafka.xsd http://www.springframework.org/schema&

浏览 1提问于2015-03-05得票数 1

回答已采纳

1回答

无法从DLQ spring云流kafka读取异常头部

spring-cloud-stream

使用Spring cloud Stream Kafka监听器从kafka主题中读取消息，并在异常情况下将消息发送到死信队列，配置属性 spring.cloud.stream.kafka.bindings.input.consumer.enable-dlq=true spring.cloud.stream.kafka.bindings.input.consumer.dlq-name=book_error 我可以向DLQ

浏览 15提问于2020-01-26得票数 1

2回答

springboot如何集成Ckafka,必须使用kafka-client吗？

kafka

浏览 512提问于2023-02-27

1回答

基于时间戳从卡夫卡主题中读取信息的Spring集成

spring-integration、kafka-consumer-api、spring-integration-dsl

在使用spring kafka时，我可以使用下面的代码根据时间戳读取来自主题的消息- } 如何使用spring集成DSL -与KafkaMessageDrivenChannelAdapter实

浏览 1提问于2019-02-13得票数 0

回答已采纳

2回答

如何让我的storm拓扑实时工作？

apache-storm

我已经创建了一个简单的程序来读取文件并完美地生成file.Its。我担心如何使其实时拓扑。

浏览 2提问于2013-10-22得票数 0

1回答

弹簧积分分布式并行散射模式

spring-integration、distributed

在使用相关ids完成订单(失败或成功)之后，向下流排序API将消息发布到应答队列( kafka/rabbitmq)。你能帮我举个例子，说明如何在Spring集成的帮助下实现这样的架构吗？

浏览 5提问于2021-12-12得票数 0

1回答

spring integration kafka版本3.x中是否有可用于入站通道适配器的xml配置

spring-boot、spring-integration、spring-kafka

我们在应用程序中使用Spring集成5.1.4和spring-boot-starter-integration 2.1.4。为了方便查看集成图，我们使用了XML配置。现在，我们需要读取来自kafka主题的消息，所以我们希望使用最新的spring-integration-kafka 3.1.2 read版本和kafka入站通道适配器。我可以使用spring-integration-kafka 1.x版

浏览 22提问于2019-05-07得票数 0

回答已采纳

1回答

Spring使用SeekToCurrentErrorHandler进行异常处理

apache-kafka、spring-integration、spring-kafka

问题陈述：@Bean(name ="kafkaConsumerFactoryConcurrentMessageListenerContainer<>( } kafkaConsumerFactory, containerProps)

浏览 2提问于2021-01-06得票数 1

点击加载更多