使用Spring Batch远程分区将工作移交给Spring Integration工作流
Spring Batch是一个开源的批处理框架，可以用于开发大规模、高可靠性的批处理应用程序。它提供了丰富的功能和灵活的配置选项，适用于各种批处理场景。
远程分区是Spring Batch中的一种技术，可以将工作分配给多个远程分区，从而实现并行处理和分布式计算。它通过将数据和处理逻辑分割成多个子任务，并将它们分配给不同的分区节点来实现。每个节点独立地执行其分配的任务，并将结果返回给主节点。
Spring Integration是一个基于消息传递的轻量级集成框架，可以用于构建企业级应用程序的消息驱动组件。它提供了丰富的集成模式和消息处理器，支持多种传输协议和消息格式。
将工作移交给Spring Integration工作流可以实现更灵活和可扩展的批处理应用。通过将Spring Batch和Spring Integration结合使用，可以将Spring Batch的任务划分和处理逻辑与Spring Integration的消息传递和集成模式相结合，从而实现更高效的批处理作业。
优势：
- 分布式处理：远程分区使得可以将任务分配给多个节点进行并行处理，提高作业的处理速度和效率。
- 可扩展性：通过将工作移交给Spring Integration工作流，可以根据业务需求动态地扩展和调整任务分配和处理逻辑。
- 故障恢复：远程分区支持故障恢复机制，当某个节点发生故障时，可以重新分配任务给其他可用节点，保证作业的可靠性和可用性。
应用场景：
- 大规模数据处理：当需要处理大量数据并且希望通过并行处理提高处理速度时，可以使用远程分区将工作分配给多个节点进行并行计算。
- 分布式计算：当需要使用多台服务器进行分布式计算时，可以使用远程分区将任务分配给不同的节点，实现分布式计算的目标。
- 复杂业务逻辑：当需要根据不同的业务需求动态地调整任务分配和处理逻辑时，可以使用Spring Integration工作流实现更灵活和可扩展的批处理应用。
推荐的腾讯云产品： 腾讯云提供了丰富的云计算产品和解决方案，以下是一些推荐的产品和相关链接：
- 云服务器（CVM）：提供高性能、可扩展的云服务器实例，支持弹性计算和远程管理。链接地址：https://cloud.tencent.com/product/cvm
- 云数据库MySQL：提供高可用、可扩展的云数据库服务，支持自动备份和恢复，适用于批处理应用的数据存储需求。链接地址：https://cloud.tencent.com/product/cdb_mysql
- 云存储对象存储（COS）：提供高可靠性、低成本的云存储服务，用于存储和管理批处理应用的数据。链接地址：https://cloud.tencent.com/product/cos
以上仅为腾讯云的一部分产品，更多产品和解决方案可参考腾讯云官方网站。
相关·内容
我想写一个批处理，它从表中读取数据，对数据进行分区，并将其移交给Spring Integration工作流。 批处理和集成工作流都是单独的maven项目，并且集成项目是批处理项目中的依赖项。 我的批处理有一个非常小的job-context (xml)。只有一个分区程序和一个微线程。在这个微线程中，我将数据(出于测试目的而硬编码)放入Spring集成网关。在此之后，我将消息传递到出站通道适配器，该适配器将消息打印到控制台。 我的批处理作业上下文如下所示： <job id="myJob" incrementer="idIncrementer"
浏览 41提问于2021-01-08得票数 0
如果重复这个问题，我很抱歉。
我们当前的环境：
Java 1.17
Spring 5.3.18
Spring batch 4.2.8
在较高的层次上，我们的架构意图是将启动线程与执行线程从物理上分离出来，从而在工作节点上跨可用处理器执行繁重的工作负载步骤。我们为这种运作模式设计了分配器和流程。
人们的期望是，在工作系统上，我们可以有一堆松散地在JVM中浮动的“步骤”bean，在“主”JVM上进行分区，通过AMQ传播出去，然后在工人VM中异步地获取和执行。
我已经查看了的文档。给出的示例(实际上，我在互联网上找到的所有示例)都是编写的，好像有一个"A“步骤正在远程运行。
今日：
由于Sp
浏览 3提问于2022-08-02得票数 0
回答已采纳
spring batch远程分块和远程分区有什么区别？
我不能理解spring batch中远程分块和远程分区之间的区别。有谁能解释一下吗？
浏览 4提问于2013-12-02得票数 15
回答已采纳
1回答
Spring集成-生产者队列容量限制
我们使用带有MessageChannelPartitionHandler的远程分区来发送分区消息到队列(ActiveMQ)，以便对工作人员进行挑选和处理。作业有大量的数据需要处理，许多分区消息正在发布到队列，来自replyChannnel的响应聚合器由于消息超时而失败，因为所有消息都不能在给定的时间内处理。我们还试图通过使用队列容量<integration:queue capacity="200"/>来限制发布到队列的消息，这导致了服务器崩溃，而堆转储是由于内存问题而产生的，因为内存中保存了所有这些分区消息。
我们希望控制Ste
浏览 3提问于2021-06-08得票数 0
回答已采纳
我正在尝试使用Kafka作为中间件来实现远程分区，并获得异常。就从这个主题开始，开始只在master上工作，一旦master完成后面临问题将在worker端代码上工作。
下面是异常的堆栈跟踪
2020-10-16 00:27:48.640 INFO 13716 --- [ main] o.a.kafka.common.utils.AppInfoParser : Kafka version: 2.5.0
2020-10-16 00:27:48.641 INFO 13716 --- [ main] o.a.kafka.common.utils.A
浏览 0提问于2020-10-16得票数 0
我想使用Spring Batch和Spring Integration从数据库导入数据，并将它们写入文件，然后通过ftp将它们发送到远程服务器。
但是我想我的问题是我不想为我的表创建Domain对象。我的查询是随机的，我想要的是只读取数据并将其写入文件和传输的东西。
我可以在不创建各自的域对象的情况下使用Spring Batch和Integration吗？
浏览 5提问于2011-10-28得票数 2
回答已采纳
我希望在后台通过配置为远程分区配置JSR-352批处理作业，而不必在作业定义中显式定义控制器/工作者( JSR-352规范无论如何都不支持)。IBM通过其“多WebSphere”特性提供了此功能，您可以在配置文件(server.xml)中定义远程分区。
我已经看到遗留的Spring Batch能够支持远程分区，但只能通过显式的作业定义。我不想使用遗留的Spring Batch。相反，我想构建一个可移植到Java的解决方案，包括IBM Liberty。
浏览 32提问于2021-03-02得票数 0
我正在尝试使用batch-int:job-launching gateway，但是我得到了以下错误：
Exception in thread "main" org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Failed to import bean definitions from URL location [classpath:spring/integration-context.xml]
Offending resource
浏览 21提问于2016-08-02得票数 0
回答已采纳
我们有spring batch作业，它在多线程作业中处理1亿条记录，并具有像分区这样的缩放过程。在这里，主步骤创建500个部分，这些部分由100个线程处理。但有时job会失败，只会出现以下异常。如果我在没有任何代码更改的情况下重新运行作业，它就能正常工作。谁能解释一下在diff线程中运行的从步骤中可能导致问题的原因，这使得主步骤失败并进一步停止处理。
2015-09-11 17:22:21,365 ERROR [task-scheduler-9] org.springframework.batch.core.step.AbstractStep - Encountered an error ex
浏览 0提问于2015-09-17得票数 2
我是春天的新手。我正在尝试使用.xls读取一个PoiItemReader文件。但是，在我的jar中，org.Spring Frawork.batch.item.excel.*包不可用。
pom.xml
<dependency>
<groupId>org.springframework.batch</groupId>
<artifactId>spring-batch-core</artifactId>
<version>3.0.6.RELEASE</versi
浏览 3提问于2016-02-18得票数 1
这是I need current easy to follow instructions for configuring spring integration kafka from XML的后续问题 Spring-integration-kafka在过去的几次迭代中发展了很多，许多旧的例子不再起作用。 特别是，这个从spring-batch世界到spring集成世界的bean将不会实例化，因为KafkaTemplate类没有实现MessagingTemplate。当前推荐的完成此集成的方式是什么？ <bean id="partitionHandler" class=&#
浏览 57提问于2019-03-21得票数 0
回答已采纳
1回答
我目前正在开发Spring Batch POC，并且已经很好地掌握了大多数Spring Batch的实际特性。我目前有一个程序，它使用Spring Integration接收HttpRequest，并使用消息通道最终将作业执行发送到队列中的作业启动器。我们真正想做的是在作业启动器之前实现某种“调度器/负载均衡器”(不太确定该叫它什么)，它将查看当前运行的工作节点和输入文件的大小，并决定作业应该允许多少个工作节点。我们可能还希望能够在作业运行时更改其工作节点的数量，以允许运行更多的作业。
我们的想法是，我们将有一个运行的服务器，可以在任何时候接受许多作业请求，以及一个大型的机器集群，作业将被分区
浏览 1提问于2012-07-21得票数 2
我已经创建了一个tasklet来使用Spring-Integration-Batch在SFTP服务器上下载文件。在运行批处理时，似乎没有在AbstractInboundFileSynchronizer中正确设置远程目录，因为哪个程序正在尝试将null与本地目录同步。 当我尝试在synchronizeToLocalDirectory()之前调用AbstractInboundFileSynchronizer的afterPropertiesSet()时，它下载了文件，并警告为"No beanFactory“。 下面是我正在运行的微线程： public class FtpFileDownlo
浏览 76提问于2019-05-21得票数 2
我使用spring批处理分区和使用rabbitmq作为中间程序实现了我的批处理作业。
我研究了文档，并参考了这些单元测试。
我可以同时运行我的作业步骤，但我有点担心，如果我在同一时间以不同的参数同时启动多个相同作业的实例，它将如何工作。
例如，我使用importExchange作业导入交换数据，但是如果我为不同的市场(如美国市场、欧洲市场)同时启动importExchange作业。
分区器将输入交换名划分到不同的分区步骤执行上下文中，MessagePartitionHandler将通过rabbitmq队列将stepExecutionRequests作为消息发送到不同的服务器，并在不同的服务
浏览 1提问于2014-06-08得票数 1
回答已采纳
我已经编写了spring batch远程分区方法，我不希望我的主步骤等待从步骤确认，我希望我的主步骤在对数据进行分区后立即完成。在spring batch中有同样的配置吗？
浏览 31提问于2021-04-12得票数 0
回答已采纳
1回答
我有多模块的弹簧引导应用程序。我组织它的方式是，它包含有web类的@SpringBootApplication模块和由web模块导入的其他几个模块(例如，batch-jobs模块)。
web模块包含spring中的所有依赖项：
compile('org.springframework.boot:spring-boot-starter-batch')
compile('org.springframework.boot:spring-boot-starter-data-jpa')
compile('org.springframework.boot:sprin
浏览 6提问于2016-11-29得票数 0
回答已采纳
我们有一个Spring Integration应用程序，它从数据库轮询，编组成XML，然后将XML作为消息发送到下游系统。应用程序可以工作，但我们面临的问题是，一些结果集可能会很大。在这种情况下，Spring Integration似乎无法处理转换，因为结果集太大，无法在内存中处理。我在Spring Integration中没有看到Stax编组器，就像Spring Batch中说的那样。这实际上是有意义的，因为消息传递通常意味着处理许多小消息，而不是大文件。
我们有一个选择，那就是开发Spring批处理应用程序。
有没有一种我们可以采用的Spring Integration设计来处理这个问题？
浏览 0提问于2014-04-10得票数 1
我已经将我的任务配置为远程分区，我通过kafka发送消息，从VM接收请求并试图启动这个步骤，但是它找不到这个步骤。
我提供的beanFactory (applicationContext)似乎不包含远程执行步骤。
我已经在上看过几次这个例子了，我不知道如何为从作业识别和设置正确的beanFactory。
在应用程序初始化期间，ClasspathXmlApplicationContextsFactoryBean从作业库加载，其中包含所有春季批处理作业和远程从步骤的XML。此bean包含每个XML文件的单独资源，包括从文件(如预期的那样)，并分配给applicationContext。
@Bean
浏览 1提问于2019-04-23得票数 1
1回答
我已经创建了一个Spring批处理应用程序，其中我已经使用AMQ配置了远程分块。参考下面的示例：https://docs.spring.io/spring-batch/docs/current/reference/html/spring-batch-integration.html#remote-chunking 应用程序运行正常，能够在不同的应用程序实例中处理区块。但是，Spring批处理相关的表不会更新为已完成状态。 当应用程序在单个实例中运行时，情况也是如此。 如果有任何额外的步骤我必须介绍更新步骤和作业完成，有人可以帮助吗？
浏览 35提问于2021-08-02得票数 1
目前，我们正在将一个批处理作业从java迁移到spring batch.This，批处理作业从数据库和web服务获取输入。我们需要在四台服务器上运行此作业，以提高性能，因为此作业正在处理大量数据。
上述场景是否可以通过spring batch中的远程分区来实现？
我浏览了远程分区文档，但它很难理解，而且我在远程分区中找不到任何可靠的示例。
请在这方面帮帮我。
浏览 0提问于2014-01-16得票数 2
我有一个Spring Integration jdbc:inbound-channel-adapter，可以从数据库中读取数据。一个重要的要求是相同的行不会被读取两次。一种可能的方法是使用与query属性相同的where子句，使用update属性在读取的行上设置一个标志。但是，需要注意的是，如果在工作流中进一步发生异常(使用行映射器转换结果集，编组为XML，然后放入外部系统的出站队列中)，当应用程序重新启动时，将不会重新读取这些行。在这种情况下，有没有更好的策略来使用Spring Integration？
另一个问题是，考虑到上述要求，Spring Batch是否会提供更健壮的解决方案，如果是
浏览 4提问于2014-01-22得票数 1
对于批处理，我使用spring批处理远程分区。我正在启动作业使用春季批管理。
我有入站网关使用者并发性步骤为10，但并行运行的分区的最大数目为8。
我希望稍后将消费者并发性提高到15。
下面是我的配置，
<task:executor id="taskExecutor" pool-size="50" />
<rabbit:template id="computeAmqpTemplate"
connection-factory="rabbitConnectionFactory" routing-key=&#
浏览 4提问于2014-07-04得票数 0
我正在使用Spring Boot的Spring Batch。在本例中，我实现了Custom Partition，因为Employee Table将UUID值作为PK。
Error:
org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection for transaction; nested exception is java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not
浏览 2提问于2020-05-16得票数 1
我正在将Spring批从3.x升级到4.3。目前，我们正在使用Spring批处理集成和XML配置来通过MQ放置和接收消息。Spring批4引入了@EnableBatchIntegration和相应的XML
xmlns:batch-int="http://www.springframework.org/schema/batch-integration"
http://www.springframework.org/schema/batch-integration
https://www.springframework.org/schema/batch-integrati
浏览 7提问于2021-02-24得票数 0
回答已采纳
我是新来的春天，并寻找一个弹簧批解决方案简单的ETL过程。我遵循以下链接：用于学习。
它工作得很好，我得到了使用spring批处理进行ETL的基本结构的想法。
接下来，我想以PoC的形式从FTP服务器获取文件。基本上，我不使用硬编码的输入文件，我想添加从FTP获取.
在搜索时，我知道我们可以使用spring集成FTP/SFTP。
我遵循以下链接：创建一个tasklet，它将执行FTP/SFTP获取。
在现有的BatchConfiguration.java中，我添加了以下内容来添加我的FTP任务，作为第一步。
@Bean
public FtpGetRemoteFilesTasklet myFtp
浏览 3提问于2020-04-29得票数 0
我目前正在使用Spring Boot和Spring Batch应用程序从数据库中读取200,000条记录，处理它并生成XML输出。
我编写了单线程Spring批处理程序，它使用JDBCPagingItemReader从数据库中批量读取10K条记录，并使用StaxEventItemReader生成此输出。整个过程需要30分钟。我想通过使用Spring Batch本地分区来增强这个程序。有没有人可以分享Java配置代码来完成Spring Batch partitioning的这个任务，它将把处理分成多个线程+多个文件。我尝试了多线程的java配置，但StaxEventItemReader是单线程，
浏览 13提问于2017-07-10得票数 0
我正在尝试用spring批处理集成来实现ReplyingKafkaTemplate。
实际上，它正在运行，并在创建订阅服务器bean之前抛出"Dispatcher没有订阅者的通道“错误。就像你在日志里看到的。
org.springframework.messaging.MessageDeliveryException: Dispatcher has no subscribers for channel 'kafka Cloud Task.gatewayinputchannel'.;
Adding {kafka:outbound-gateway:kafkaConfig.
浏览 4提问于2022-08-17得票数 1
首先，这个问题似乎正是我们想要做的：
Spring 3.0.10，运行在Java服务器(WebSphere，Java8，Java 6)下。我也不是这段代码的原作者。
XML配置，我们有一个批处理步骤，从文件中读取一行，处理行(我们想要多线程的部分)，并将记录写入数据库：
<batch:step id="processRenewalsStep" next="saveResponseFileStep">
<batch:tasklet task-executor="taskExecutor" throttle-
浏览 3提问于2020-07-08得票数 2
当我包括spring-batch-integration、spring-integration-file和spring-integration-sftp时，它会导致LocationAwareLogger异常。当我移除它的时候，一切都很好。而且，在Maven项目中拥有这些精确的依赖关系对我来说也很好。
Exception in thread "main" java.lang.NoSuchMethodError: org.slf4j.spi.LocationAwareLogger.log(Lorg/slf4j/Marker;Ljava/lang/String;ILjava/lang
浏览 4提问于2014-07-14得票数 1
回答已采纳
这是build.gradle文件。我已经删除了评论和敏感数据。仍然收到"missing EmbeddedServletContainerFactory Bean“错误。
buildscript {
ext {
springBootVersion = '1.5.9.RELEASE'
}
repositories {
jcenter()
mavenCentral()
maven { url "https://repo.spring.io/snapshot" }
浏览 6提问于2017-12-19得票数 0
我正在使用spring批处理分区。我读取交换表单文件，并对每个交换做一些处理。
交换分布在4台服务器上，使用spring批处理进行并行处理。
我有第一步，准备使用exchange ids的输入文件。我需要在所有服务器上读取这些I。
是否只有一次在所有服务器上运行第一步来准备所有服务器上的输入文件？
我尝试设置网格大小=4(服务器数量)和使用者并发性(1)，以便每个服务器上只有一个使用者应该侦听步骤执行请求。
问题是，更多的请求由1个使用者处理，因此步骤在某些服务器上运行不止一次，因此不会在其他服务器上运行。其结果是某些服务器上没有准备数据，其他步骤失败。
如何确保该步骤只在所有服务器上运行一次
浏览 1提问于2014-06-16得票数 0
回答已采纳
我无法使用putty从UNIX运行spring引导应用程序(main类)，同时出现了could or load main class错误。 在项目文件夹下，所有文件都被赋予了0755可执行权限。已尝试使用命令:javaservices.jar:lib/* com.spring.integration.demo.SpringBootDemoApplication 从以下路径运行命令: /app/batch UNIX中的文件夹结构： /app/batch/lib -此文件夹包含所有依赖jars /app/batch/batch-services.jar 预期的结果是spring boot应用程序
浏览 18提问于2019-01-29得票数 0
我们正在从Spring Batch 2.2升级到Spring Batch 4.1。我的配置如下所示：Spring Batch Partition Job Aggregation Problems当我启动服务器时，我看到以下日志消息(我正在尝试使用JMS response运行)。 Caused by: org.springframework.integration.handler.support.MessagingMethodInvokerHelper$IneligibleMethodException: Found more than one parameter type candidate
浏览 53提问于2020-08-27得票数 0
1回答
我正在开发一个系统，在其中我跟踪另一个项目，添加我自己的东西，但不是直接到原来的项目。我用三个远程分支设置了我的存储库：
主--我的开发是在这里进行的。供应商--在这里，我与原始项目同步--在这里，我想将(主)和(供应商)合并在一起。
我的工作流思想是自动进行同步(因为它基本上是一种快速转发)，而集成则是半手动的(因为它需要合并和修复)。我已经讨论了第一部分(同步)，但我不知道实际要发出什么命令来将Master和Vendor集成到集成中。
这是git分支-a的输出。
* integration
master
vendor
remotes/origin/HEAD -> orig
浏览 0提问于2011-10-31得票数 5
回答已采纳
1回答
我想知道是否可以在以下工作流中使用git：
本地克隆远程repositorymake本地更改将它们提交本地远程保存，以避免松散的更改，如果我想继续在另一个工作站上工作
继续这样下去，直到这个特性完全完成。
那我就想最后把它交出来，就像它是一个单一的承诺.
我说的是搁置，但将部分提交保存到源存储库
git是否有可能(或推荐)像这样工作？
浏览 0提问于2011-04-04得票数 3
回答已采纳
2回答
想把这两个人绑在一起。但这一例外情况发生在：
java.lang.NoClassDefFoundError: org/springframework/integration/MessagingException
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2615)
at java.lang.Class.getDeclaredMethods(Class.java:1860)
at org.
浏览 2提问于2015-01-01得票数 1
回答已采纳
spring集成kafka模型已经发生了充分的变化，因为它已经开始工作，并简化了现有的演示、手册和指令不再起作用。当前的官方演示都是围绕注释构建的，这些注释很酷，但在很大程度上是不可读的，并且不适合于我的体系结构，在这种体系结构中，任务是独立于java代码部署和管理的。
是否有当前的(2019年)教程，用于在XML中配置spring集成生产者和使用者？
作为参考，下面是我的POM的摘录，其中详细介绍了我正在使用的版本：
<dependency>
<groupId>org.springframework.integration<
浏览 0提问于2019-03-20得票数 0
回答已采纳
目前，我正在创建一个使用Spring Integration和Spring Batch的POC。我正在关注这个。但是我正在尝试使用注释和Spring boot来实现这一点，并且不想使用任何XML配置。有人可以建议我如何使用Spring Batch Integration中的JobLaunchingGateway吗？如果你需要更多的细节，请让我知道。请找到下面的代码样本，我正在尝试让它工作。
@Gateway(requestChannel = "outboundJobRequestChannel",replyChannel = "jobLaunchReplyCha
浏览 2提问于2017-07-12得票数 2
回答已采纳
我有一个Spring /integration作业，它应该轮询FTP服务器，获取所有..txt文件，使用Spring组件转换它们，然后将它们放到一个队列中(用ActiveMQ实现)。但是，当试图从FTP区域检索文件时，我会收到以下错误：
ERROR [org.springframework.integration.handler.LoggingHandler] - <org.springframework.expression.spel.SpelEvaluationException: EL1030E:(pos 0): The operator 'ADD' is not
浏览 3提问于2015-03-09得票数 1
回答已采纳
我正在将带有XML配置的Spring Batch Partition Job迁移到Spring batch 4.x。我正在尝试利用MessageChannelPartitionHandler的改进，它使用应答通道和数据源轮询来查找远程步骤的完成。 当我使用此配置时： <int:channel id="partitioned.jms.requests">
<int:dispatcher task-executor="springbatch.partitioned.jms.taskExecutor"/>
&l
浏览 19提问于2019-02-05得票数 0
我们正在使用Maven将Spring应用程序打包到jar中。最初，为了进行测试，我构建了一个包含Eclipse中所有依赖Jar的文件夹:文件-> Export -> Runnable -> Runnable Jar->所需的库复制到子文件夹中
(这实际上也创建了应用程序jar，但我使用Maven构建了outise )。
应用程序从命令行运行良好。现在，我已经将程序集插件(jar-with-dependencies)添加到pom.xml中，并使用它从所有依赖的jar生成一个jar和所有类。这将不会运行，问题似乎是依赖关系jar中包含了多个版本的Spring文件。
我构建了
浏览 1提问于2014-08-08得票数 1
我正在实现spring批处理侦听器，它读取kafka主题的消息列表并将数据发布到REST服务。我想了解在REST服务下降时的偏移管理，批处理的偏移量不应该提交，下一次轮询的消息应该被处理。我已经阅读了spring文档，但在理解侦听器错误处理程序和在批处理中寻求当前容器错误处理程序之间的区别方面存在混淆。我使用的是spring 2.0.0.M7及以下版本是我的代码。
Listener Config:
@Bean
KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>
浏览 2提问于2017-12-13得票数 0
我使用Spring Batch将CSV文件作为批处理进行处理，并使用SFTP适配器(Spring Integration)来下载和上传文件。发现Spring文档非常有帮助。但我对他们最好的用例感到有点困惑和好奇。
据我所知，一个庞大的应用程序可以使用Spring Integration分解并与另一个外部系统(FTP、电子邮件、队列等)集成。其他用例有哪些？我应该将Spring Batch与Spring Integration一起使用吗？最佳实践是什么？
有人能帮上忙吗？
浏览 4提问于2020-04-21得票数 0
我正在尝试使用spring批处理远程分区来扩展作业和Apache作为中间件。下面是masterStep的简要配置：
@Bean
public Step managerStep() {
return managerStepBuilderFactory.get("managerStep")
.partitioner("workerStep", filePartitioner)
.outputChannel(requestForWorkers())
浏览 7提问于2021-08-10得票数 0
回答已采纳
2回答
我们每个工作日都会在Spring batch中运行一个作业，该作业是从另一个系统触发的。有时会有多个作业实例在同一天运行。每一个都是从另一个系统触发的。每个作业运行大约一个小时，如果有几个作业实例要运行，我们会遇到一些数据问题。
我们希望优化此步骤如下，如果没有作业实例正在运行，则启动一个新的作业实例，如果有一个作业实例正在运行，则将新的作业实例放入队列中。每个作业实例必须在触发下一个作业实例之前完成。如果一个失败了，下一个必须等待。作业参数是一个增量器和一个时间戳。
我用谷歌搜索了一下，但找不到任何有用的东西。所以我想知道，在spring batch中排队作业实例是否有责任？如果是这样，我该
浏览 5提问于2017-10-10得票数 2
我正在使用spring batch来解析文件，我有以下场景：
我在做一项工作。此作业必须解析给定的文件。由于意想不到的原因(比如断电)，服务器出现故障，我必须重新启动机器。现在，在重新启动服务器后，我想从断电前停止的位置恢复作业。这意味着如果系统从10.000读取1.300行，现在必须从1.301行开始读取。
如何使用spring batch实现此场景？
关于配置:我使用了spring-integration，它在一个目录下轮询新文件。当一个文件到达时，spring集成就会创建spring批处理作业。另外，spring-batch使用FlatFileItemReader来解析文件。
浏览 3提问于2013-03-05得票数 19
我有一个Spring作业，它从一个S3桶中读取一堆文件，对它们进行处理，然后将它们发送到数据库，在多线程配置中这样做。application.properties文件包含以下内容：
cloud.aws.credentials.accessKey=accessKey
cloud.aws.credentials.secretKey=secret
cloud.aws.region.static=us-east-1
cloud.aws.credentials.instanceProfile=true
cloud.aws.stack.auto=false
我的ItemReader：
@Bean
It
浏览 10提问于2017-07-27得票数 1
回答已采纳
我正在使用spring batch spring云任务来自动化数据读/写(从文件读取并存储在MongoDb中)。在我的用例中，我有2个步骤(将在成功实现2个步骤后再添加1个步骤)。我正在尝试使用远程分区集成spring cloud任务DeployerPartitionHandler.java类主节点到从节点作为代理，这是我所理解的，而不是使用activemg/rabbitmq spring集成。我已经为我的2个步骤创建了2个分区程序和2个分区处理程序bean。下面是示例代码。我变得越来越不正常了。
2020-03-11 12:03:59 - o.s.batch.core.step.Abstra
浏览 26提问于2020-03-12得票数 1
用例是，我需要轮询远程服务器上的一个文件夹，如果将一个新文件复制到该文件夹，我需要调用一个带有文件内容的REST get API。REST API将使用Spring batch处理文件内容。
我正在尝试使用Spring boot集成来达到这个目的，但是在寻找方法时遇到了问题。Spring Integration最适合这个目的吗？如果是，我可以举一个简单的示例，说明Spring集成如何获取文件并调用REST API？
或者我可以简单地使用Java Watcher服务吗？
浏览 1提问于2021-05-12得票数 0
我是Spring batch的新手。我正在处理一个需求，我需要从Kafka中读取数据，并从读取的数据中创建文件。
经过一些研究，我了解到我需要使用Spring Integration来连接和读取Kafka中的数据。
我已经构建了一个Spring批处理应用程序，其中我使用Spring Integration来连接和读取Kafka中的数据。
我被困在这一点上了，关于如何将从Kafka读取的数据传递到Spring Batch FlatFileItemWriter。
我想知道我从Kafka读取数据的方法(使用Spring Integration)是否正确？如果是，如何将从Kafka读取的数据传递给It
浏览 3提问于2016-11-30得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
腾讯云开发者
