我想写一个批处理，它从表中读取数据，对数据进行分区，并将其移交给Spring Integration工作流。 批处理和集成工作流都是单独的maven项目，并且集成项目是批处理项目中的依赖项。只有一个分区程序和一个微线程。在这个微线程中，我将数据(出于测试目的而硬编码)放入Spring集成网关。在此之后，我将消息传递到出站通道适配器，该适配器将消息打印到控制台。Integration
浏览 41提问于2021-01-08得票数 0
我在三台机器上运行spring batch作业。例如，数据库有30条记录，每台机器上的批处理作业必须提取唯一的10条记录并对其进行处理。
我读了分区和并行处理，有点迷惑，哪一个更合适？
浏览 2提问于2013-10-20得票数 0
1回答
我目前正在开发Spring Batch POC，并且已经很好地掌握了大多数Spring Batch的实际特性。我目前有一个程序，它使用Spring Integration接收HttpRequest，并使用消息通道最终将作业执行发送到队列中的作业启动器。我们真正想做的是在作业启动器之前实现某种“调度器/负载均衡器”(不太确定该叫它什么)，它将查看当前运行的工作节点和输入文件的大小，并决定作业应该允许多少个工作
浏览 1提问于2012-07-21得票数 2
1回答
我知道spring batch框架是以块为单位处理数据的。然而，我在想，当同样的分块功能可以通过java获得时，为什么我们还需要batch框架。谁能让我知道如果有更多的原因去spring batch框架？
浏览 1提问于2014-11-14得票数 31
回答已采纳
2回答
我发现有三个项目：
我不明白spring-integration和spring-batch之间的区别。我知道spring批处理涉及批处理、多步骤作业、分区、统计、异常处理，如果我们在2GB CSV文件中失败，我们以后可以从那个位置开始。我最初认为spring集成是一组连接到文件、数据库、消息队列、sftp文件等不同端点的方便连接器，但看起来spring批处理可以做到这一点。您能提供使用spring</
浏览 0提问于2019-07-31得票数 2
1回答
其想法是使用Spring批处理在云中激发一群AMQP用户，然后加载廉价任务(如项目ID)并将它们提交给AMQP交换。结果的撰写将由消费者自己完成。
我确实想知道哪些项目已经被处理，这样我就可以监视这个过程了。因此，批次控制过程必须收到消费者的答复。
浏览 3提问于2014-04-12得票数 1
回答已采纳
我希望在后台通过配置为远程分区配置JSR-352批处理作业，而不必在作业定义中显式定义控制器/工作者( JSR-352规范无论如何都不支持)。IBM通过其“多WebSphere”特性提供了此功能，您可以在配置文件(server.xml)中定义远程分区。
我已经看到遗留的Spring Batch能够支持远程分区，但只能通过显式的作业定义。我不想使用遗留的Spring Batch</e
浏览 32提问于2021-03-02得票数 0
最近，我们希望使用Spring添加一个批处理作业(基本原理:管理、监视、调度、在途中任何地方发生故障时重新启动的能力)。由于我们开发了许多连接到公司服务的连接器，所以我们计划在批处理中重用它们，因此我一直在仔细研究Spring批处理和Spring Integration是如何一起工作的(其中包括Spring批处理集成)。我们想到的是使用(已经可用的)组件以某种方式实现Spring批处理任务。在Spring核心级别，我
浏览 1提问于2018-04-09得票数 0
回答已采纳
我正在尝试使用spring批处理远程分区来扩展作业和Apache作为中间件。我知道另一种选择是轮询JobRepository (在我的情况下这很好)，但我不想使用它。=true
spring.kafka.consumer.properties.spring.json.trusted.packages = org.springframework.batch.integration.partition,org.springframewor
浏览 7提问于2021-08-10得票数 0
回答已采纳
我已经创建了一个tasklet来使用Spring-Integration-Batch在SFTP服务器上下载文件。在运行批处理时，似乎没有在AbstractInboundFileSynchronizer中正确设置远程目录，因为哪个程序正在尝试将null与本地目录同步。(AbstractInboundFileSynchronizer.java:315) ~[spring-integration-file-5.1.4.RELEASE.jar:5.1.4.RE
浏览 76提问于2019-05-21得票数 2
我在spring batch中使用部署程序分区处理程序进行远程分区。我希望定期获取每个工作节点的状态，并将其显示给用户。(像心跳)。有什么方法可以做到这一点吗？
浏览 17提问于2021-08-25得票数 1
回答已采纳
1回答
Spring集成-生产者队列容量限制
我们使用带有MessageChannelPartitionHandler的远程分区来发送分区消息到队列(ActiveMQ)，以便对工作人员进行挑选和处理。作业有大量的数据需要处理，许多分区消息正在发布到队列，来自replyChannnel的响应聚合器由于消息超时而失败，因为所有消息都不能在给定的时间内处理。我们还试图通过使用队列容量<integration:queue capacity=&q
浏览 3提问于2021-06-08得票数 0
回答已采纳
我们当前的环境：Spring 5.3.18在较高的层次上，我们的架构意图是将启动线程与执行线程从物理上分离出来，从而在工作节点上跨可用处理器执行繁重的工作负载步骤人们的期望是，在工作系统上，我们可以有一堆松散地在JVM中浮动的“步骤”bean，在“主”JVM上进行分区，通过AMQ传播出去，然后在工人VM中异步地获取和执行。
我已经查看了的文档。给出的示例(实际上，我在互联网上找到的所有示例)
浏览 3提问于2022-08-02得票数 0
回答已采纳
我已经将我的任务配置为远程分区，我通过kafka发送消息，从VM接收请求并试图启动这个步骤，但是它找不到这个步骤。(BeanFactoryStepLocator.java:34) ~[spring-batch-integration-4.1.1.RELEASE.jar:4.1.1.RELEASE]
at org.springframework.batch.integration.partition.StepExecutionRequestHandler.hand
浏览 1提问于2019-04-23得票数 1
1回答
我们通过春季批处理集成远程分区实现了该解决方案，其中管理器通过创建包含页号和偏移量来读取数据的executionContext来处理任务的分区。管理器创建这个executionContext，并将它们放到messagingChannel上(我可以使用rabbitMQ和Kafka主题，不管哪个主题提供了解决方案)。它为每个客户端创建了1个经理和2个工作人员。现在，当两个管理人员都将executionContext推到上时，问题就出现了，工人和工作人员都不知道该选择和执行哪一个。任何关于如何
浏览 3提问于2021-07-07得票数 0
Spring Batch适合处理大量的单个文件吗？
Spring Batch似乎面向以数据为中心的工作。我需要从S3存储桶中拉出数百万个文件，解压缩它们，根据内容执行一些逻辑，然后调用web服务。Spring Batch似乎非常适合这种作业监控，但我不确定用它来做文件处理是不是太过分了。
浏览 1提问于2012-05-15得票数 1
回答已采纳
它工作得很好，我得到了使用spring批处理进行ETL的基本结构的想法。我遵循以下链接：创建一个tasklet，它将执行FTP/SFTP获取。基本上，我正在寻找ETL进程的良好示例，它将涉及以下基本任务: 1.将文件从远程主机(FTP/SFTP)获取到本
浏览 3提问于2020-04-29得票数 0
1回答
我们试图通过允许工作流使用来自WebSphere MQ的消息来在工作流中引入异步处理。我们还希望利用工作流的多个实例。因此，可以有4个工作流实例监听同一队列。这里的问题是，如何确保所有工作流实例被均匀利用，而不是单个实例超载。工作流完全是用Java编写的。我们广泛使用Spring和Hibernate。将向工作流提交消息的流程是用Java编写的。对于消息处理和MQ，我们使用S
浏览 5提问于2014-03-24得票数 0
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
