我在一个Spring批处理作业中遇到了一个问题，即读取一个大的CSV文件(几百万条记录)并将其中的记录保存到数据库中。作业使用FlatFileItemReader读取CSV，使用JpaItemWriter将读取和处理的记录写入数据库。问题是，在将另一个项目块刷新到数据库之后，JpaItemWriter没有清除持久性上下文，并且作业以OutOfMemoryError结束。我已经解决了这个问题，方法是扩展JpaI
浏览 68提问于2019-02-18得票数 0
回答已采纳
2回答
我使用spring-batch和spring- data -jpa来读取大型csv数据文件，并使用hibernate将现有条目持久化(或更新)到postgresql数据库中。如何配置spring才能使用批量/批量插入？在配置作业step时，我相应地设置了chunk大小：step.chunk(10000).reader(csvReader).writer(jpaIte
浏览 2提问于2014-12-11得票数 1
1回答
我使用spring-batch作业将大型csv文件的内容持久化到数据库。JpaItemWriter用于持久化，到目前为止还不错。但是现在我想首先检查数据库中是否已经存在一个实体(通过id -- csv中的id字段和数据库中的id字段是相等的)，如果只更新该实体就行了。
这是怎么做到的呢？
浏览 0提问于2014-11-12得票数 2
我使用Spring-Batch读取csv文件，格式化内容并将其写入数据库，如下所示： .reader(flatFileItemReader) .writer(jpaItemWriter);
csv包含一个ID列。
浏览 12提问于2014-11-13得票数 2
回答已采纳
详细信息：此外，应用程序被配置为使用hibernate。-3 - org.springframework.batch.item.database.JpaItemWriter:97 - Writing to JPA with 4 items.
2017-12-03 16:09:44.733 DEBUG - testservice - - jobLauncher-3 - org.spr
浏览 3提问于2017-12-03得票数 8
因此，我尝试了第二种方法:我首先创建父亲，然后通过250个列表创建孩子，然后影响父亲对他们的引用，而不是提交。这就是现在的工作。在这种情况下，Spring Batch对我来说是否有用？他对待这个问题。
浏览 1提问于2013-07-01得票数 1
我有一个使用batch的spring-boot项目。读取工作正常(我从CSV文件中读取)，映射到我的POJO也可以工作(也可以插入到DB中，但不能更新...)。但问题来了:我使用JpaItemWriter和一个具有自动生成的ID (long值)的实体。当我没有在Bean中设置这个Id时，它将是一个带有下一个值的插入(它的工作方式应该是这样的)。当我将Id设置为与数据库中现有条目相同的Id时(H2保存到文件中)，它要么执行另一次插入，要么违反主键。如何在
浏览 3提问于2015-02-07得票数 0
2回答
我们需要在已经使用NoSQL产品(MarkLogic)的应用程序中使用spring batch。我知道，作为一个先决条件，spring-batch使用一些关系表来进行基础设施管理和监控，比如批处理状态等。spring-batch是否提供了一种方法，我们可以通过这种方式将其配置为与NoSQL产品一起使用？
浏览 4提问于2014-05-15得票数 3
3回答
我的项目有这个要求，其中用户上传的CSV文件，这必须推送到sql server数据库。我知道我们可以使用Spring batch来处理大量的记录。但是我找不到任何教程/示例代码来满足我的这一要求。我遇到的所有教程都只是将CSV文件名和内存中的数据库硬编码到其中，如下所示：
用户输入文件按预定时间在共享驱动器位置可用，文件名前缀为例如: stack_overlfow_dd-MM-yyyy HH:mm，每天如何轮询网络共享驱动器每5-10分钟至
浏览 1提问于2018-09-02得票数 0
我有一个spring批处理应用程序，它从csv文件读取数据，传递所有行并对其进行处理，传递所有处理行并将其写入数据库。非常经典。现在我的问题是csv文件太大了，我有一个java heap space，所以我想我可以通过每x行处理文件来优化它，比如说每10000个lignes (每10000行释放内存，而不是加载内存中的所有行)。有没有办法让spring-batch以递归的方式处理一个步骤？或者有没有其他方法来解决我的问题？
任何建议都
浏览 2提问于2013-05-24得票数 2
回答已采纳
我需要开发一个应用程序来使用Spring Batch执行以下活动。从数据库读取数据-->处理数据并准备rest API请求-->写入或发布到第三方restful服务。我已经看到了很多从数据库读取写入CSV、DB、JMS的示例。但我找不到任何写入web服务的选项。是否可以使用spring batch或建议其他技术来执行此活动。
浏览 0提问于2017-05-27得票数 0
我创建了一个spring批处理，用于查询Azure SQL server数据库并将数据写入CSV文件。我没有数据库的create权限。我在运行批处理时得到了这个错误Invalid Object name BATCH_JOB_INSTANCE。我不希望在主数据库中创建春季批处理元数据表。或者，如果我可以将它们放在另一个本地或内存中的数据库(如h2db )中，将是有帮助的。我还添加了spring-batch-initia
浏览 10提问于2020-09-27得票数 1
2回答
使用Spring批处理的事务管理
、、、、
我发现实际上Spring和我能够设置一些工作。现在，我希望使用Hibernate/JPA将导入的数据保存在数据库中，并一直得到以下错误： return jpaTransactionManager;我使用将数据存储在数据库<
浏览 5提问于2013-07-30得票数 12
回答已采纳
3回答
我一直在尝试使用Spring3.0 SimpleJdbcTemplate，插入1500条记录只需要5分钟，而我只需要几秒钟。直接使用JDBC插入。不确定我做错了什么。
浏览 1提问于2010-08-10得票数 6
1回答
我试图使用Spring (3.0.6)执行一些数据维护操作。我正在读取JPA (Hibernate 5.0.1实现)中的数据，修改它并试图再次使用JPA将其保存回数据库。但是，在查看了我看到的数据库之后，作业执行是成功的，实际上只有几个条目被修改了(所有条目都应该被修改)。数据似乎没有正确地刷新/事务没有提交，日志显示所有项都在适当的处理器和适当的编写器中处理。/schema/batch/spring</
浏览 2提问于2016-04-12得票数 0
1回答
我正在使用Spring Batch。我必须读取一些复杂的xml文件，并将它们写入数据库。xml文件看起来像这样： <?xml version="1.0" encoding="UTF-8"?我尝试在ItemProcessor中拆分KC元素，但这不是一个好主意，对吧？我在某处读到输入记录和输出记录的数量必须相等。有没有人有办法或模式来解决这个问题？@Bean return
浏览 19提问于2019-12-17得票数 1
回答已采纳
我正在使用Spring batch和spring boot。我在处理多个文件时遇到问题。ajay, 22, 2000Sourcefile2.txt：vijay, india我想使用spring boot和spring batch来处理这些文件。
浏览 0提问于2017-05-24得票数 0
我的项目有这个要求，其中用户上传的CSV文件，这必须推送到mysql数据库。我知道我们可以使用Spring batch来处理大量的记录。但是我找不到任何教程/示例代码来满足我的这一要求。我遇到的所有教程都将CSV文件名硬编码在其中，如下所示：
我需要使用用户上传的文件并对其进行相应的处理。这里的任何帮助都将不胜感激..如果没有Spring batch，有没有其他方式将上传的CSV数据插入
浏览 3提问于2017-11-23得票数 4
回答已采纳
3回答
我试图在Spring应用程序的方法级别上使用Spring (@Cacheable注释)，但与其他google番石榴缓存不同，我不知道Spring是否会导致内存泄漏问题。我想它应该是内存，但是Spring本身会自动清除它吗？如果没有，当可能有数以百万计的请求进入应用程序时，这会引发内存泄漏问题吗？我的用例是，我每个请求都有一个很重的方法，而且我希望在当前请求期间只执行一次该方法，在请求完成后，不需要将
浏览 12提问于2022-05-18得票数 0
2回答
我试图使用SpringBoot JPA将类似100 k项(实体)插入到数据库中。但是JVM内存不足。是一个JPA存储库：在applicateion.yml中，我放置了以下设置，并希望这样可以避免内存泄漏： properties: generate_statistics: true
jdbc.ba
浏览 0提问于2019-10-11得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
