我正在尝试调用一个分页的API，例如。来自AbstractPaginatedDataItemReader的搜索API。我想继续调用这个API，直到它没有更多的页面数据，我尝试在每个页面之后继续块，似乎批处理没有通过页面1，这是我正在使用的代码和配置 如下所示启动上下文 <batch:job id="fileupload">
<batch:step id="rea
浏览 82提问于2020-06-30得票数 1
1回答
我们创建了一个自定义项目阅读器，它扩展了AbstractPaginatedDataItemReader。Spring-batch允许管理停止或不停止作业的异常(跳过的异常)。在“经典”的spring-batch阅读器中，doRead方法抛出任何Exception。这意味着，如果在读取过程中抛出跳过的异常，则跳过该项并继续运行作业。但在分页读取器中，用于检索下一个数据页的doPageRead方法不会抛出任何异常：
protected abstract Iterator<T> d
浏览 1提问于2017-11-03得票数 3
1回答
但是，我想在读取器中为春季批处理作业实现键集分页。目前，我使用的是JpaPagingItemReader，它使用限制偏移量分页，但由于我处理的数据量很大，JpaPagingItemReader用于获取数据的查询随着偏移量的增加而变得效率低下。键集分页可以用来避免限制偏移分页的限制，但我不知道如何使用keyset分页来实现读取器。我如何实现它呢？编辑:键集分页不包括记录的偏移/跳过，相反，我们将在结果中排序和跟踪一个数字唯一标
浏览 2提问于2021-05-24得票数 1
回答已采纳
在spring-batch中，是否支持使用扫描和滚动功能的Elasticsearch ItemReader？我确实看到了扩展，但这是基于普通的spring数据搜索查询。
浏览 5提问于2015-05-07得票数 0
我正在使用spring social来获取我所有朋友的列表。然而，似乎我可以从facebook图形api获得的朋友数量与facebook在我个人资料中报告的朋友数量并不相同。使用spring社交网站facebook，我似乎只能拥有156个好友。我知道spring社交facebook的分页问题，所以我使用下面的代码。);
} while (batch.size() !facebook集成中存在bug，要么是facebook用户可
浏览 0提问于2012-12-01得票数 0
回答已采纳
我必须使用Webclient进行分页API调用，最后将所有结果组合在一起。例如:人员最新的1000事务处理详细信息。在一次调用中，我将在json response (List)中获得最多100个对象。mainList.addAll(list); break; }
怎样才能在springint startIndex
浏览 22提问于2019-11-27得票数 1
我有一个用例，在这个用例中，我需要从数据库中获取所有记录，并根据每个记录的records.Size中的数据调用REST服务。
完成流程后，我需要生成基于我的业务逻辑的Excel文件。
浏览 0提问于2018-01-23得票数 0
1回答
为此，我将查看Spring-Security3.0，spring的ACL过滤作为post(api调用)操作进行。这方面有两个问题：
它将中断分页查询。即使我在api获取结果之上的层上进行分页(这里使用的是spring-hibernate )，db查询每次都是浪费的，因为它获取并填充所有结果，即使大多数结果注定要在java级别被过滤掉。我看到了解决方案，其中每个查询都附加了acl查询，acl查询在
浏览 3提问于2012-07-05得票数 13
1回答
尽管我们在生产中有10个系统，但目前我们只使用一个系统来运行这个任务(我是spring batch的新手，不知道spring如何支持负载均衡)
因为我们只有一个系统，所以我们将数据源配置为连接到数据库，这里我有以下问题: 1)如果我使用5个线程进行处理，我们将把大量数据发布到JMS队列中。队列将支持巨大的data.Note，我们在生产中有10个系统可以从队列中读取JMS消息。2)使用线程(5)和1生产系统是很好的方法(或者)而不是spring
浏览 4提问于2016-03-14得票数 0
1回答
我一直在努力了解气流。我想知道解决以下问题的最佳方法是什么？我有一个提取步骤，需要运行几次才能到达最后一页。我将知道这是端点返回的最后一页。我不能改变批次的大小，我需要按照页面的顺序来恢复项目。但是，当我收到数据项时，我想执行负载。@task(do_xcom_push=False, multiple_outputs=True)
def transform(
浏览 2提问于2022-09-05得票数 0
1回答
dispatch({ type: EXPORT_BY_LASTMODIFEDDATE_START }); method: "get", dispatch({ type: EXPORT_BY_LASTMODIFEDDATE_ERROR, payload: error }); };后端APIresponse)).orElse(new ResponseEntity<>(H
浏览 3提问于2020-10-09得票数 0
回答已采纳
我正在尝试使用SqlPagingQueryProviderFactoryBean处理表中的一些数据。唯一的问题是，我需要使用"Having“子句，以便只检索需要的信息(有大量的数据是我们不需要的)。
浏览 17提问于2019-02-26得票数 1
我正在尝试为spring-batch创建一个ItemReader。但是阅读器应该在每个chunk上重新调用，并使用chunk参数获取额外的数据(这将导致对url进行某种分页)： .writer(getWriter())}
问:我如何才能做到这一点:在每次chunk迭代中刷新阅读器，并<em
浏览 1提问于2016-05-17得票数 0
假设我的API检索的JSON大约有100个ids及其各自的值。有没有什么JAVA代码可以限制这一点？
浏览 0提问于2020-08-10得票数 0
我有一个用例来提供一个返回用户列表的api。由于有超过10000个用户，因此也需要分页。因为我使用的是Spring data couchbase reactive，所以我找不到一种方法来为我的api实现响应式分页。有没有可能实现分页，api调用者可以通过分页来控制他们想要的记录数量以及他们可以处理的记录数量？
浏览 13提问于2019-04-19得票数 1
回答已采纳
我正在构建一个API，它将调用另一个API并返回结果。我调用的API有一个分页和排序机制，它需要向URL添加以下查询参数： ?pageNumber=1&pageSize=20&sortField=id&sortDirection=asc 现在，我想让我的API在控制器方法中使用一个Spring passed对象作为参数，因此，根据Spring Docs，传递给我的新API的U
浏览 18提问于2020-01-24得票数 8
回答已采纳
使用NamedParameterJdbcTemplate，当我执行一个查询时，它会检索数以百万计的文档。我需要处理所有它们，但它们不必一次全部加载到内存中。我如何批量处理结果集，而不需要应用程序指定额外的查询子句(例如，不在()中使用primary_key )
浏览 1提问于2015-05-07得票数 0
我有spring MVC的spring batch应用程序。在这个应用程序中，我必须调用Google API。API每秒最多有4个请求限制。现在，我必须从spring批处理内部调用google API。所以我有两个问题。 q1:如何实现对Google API的rest调用。我知道Rest模板，但我希望有更好的方法，比如我们在微服务中使用的feign客户端。 q2:如何限制每秒4次<
浏览 46提问于2019-01-15得票数 3
我创建了一个Spring批处理作业，它从MongoDB读取订单并进行rest调用以上传订单。但是，即使MongoItemReader没有读取所有记录，批处理作业也会自动完成。
浏览 54提问于2021-04-15得票数 1
回答已采纳
我有一个spring批处理应用程序，它从DB表中读取记录，并在编写器类中进行REST API调用，以获得要缓存的数据。但是，我观察到并非线程池中的所有线程都在运行。它们只是以4-5个批次运行，因为应用程序需要5个小时才能进行120K调用。下面是spring batch上下文<bean id="myTaskExecutor"
class="org.springframework.scheduli
浏览 0提问于2017-09-20得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
