开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用search_after进行分页时按_doc进行的Elasticsearch排序不会保持顺序

Elasticsearch是一个开源的分布式搜索和分析引擎，广泛应用于云计算领域。在使用search_after进行分页时按_doc进行的Elasticsearch排序不会保持顺序的原因是，按_doc排序是根据文档的内部唯一标识进行排序，而不是根据文档的实际内容进行排序。

具体来说，按_doc排序是根据文档在索引中的存储位置进行排序的。当使用search_after进行分页时，Elasticsearch会根据上一页的最后一个文档的_doc值来确定下一页的起始位置，然后按照存储位置进行排序。由于Elasticsearch的分布式特性，文档可能会被分散存储在不同的分片中，而分片之间的存储位置是无法保证顺序的。因此，按_doc排序不会保持文档的实际顺序。

为了解决这个问题，可以使用其他字段进行排序，例如按时间戳字段进行排序。通过在搜索请求中指定排序字段，并使用search_after参数来指定上一页的最后一个排序值，可以实现分页并保持正确的顺序。

腾讯云提供了Elasticsearch服务，称为云原生分布式搜索引擎Tencent Cloud ES。它是基于开源的Elasticsearch构建的，提供了高可用、高性能的分布式搜索和分析能力。您可以通过腾讯云官网了解更多关于Tencent Cloud ES的信息和产品介绍。

Tencent Cloud ES产品介绍链接：https://cloud.tencent.com/product/es

相关搜索:ElasticSearch没有按正确的顺序对文件名进行排序按列对完整的pandas数据帧进行排序，同时保持序列顺序如何在使用分页时按修改日期对帖子进行排序？按顺序对数据帧的行进行排序，而不会出现索引问题如何使用VBA按字母顺序对具有标题的列进行排序使用多个对象时，Elasticsearch无法按日期排序[No query_string found for [[object Object]]以进行排序]使用qsort()使用函数指针按用户需要的顺序进行排序的C代码在使用ggplot2绘图时，排列不会按预期对数据进行排序使用compareTo方法按字母顺序对ArrayList中的新条目进行排序使用django中的标题按字母顺序对数据库进行排序使用for、mv和grep对BASH单行按字母顺序排序的大容量文件进行排序按字母顺序对列表进行排序，而不使用python中的排序方法更有效。如何使用compareTo方法按字母顺序对字符串的ArrayList进行排序？如何使用基于域的列表按字母顺序对字符串数组进行排序如何使用arraylist按自己的顺序对raw文件夹中的歌曲进行排序如何使用指针按字母顺序对双指针数组中的字符串进行排序如何在Vue中使用经过竞争的函数来按字母顺序对json进行排序？使用C++中的合并算法(按字母顺序)对字符串矩阵进行排序根据特定列对矩阵进行排序，并在保持第一个排序顺序的同时，使用另一列对其进行进一步排序如何使用不同的语言(西班牙语、法语、俄语等)按字母顺序对数组进行排序用php？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Elasticsearch中的三种分页策略深度解析：原理、使用及对比

Elasticsearch提供了三种主要的分页方式：from + size、scroll和search_after。下面详细介绍这三种分页方式的特点和使用场景。...当你执行一个带有 search_after 参数的搜索查询时，Elasticsearch 会：排序和返回结果：首先，Elasticsearch会像普通搜索一样执行查询，并根据指定的排序字段对结果进行排序...适用场景：适用于需要按顺序获取大量数据的场景，如数据导出。 search_after 原理：通过指定上一页最后一个文档的排序值来获取下一页数据。需要配合sort字段使用。...优点：在深度分页时性能较好，因为它避免了全局排序和大量网络传输。可以随机访问页面。缺点：需要确保每次请求都使用相同的排序字段和顺序。...结语在选择Elasticsearch的分页方式时，需要根据具体的需求和使用场景来权衡各种方式的优缺点。

1.6K1 0

Elasticsearch - 闲聊ElasticSearch中的分页

其中一个常见的问题是深度分页，也就是当我们需要获取大量数据时，ElasticSearch需要处理的数据量太大，导致性能下降。...Elasticsearch 深度分页问题的本质是在进行分页查询时，由于每个分片都需要生成大量的数据，并将这些数据发送到协调节点进行汇总，因此随着查询深度的增加，每个分片需要生成的数据条数也越来越大，从而导致查询效率降低...---- Scroll Scan与Scroll的区别 Scroll-Scan结果没有排序，按index顺序返回，没有排序，可以提高取数据性能。...因此，官方不推荐使用 Scroll 来进行实时的分页查询，而是适合于大批量的拉取数据。 Search_After 是一种业务折中方案，不允许指定跳转到页面，而只提供下一页的功能。...因此，深分页问题必须避免，如果需要进行分页查询，可以使用其他更为适合的查询方式，比如限制条件和排序等。

3773 0

ElasticSearch分页查询的3个坑

然后协调节点需要对全部（100010 * 分片数4）的结果进行排序，然后返回前10个记录。可以看到，在分布式系统中，对结果排序的成本随分页的深度成指数上升。...Search After 查询 search_after 参数使用上一页中的一组排序值来检索下一页的数据。使用 search_after 需要具有相同查询和排序值的多个搜索请求。...搜索的查询和排序参数必须保持不变。如果提供，则 from 参数必须为 0（默认值）或 -1。...如果您需要在分页超过 10000 个点击时保留索引状态，请使用带有时间点 (PIT) 的 search_after 参数。...并且保留上下文需要足够的堆内存空间。适用场景全量或数据量很大时遍历结果数据，而非分页查询。「官方文档强调：」不再建议使用scroll API进行深度分页。

4.2K1 0

干货 | 全方位深度解读 Elasticsearch 分页查询

2.2 search_after 查询 2.2.1 search_after 查询定义与实战案例 search_after 查询本质：使用前一页中的一组排序值来检索匹配的下一页。...前置条件：使用 search_after 要求后续的多个请求返回与第一次查询相同的排序结果序列。也就是说，即便在后续翻页的过程中，可能会有新数据写入等操作，但这些操作不会对原有结果集构成影响。...4 代表——隐含的排序值，是基于_shard_doc 的升序排序方式。官方文档把这种隐含的字段叫做：tiebreaker （决胜字段），tiebreaker 等价于_shard_doc。...scroll 查询适用场景全量或数据量很大时遍历结果数据，而非分页查询。官方文档强调：不再建议使用scroll API进行深度分页。...如果要分页检索超过 Top 10,000+ 结果时，推荐使用：PIT + search_after。

5.5K2 0

【ES三周年】ES查询—海量数据搜索深度分页优化

Scroll查询只搜索到了所有的符合条件的 doc_id (官方推荐用 doc_id 进行排序，因为本身缓存的就是 doc_id ，如果用其他字段排序会增加查询量)，并将它们排序后保存在search context...分页 search_after 查询: 使用上次查询的最后一条数据来进行下一次查询。...图片图片图片具体使用方法：第一次请求时，会返回一个包含 sort 排序值的数组在下一次请求时，可以将前面一次请求返回结果中 sort 排序值用于入参，以便抓取下一页的数据例如ES 共有...缺点由于无状态查询，因此在查询期间的变更可能会导致跨页面的不一致。排序顺序可能会在执行期间发生变化，具体取决于索引的更新和删除。至少需要制定一个的不重复字段来排序。...图片在 7.10以后版本中，ES官方不再推荐使用Scroll方法来进行深分页，而是推荐使用带PIT的 search_after 来进行查询。图片 PIT可以被看为存储索引数据状态的轻量级视图。

3.9K21 9

elasticsearch的分页查询的用法与分析

在elasticsearch中分页查询主要有两种方式，from size分页查询与scroll深度分页查询。一.from size分页查询使用from和size参数来进行分页查询。...from size这种方式对elasticsearch返回的数据进行分页时，使用方式上类似于关系型数据库的limit offset,offset；在日常搜索场景下，我们可以通过对结果进行评分的排序，来提高搜索结果的相关性...设置from参数来指定查询结果的起始位置,size参数来指定每页返回的文档数量。当我们使用这种方式进行分页查询时，elasticsearch默认上限为10000条数据。..._shard_doc作为索引分片与文档在lucene内部的id的组合生成的唯一值，在我们的搜索请求中，我们可以自定义对齐排序。...当我们需要获取下一页结果时，只需要将上一次命中的排序值，作为参数，重新执行一次search_after请求即可。

87211 2

Elasticsearch入门指南：构建强大的搜索引擎（下篇）

确保您使用了正确的字段和排序方向。确认分页和排序顺序：在 Elasticsearch 中，分页和排序的执行顺序是不同的。首先应用排序，然后再进行分页。...考虑数据更新和刷新：如果您在对索引进行分页和排序的过程中同时进行了数据更新，可能会导致结果不正确。这是由于Elasticsearch的默认刷新机制，数据更新不会立即可见。...考虑使用游标（cursor）：如果您需要进行大量的分页操作，并且希望确保结果的准确性，可以考虑使用游标（cursor）功能。游标允许您在连续的分页请求之间保持查询的上下文，并确保每个请求的数据一致。...这可以通过使用search_after参数或基于Scroll API来实现。如果您遇到分页和排序结果不正确的问题，请检查上述解决方法并逐一排查可能的原因。...根据具体情况调整查询语句、分页参数、排序参数和索引设置，以确保分页和排序的结果准确无误。当在 Elasticsearch 中进行分组（Group By）查询时，可能会遇到数据不一致的情况。

2262 0

Elasticsearch 6.x版本全文检索学习之Search的运行机制

DFS Query-then-Fetch是在拿到所有文档后再重新完整的计算一次相关性算分，耗费更多的cpu和内存，执行性能也比较低下，一般不建议使用。 4、Elasticsearch之排序。　　...如果text类型的字段进行排序会报错，但是使用text类型的字段后面.keyword是可以返回预期结果的。 ? ? Fielddata和DocValues的对比。如下所示： ?...什么时候直到不用doc values，明确知道不需要按照这个字段进行排序，不需要按照这个字段做聚合分析，将这个字段doc values关闭，关闭以后加快索引速度，减少磁盘空间占用。 ?...b、Scroll，遍历文档集的api，以快照的方式来避免深度分页的问题。注意点，不能用来做实时搜索，因为数据不是实时的、尽量不要使用复杂的sort条件，使用_doc最高效、使用稍嫌弃复杂。...适用场景，需要全部文档，如导出所有数据的功能。 ? c、Search_after，避免深度分页的性能问题，提供实时的下一页文档获取功能。

4772 0

Elasticsearch：使用search after实现深度分页

Elasticsearch：使用from+size 实现分页 Elasticsearch：使用游标查询scroll 实现深度分页本文将介绍Elasticsearch 中的另外一个搜索分页方法：search_after...但是在深度分页的情况下，这种使用方式效率是非常低的，并发一旦过大，还有可能直接拖垮整个Elasticsearch的集群。...输出结果如下图所示：注意：当我们使用 search_after 时，from 值必须设置为 0 或者 -1。 search_after 不支持自由跳转到随机页面。...它与 scroll API 非常相似，但也有所不同，search_after 参数是无状态的，它始终针对最新版本的搜索器进行解析。...因此，排序顺序可能会在执行期间发生变化，具体取决于索引的更新和删除。来源： https://www.toutiao.com/article/7104063162550469131/?

8K1 0

Elasticsearch使用：Search After API

一般的分页需求我们可以使用form和size的方式实现，但是这种分页方式在深度分页的场景下应该是要避免使用的。...深度分页会随着请求的页次增加，所消耗的内存和时间的增长也是成比例的增加，为了避免深度分页产生的问题，elasticsearch从2.0版本开始，增加了一个限制：索引设置max_result_window...建议使用滚动Scroll api进行有效的深度滚动，但是滚动上下文开销很大，不建议将其用于实时用户请求。search_after参数提供了一个活动游标，从而绕过了这个问题。...否则，具有相同排序值的文档的排序顺序将是未定义的。建议的方法是使用字段_id，它肯定包含每个文档的一个唯一值。上面的请求会为每一个文档返回一个包含sort排序值的数组。...它与滚动API非常相似，但与之不同的是，search_after参数是无状态的，始终会针对最新版本的搜索程序进行解析。因此，排序顺序可能会在步行过程中更改，具体取决于索引的更新和删除。

5.3K6 1

一起学Elasticsearch系列-深度分页问题

深度分页的性能问题和危害首先我们要达成一个共识：分页查询的时候数据肯定是按照某种顺序排列的，ES中如果不人工指定排序字段，那么最终结果将按照相关度评分排序。...然后，每次使用滚动上下文来获取下一批结果时，Elasticsearch都会根据该上下文重新执行查询以返回新的结果。这样可以确保在整个滚动搜索过程中，能够按顺序逐步获取完整的结果集。...如果需要持久化查询结果或经常使用相同的滚动上下文进行查询，可能需要考虑其他方法，如将结果存储在自定义的数据结构中或使用游标分页等技术。...与初始请求保持一致。 sort：指定按照成绩字段进行倒序排序。与初始请求保持一致。 search_after：指定上一页最后一条数据的排序值，以此作为游标进行下一页查询。...：结果排序：Search After依赖排序字段进行分页，需要指定相应的排序方式。

5211 0

Elasticsearch Search APIs

，可选值如下： min 选择数组中的最小值，用于字段排序 max 选择数组中的最大值，用于字段排序 sum 使用数组中所有值总和，用于字段排序，仅限于字段值由数字组成的数组 avg 使用数组中所有值的均值...，用于字段排序，仅限于字段值由数字组成的数组 median 使用数组中所有值的中位数，用于字段排序，仅限于字段值由数字组成的数组按如下方式创建一些文档记录 PUT /product/fruit...方案：把sort中的参数值，按出现顺序，依次传递给search_after POST /fenxi/fenxishuj/_search?...一一对应(数量&顺序的对应)。...2、使用了search_after的情况下，如果要使用from参数，参数值只能为0 、-1 参考资料： https://www.elastic.co/guide/en/elasticsearch/

1.6K4 0

从ES底层原理来看查询优化

查询时需要解压存储结构如下: 需要注意的是从上图可以看出 _source 是 stored field 的第一个字段，会优先读取 doc_value Fields(列存储模式) doc_value...ES 在 6.0 以上版本提供 Index Sorting 功能通过数据排序(类似 mysql 的二级索引能力， Elasticsearch会结合索引排序和查询条件对结果进行排序。...search_after 查询，值为 _sort 返回的结果相比 scroll api， search_after 会更加的高效和实时，但是 search_after 参数使用上一页中的一组排序值来检索下一页的数据...(增加一个条件查询排序值 > 上一页排序值 )使用 search_after 需要具有相同查询和排序值的多个搜索请求。...保持打开 1min 请求成功会返回一个 x-elastic-id, 后续的请求中要使用这个值下一次请求的 search_after 中添加 x-elastic-id 来进行翻页总结: pit 的缓存复用率是比

6872 0

SpringBoot连接Elasticsearch实战总结

使用elasticsearch官方依赖使用IDE初始化Springboot时勾选elasticsearch即可，或者你也可以直接添加如下依赖： <groupId...距离排序在jestClient中有一个按距离和时间排序的例子，是先按时间排序再按距离排序，目的是返回距离。...es是可以按多个字段排序的，靠前的为优先匹配排序，最后的排序结果会在返回的sort数组中返回，数组中的位置即排序的匹配位置，我这里将返回的距离提取出来放到map中。...使用 search_after 参数的时候，from参数必须被设置成 0 或 -1 （当然你也可以不设置这个from参数） searchafter 需要使用一个唯一值的字段作为排序字段，否则不能使用searchafter...search_after不能自由跳到一个随机页面，只能按照 sort values 跳转到下一页。排序与相关性默认情况下，返回的结果是按照相关性进行排序的——最相关的文档排在最前。

4K3 0

ES的深度分页解决方案

es search_after也不适合做深度分页，分页多了，内存不够，将查询失败。我们在分页的时候如果用from+size的话，from + size 默认不能超过1万条数据。...若使用scroll的话，尽管能读取许多数据，但是查询出来的结果都是无序的。对于深度分页，到底有没有比较理想的解决方案，既能拉取比较多的数据，拉取的数据也都是有序的？...sort进行排序。...同时sort中必须至少包含一个唯一的字段来进行排序，推荐使用_uid（必须有）。同时日志中心的数据，也尽量将es_timestamp加上去一起排序。...缺陷： search_after并不能代替from+ size和scroll，它每第二次读取时，必须要指定查询地址（游标search_after）,实际使用时，只能一页一页的向下翻，而不能跳页查询。

2.4K3 0

Elasticsearch 亿级数据检索案例与原理

，再进行排序或者分数比较后，截取最前面的10条，丢弃490条。...这种机制导致越往后分页获取的代价越高，达到50000条将面临沉重的代价，默认from + size默认如下：index.max_result_window ： 10000 search_after: 使用前一个分页记录的最后一条来检索下一个分页记录...，在我们的案例中，首先使用from+size，检索出结果后再使用search_after，在页面上我们限制了用户只能跳5页，不能跳到最后一页。...7、关于CPU消耗，检索时如果需要做排序则需要字段对比，消耗CPU比较大，如果有可能尽量分配16cores以上的CPU，具体看业务压力。..."doc_values": false -- 关闭不需要字段的doc values功能，仅对需要排序，汇聚功能的字段开启。

1.3K1 0

ElasticSearch 亿级数据检索深度优化

在lucene 4.0版本前通过FieldCache，原理是通过按列逆转倒排表将（field value ->doc）映射变成（doc -> field value）映射，问题为逐步构建时间长并且消耗大量内存...这种机制导致越往后分页获取的代价越高，达到50000条将面临沉重的代价，默认from + size默认如下：index.max_result_window ：10000 search_after: 使用前一个分页记录的最后一条来检索下一个分页记录...，在我们的案例中，首先使用from+size，检索出结果后再使用search_after，在页面上我们限制了用户只能跳5页，不能跳到最后一页。...关于CPU消耗，检索时如果需要做排序则需要字段对比，消耗CPU比较大，如果有可能尽量分配16cores以上的CPU，具体看业务压力。..."doc_values": false -- 关闭不需要字段的doc values功能，仅对需要排序，汇聚功能的字段开启。

5691 0

Elasticsearch深度分页方案

在 Elasticsearch 中处理深度分页时，需要考虑性能和效率问题。 ◆ 以下是几种常见的解决方案和策略： 1....Search After 为了提高深度分页的性能，可以使用search_after 参数。这个方法允许在上一个查询的最后一个文档之后继续搜索，而不是从头开始。...这种方式比传统的基于页码的分页更有效，尤其是在检索位于结果集较后部分的文档时。 search_after 通过维护一个实时游标来避免Scroll API 的缺点，它可以用于实时请求和高并发场景。...Elasticsearch 7.10 引入了 PIT（Point In Time） API，用于保持搜索上下文的稳定性，这对于深度分页非常有用。它保证了在分页过程中索引的变更不会影响结果的一致性。...在许多应用场景中，避免深度分页可能是最好的策略。例如，可以通过改进搜索算法和结果的相关性来限制用户必须翻阅的页面数，或者提供更精确的过滤器来缩小结果集。对查询本身进行优化也可以提高深度分页的效率。

3600 0

ElasticSearch 亿级数据检索深度优化

在lucene 4.0版本前通过FieldCache，原理是通过按列逆转倒排表将（field value ->doc）映射变成（doc -> field value）映射，问题为逐步构建时间长并且消耗大量内存...这种机制导致越往后分页获取的代价越高，达到50000条将面临沉重的代价，默认from + size默认如下：index.max_result_window ：10000 search_after: 使用前一个分页记录的最后一条来检索下一个分页记录...，在我们的案例中，首先使用from+size，检索出结果后再使用search_after，在页面上我们限制了用户只能跳5页，不能跳到最后一页。...关于CPU消耗，检索时如果需要做排序则需要字段对比，消耗CPU比较大，如果有可能尽量分配16cores以上的CPU，具体看业务压力。..."doc_values": false -- 关闭不需要字段的doc values功能，仅对需要排序，汇聚功能的字段开启。

7185 0

ES性能优化实战，几十亿数据查询 3 秒返回！

这种机制导致越往后分页获取的代价越高，达到 50000 条将面临沉重的代价，默认 from+size 默认如下： index.max_result_window ：10000 search_after...：使用前一个分页记录的最后一条来检索下一个分页记录。...在我们的案例中，首先使用 from+size，检索出结果后再使用 search_after，在页面上我们限制了用户只能跳 5 页，不能跳到最后一页。...⑦关于 CPU 消耗，检索时如果需要做排序则需要字段对比，消耗 CPU 比较大，如果有可能尽量分配 16cores 以上的 CPU，具体看业务压力。..."doc_values": false -- 关闭不需要字段的doc values功能，仅对需要排序，汇聚功能的字段开启。

1.8K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭