开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Elasticsearch 7.4集群中的某些东西随着读取超时而变得越来越慢

Elasticsearch是一个开源的分布式搜索和分析引擎，用于处理大规模数据集。它基于Lucene搜索引擎构建，并提供了分布式和高可用性的功能。

在Elasticsearch 7.4集群中，如果某些东西随着读取超时而变得越来越慢，可能有以下几个原因：

硬件资源不足：Elasticsearch对硬件资源要求较高，包括CPU、内存和磁盘空间。如果集群中的某些节点资源不足，读取操作可能会变得缓慢。解决方法是增加节点的硬件资源或者升级硬件配置。
索引设计不合理：索引是Elasticsearch中数据的组织方式，如果索引设计不合理，读取操作可能会变得缓慢。例如，如果索引中存在大量的不必要字段或者过多的分片，都会导致读取性能下降。解决方法是优化索引设计，减少不必要的字段和分片数量。
查询性能问题：查询是Elasticsearch中常见的操作，如果查询语句复杂或者没有正确使用索引，读取操作可能会变得缓慢。可以通过优化查询语句、使用合适的查询类型（如bool查询、match查询等）以及使用索引来提高查询性能。
网络延迟：如果Elasticsearch集群中的节点之间存在网络延迟，读取操作可能会变得缓慢。可以通过优化网络配置、增加节点之间的带宽或者调整节点的位置来减少网络延迟。

对于以上问题，腾讯云提供了一系列的产品和解决方案来帮助用户优化Elasticsearch集群的性能和稳定性：

腾讯云Elasticsearch：腾讯云提供了托管的Elasticsearch服务，用户可以快速创建和管理Elasticsearch集群，无需关注底层的硬件和网络配置。详情请参考：https://cloud.tencent.com/product/es
腾讯云云服务器：腾讯云提供高性能、可扩展的云服务器，用户可以根据实际需求选择合适的配置来满足Elasticsearch集群的硬件资源需求。详情请参考：https://cloud.tencent.com/product/cvm
腾讯云私有网络（VPC）：腾讯云VPC提供了高性能、安全可靠的网络环境，用户可以在VPC中创建Elasticsearch集群，减少节点之间的网络延迟。详情请参考：https://cloud.tencent.com/product/vpc

总之，针对Elasticsearch 7.4集群中某些东西随着读取超时而变得越来越慢的问题，需要综合考虑硬件资源、索引设计、查询性能和网络延迟等因素，并结合腾讯云提供的产品和解决方案进行优化。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

手把手带你搭建 Elasticsearch 集群

通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。 ES主要解决问题：检索相关数据返回统计结果速度要快 1....二、ES 集群及节点类型集群由多个节点构成，每一台主机则称为一台节点，在伪集群中每一个 ES 实例则为一个节点。 ?...默认情况下任何一个集群中的节点都有可能被选为主节点。索引数据和搜索查询等操作会占用大量的 cpu，内存，io 资源，为了确保一个集群的稳定，分离主节点和数据节点是一个比较好的选择。...独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求；预处理节点：也称作 Ingest 节点，在索引数据之前可以先对数据做预处理操作...，并将结果返回；分片的Result在主节点上进行合并，排序后返回给用户；三、搭建 Elasticsearch7.X 伪集群 1、下载 ES 这里我们把 ES 安装在服务器的opt目录下 # 使用华为镜像超快

5826 0

High cardinality下对持续写入的Elasticsearch索引进行聚合查询的性能优化

High cardinality下对持续写入的Elasticsearch索引进行聚合查询的性能优化背景最近使用腾讯云Elasticsearch Service的用户提出，对线上的ES集群进行查询，响应越来越慢...查询越来越慢的语句如下： { "_source": false, "size": 0, "aggs": { "traceId": { "aggs": {...原因分析初步分析查询性能瓶颈就在于聚合查询，但是又不清楚为什么查询旧的索引会比较快，而查询正在写入的索引会越来越慢。...，决定从业务角度对查询性能进行优化，既然对持续写入的索引构建Global Cardinals会越来越慢，那就降低索引的粒度，使得持续写入的索引数据量降低，同时增加了能够使用Global Cardinals...，该模板自带elasticsearch模块，可以使用es的api操作集群。

9.9K12 3

深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之列存（二）

这种结构优化了读取性能，特别是当执行排序、聚合或脚本计算等操作时。二、为什么需要Doc Values 在Elasticsearch中，排序和聚合操作对于处理和分析大量数据至关重要。...这个过程随着词项和文档数量的增加而变得越来越慢，因为每次检查都需要在倒排列表中进行查找。为了解决这个问题，Elasticsearch引入了Doc Values。...当执行排序或聚合操作时，Elasticsearch 会尽可能地从 OS cache 中读取 Doc Values，从而减少对磁盘的直接 I/O 操作，提高性能。...Elasticsearch 还利用 Doc Values 来执行某些类型的过滤操作，如地理位置过滤，因为这些操作需要快速访问文档的字段值。...对于需要处理大量数据和复杂查询的 Elasticsearch 集群来说，理解和优化 Doc Values 的使用至关重要。术因分享而日新，每获新知，喜溢心扉。

4751 0

这份Elasticsearch 工作笔记，值得收藏

从行存读取涉及到解压的开销，列存则可直接取对应字段的部分block，性能会更高：查询body 中的取source 部分： "_source": { "includes": [...ES 写入异常流程总结：如果请求在协调节点的路由阶段失败，则会等待集群状态更新，拿到更新后，进行重试，如果再次失败，则仍旧等集群状态更新，直至1分钟超时为止，超时后则进行整体请求失败处理在主分片写入过程中...; 而对持续写入的索引，每当底层segment发生变化时(有新数据写入导致产生新的Segment、Segment Merge), 就需要重新构建Global Ordinals，随着数据量的增大，字段的唯一值越来越多...，构建Global Ordinals越来越慢，所以对持续写入的索引，聚合查询会越来越慢。...典型的主节点选举可以在1s内完成，相比6.x, es通过延迟几秒钟的时间再进行选举防止各种各样的配置错误，意味着有几秒钟的时间集群不可用增长和缩小集群变得更安全，更容易，并且错误配置导致数据丢失的机会变少了

1.6K6 1

“淘宝京东”构建流式计算卖家日志系统架构的应用实践

日志客户端日志客户端给各个系统提供了一个统一的Api,就类似于Log4j这些日志工具一样，这样使得接入变得方便简洁，就和平常写日志没什么区别。...此外，这里本地数据的落盘和读取都用到了Nio的内存映射，写入和读取的数据又有了进一步的提升，使得我们的业务日志快速落盘，并且能够快速的读取出来发送到Kafka。这也是这一块的优势。...，那就是ElasticSearch。...经过讨论，我们想用一个更能够存数据的东西来存很久不用的日志数据，并且能够提供简单的检索，我们想到了HBase，将最近两个月的数据放在es中，给用户提供多条件的检索，两个月之前的数据我们存放在HBase中...具体的数据流转如下图： ? 遇到的问题随着数据量的增多，对我们服务的要求要来越高了，我们发现，即使是将存储的数据做了冷热分离，查询也非常的忙，并且随着数据量的增多，插入的性能也越来越慢了。

8557 0

干货 | Elasticsearch 趋势科技实战分享笔记

少啰嗦，直接看东西。 1、Elasticsearch 索引的设计 1.1 单一索引还是基于时间的索引？ ? 单一索引的问题： 1）不能更新Mapping。...扩展问题：5.X版本的父子文档实际实现中是一个索引中定义了多个type，到了6.X中实现方式改变为：join方式。注意2：将Set _source设置为false。...2、分片数量= k *数据节点数目（k = 一个足够小的整数，举例：1,2,3） 3、假设你有一个小的索引，并且你有集群中有足够的节点，请尝试使用默认值分片数5。步骤5：评估索引数和类型。...缺点： 1、存储量大（尤其超过3亿条+）； 2、随着数据量增加，聚合受影响，越来越慢。 3、存在高基数问题。方法3：用distinct query实现深入方法待进一步探讨。...4、小结以上内容是Elasticsearch南京分享会20180630上的分享核心笔记。

8611 0

干货 |《深入理解Elasticsearch》读书笔记

Elasticsearch中的每个分片包含多个segment（段），每一个segment都是一个倒排索引；在查询的时，会把所有的segment查询结果汇总归并为最终的分片查询结果返回。...1）磁盘IO操作的代价； 2）速度慢的系统中，段合并会显著影响性能。第7章管理Elasticsearch 1、有了副本机制为什么还需要集群备份？...对这种情况，你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。 2、集群如何备份？使用 snapshot API备份你的集群。...1）垂直扩展向Elasticsearch集群添加更多的资源。制约因素——如：JVM最大支持31GB物理内存。 2）水平扩展索引多分片、多副本，集群中分散处理之。...3）无限的增加刷新时间是没有意义的，因为超过一定的值（取决于你的数据负载和数据量）之后，性能提升变得微乎其微。

2.2K6 1

【Elasticsearch专栏 14】深入探索：Elasticsearch使用Logstash的日期过滤器删除旧数据

导言随着企业业务的不断增长和数字化转型的加速，日志和事件数据在Elasticsearch中迅速积累。这些数据中，有很大一部分是旧数据，它们可能不再需要或者不再相关。...长时间保留这些数据不仅占用大量存储空间，还会降低Elasticsearch集群的性能。因此，有效地删除旧数据变得至关重要。...} } 在上面的配置中，使用了elasticsearch输入插件从Elasticsearch中读取数据。...然后，在命令行中执行以下命令： bin/logstash -f delete_old_data.conf Logstash将开始读取Elasticsearch中符合筛选条件的旧数据，并应用日期过滤器。...随着企业数据量的不断增长和业务的不断发展，有效地管理旧数据变得越来越重要。通过使用Logstash等强大的数据处理工具，可以更好地管理和利用数据资源，为企业的发展提供有力的支持。

2421 0

说一说PHP7性能的变化

我相信很多人都已经知道PHP 7.4 发布了，此版本标志着 PHP 7 系列的第四次特性更新。也有很多人在吐槽，但这些新特性标志着PHP是未来可期的。...此文件可用于预加载其他文件，或通过 opcache\_compile\_file() 函数；在服务器启动的时候，将某些文件永久读取到内存中，之后的请求即可直接从这内存中读取。...利用这个功能，能够将框架，或者是类库预加载到内存中，以进一步提高性能，在ZF框架的测试中,开启opcache.preload后性能提升30%到50%。其实不难发现，过去十年互联网江湖风云变幻。...但其实，性能优化和高并发对企业而言越来越重要，并已经是每个程序员的必备加分项。第一，性能和优化是每个技术和管理人员的进阶必备技能想要进阶更高职位，每个互联网从业人员都需要具备这些知识。...随着业务规模的扩展，公司也越来越需要这样的高级人才。国内也有同样的趋势。但是，做好性能优化和高并发、分布式工作并不容易。

8241 0

初识 ElasticSearch,一个上天下地的搜索引擎 No.158

因为直接使用 Lucene 构建搜索有很多问题，包含大量重复性的工作，所以 Shay Banon 便在 Lucene 的基础上不断地进行抽象，让 Java 程序嵌入搜索变得更容易，经过一段时间的打磨便诞生了他的第一个开源作品...之后，他找到了一份面对高性能分布式开发环境的新工作，在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务，于是决定重写 Compass，将它从一个库打造成了一个独立的 server，并创建了开源项目...搜索引擎就是一个非常难的东西啊，所以我们今天的主角 ElasticSearch 才简单得可贵。...SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”。大蕉的经历说了这么多，你大蕉做了啥？ ?...使用 Logstach，全部同步到 ElasticSearch 就好了，很方便。在每个云主机上，安装一个类似 Agent 的采集器东西，就可以了。

9463 0

Elasticsearch 数据写入原理 | 原创不易

无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库，并通过简单的 RESTful API 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。...在应用开发中，用 Elasticsearch 会很简单。但是如果你直接用 Lucene，会有大量的集成工作。因此，入门 ES 的同学，稍微了解下 Lucene 即可。...三、新文档写入流程 3.1 数据模型如图一个 ES Index （索引，比如商品搜索索引、订单搜索索引）集群下，有多个 Node （节点）组成。每个节点就是 ES 的实例。.../guide/... 3.3.4 merge 过程上面几个步骤，可见 segment 会越来越多，那么搜索会越来越慢？...此时可以被搜到 flush 是缓存中的 segment 文档数据写入到磁盘写入的原理告诉我们，考虑的点很多：性能、数据不丢失等等参考资料：《深入理解 Elasticsearch》 https://

5714 0

搜索 ES 数据写入原理

无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库，并通过简单的 RESTful API 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。...在应用开发中，用 Elasticsearch 会很简单。但是如果你直接用 Lucene，会有大量的集成工作。因此，入门 ES 的同学，稍微了解下 Lucene 即可。...三、新文档写入流程 3.1 数据模型如图一个 ES Index （索引，比如商品搜索索引、订单搜索索引）集群下，有多个 Node （节点）组成。每个节点就是 ES 的实例。.../guide/... 3.3.4 merge 过程上面几个步骤，可见 segment 会越来越多，那么搜索会越来越慢？...此时可以被搜到 flush 是缓存中的 segment 文档数据写入到磁盘写入的原理告诉我们，考虑的点很多：性能、数据不丢失等等（完）参考资料：《深入理解 Elasticsearch》 https

5493 0

【ES三周年】elasticsearch 认知

Elasticsearch能很方便地用于对大量数据进行搜索和分析，充分利用Elasticsearch的水平伸缩性，能够使数据在生产环境中变得更富有价值。...索引方式关系型数据库的索引大多是B-Tree结构，而ES使用的是倒排索引，两种不同的数据索引方式决定了这两种产品在某些场景中新能和速度的差异。...，该查询对整个集群的影响微乎其微。...虽然可以通过索引进行缓解，但是随着数据量的增长，查询速度还是会越来越慢。ES是基于Lucene库的搜索引擎，可以支持全字段建立索引。...6.elasticsearch的主要功能海量数据的分布式存储以及集群管理，能达到服务与数据的高可用以及系统架构的水平扩展。

1.2K4 0

ApacheDoris系列｜Bucket(分桶)数量设置和自动分桶

Bucket(分桶)数量设置不当带来的问题问题描述：上线运行一段时间后，随着越来越多的数据增长，集群每次重启后一周左右，读写就会开始变得越来越慢，直到无法正常进行读写。...分桶数不规范带来的问题 3.1 分桶数太多 Tablet是Apache Doris的最小物理存储单元，集群中的Tablet数量 = 分区数 * 分桶数 * 副本数。...一般发生在Apache Doris上线运行一段时间之后，随着越来越多数据的接入，数量的增长，集群运行一段时间后，读写就变得越来越慢，直到无法正常进行读写。...，文件太大造成Apache Doris后台的Compaction进程变得缓慢，最后造成写入进程，如Broker Load导入失败。...例如这个案例：万亿数据秒级响应，Apache Doris 在360数科实时数仓中的应用 4.

1.2K3 1

ES 面试题

Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群。只有在同一台机器上运行的节点才会自动组成集群。最好使用单播代替组播。...删除和更新也都是写操作，但是Elasticsearch中的文档是不可变的，因此不能被删除或者改动以展示其变更；磁盘上的每个段都有一个相应的.del文件。...flush触发的时机是定时触发（默认30分钟）或者translog变得太大（默认为512M）时；补充：关于Lucene的Segement： Lucene索引是由多个段组成，段本身是一个功能齐全的倒排索引...生成大量长生命周期的对象，是给heap造成压力的主要原因，例如读取一大片数据在内存中进行排序，或者在heap内部建cache缓存大量数据。...查询性能查询性能中routing非常重要, 分合: 在实践过程中,索引越来越大,那么单个shard分片也越来越大,查询速度也越来越慢. 是选择分索引还是分shards?

7263 0

Elasticsearch JVM 堆内存使用率飙升，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第四篇，主要探讨：Elasticsearch JVM 堆内存使用率飙升，怎么办？...能和 kibana 可视化监控结果保持一致： 3.2 垃圾回收日志检查随着内存使用量的增加，垃圾收集变得更加频繁并且需要更长的时间。...你可以在 elasticsearch.log 中跟踪垃圾收集事件的频率和时长。例如，以下事件表明 Elasticsearch 在过去 40 秒中花费了超过 50%（21 秒）执行垃圾收集。...Log 中的 GC 日志了吗？...https://www.elastic.co/cn/blog/three-ways-improved-elasticsearch-scalability 这暗示了什么？必然是：分片越多，检索越慢。

3.5K4 0

使用 Delete By Query API 的方式删除ES索引中的数据

实际是批量删除数据的意思功能：根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。...2，在删除过程中要确定集群磁盘有一定的余量，因为标记删除需要占用磁盘空间。如果磁盘空间不够，这个操作的失败率还是很大的。...Elasticsearch通过在后台进行段合并来解决这个问题。小的段被合并到大的段，然后这些大的段再被合并到更大的段。段合并的时候会将那些旧的已删除文档从文件系统中清除。...在某些特定情况下，我们需要强制Elasticsearch进行segment merging，已释放其占用的大量系统、磁盘等资源。...Segment merging要消耗CPU，以及大量的I/O资源，所以一定要在你的ElasticSearch集群处于维护窗口期间，并且有足够的I/O空间的（如：SSD）的条件下进行；否则很可能造成集群崩溃和数据丢失

37.9K11 1

ES 面试题

Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群。只有在同一台机器上运行的节点才会自动组成集群。最好使用单播代替组播。...生成大量长生命周期的对象，是给heap造成压力的主要原因，例如读取一大片数据在内存中进行排序，或者在heap内部建cache缓存大量数据。...查询性能查询性能中routing非常重要, 分合: 在实践过程中,索引越来越大,那么单个shard分片也越来越大,查询速度也越来越慢. 是选择分索引还是分shards?...主要是比较大的分片 relocation时，会导致分片自动下线，集群可能处于危险状态。在集群高压时，若是 cached ，分片也可能自动下线。 14. ElasticSearch中的分片是什么?...在大多数环境中，每个节点都在单独的盒子或虚拟机上运行。　　索引 - 在Elasticsearch中，索引是文档的集合。

6262 0

一文帮你彻底搞明白ElasticSearch

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。...2）Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。...1.4 ES工作原理当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。这个过程如下图所示： ?...3）SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”。...ES在某些场景下替代传统DB 个人以为Elasticsearch作为内部存储来说还是不错的，效率也基本能够满足，在某些方面替代传统DB也是可以的，前提是你的业务不对操作的事性务有特殊要求；而权限管理也不用那么细

1.2K6 0

明白为什么说：ES 是准实时的！

前言 " 说到 Elasticsearch ，其中最明显的一个特点就是 near real-time 准实时 —— 当文档存储在Elasticsearch中时，将在1秒内以几乎实时的方式对其进行索引和完全搜索...Lucene 一个 Elasticsearch Index 由一个或者多个 shard （分片）组成。而 Lucene 中的 Lucene index 相当于 ES 的一个 shard。...这时候还没有 commit ，但是已经可以被读取了。画图如下：数据从 buffer 到 cache 的过程是定期每秒刷新一次。...translog 会继续累加变得越来越大，当 translog 大到一定程度或者每隔一段时间，会执行 flush。 flush 操作会分为以下几步执行： buffer 被清空。...更重要的是，每个搜索请求都必须轮流检查每个 segment ；所以 segment 越多，搜索也就越慢。

3.5K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭