Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >elastic search 小结

elastic search 小结

原创

作者头像

乐事

修改于 2020-11-30 06:44:50

修改于 2020-11-30 06:44:50

5470

举报

文章被收录于专栏：日常笔记日常笔记

elasticsearch 高效索引原理

termIndex -》 termdic -》postList -》targetData

termIndex 比Mysql的 B+树体积小，可以有效的减少IO次数

and 操作利用bitmap 位运算

TODO

termIndex 写入效率（trie树）

查询到具体数据聚合倒排索引并不擅长无法通过ID快速定位到列数据，DocValues 存储（不存储分词字段，分词字段需要FieldData），luence会按列存文件

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

【ES三周年】一文搞懂 ElasticSearch 和 MySQL 索引的优缺点

数据结构二叉树数据库云数据库 SQL Server sql

这段时间在维护产品的搜索功能，每次在管理台看到 elasticsearch 这么高效的查询效率我都很好奇他是如何做到的。

crossoverJie

2023/02/14

2.1K0

ElasticSearch索引 VS MySQL索引

二叉树数据结构数据库云数据库 SQL Server sql

这段时间在维护产品的搜索功能，每次在管理台看到 elasticsearch 这么高效的查询效率我都很好奇他是如何做到的。

Java团长

2020/10/26

1.5K0

ElasticSearch索引 VS MySQL索引

10张图理解Elasticsearch核心概念

es document elasticsearch lucene trie

Elasticsearch（以下称之为ES）是一款基于Lucene的分布式全文搜索引擎，擅长海量数据存储、数据分析以及全文检索查询，它是一款非常优秀的数据存储与数据分析中间件，广泛应用于日志分析以及全文检索等领域，目前很多大厂都基于Elasticsearch开发了自己的存储中间件以及数据分析平台。

慕枫技术笔记

2023/03/20

7280

10张图理解Elasticsearch核心概念

用了 Elasticsearch 后，查询起飞了！

es 文件存储搜索引擎 lucene/solr 缓存

本文不会关注 ES 里面的分布式技术、相关 API 的使用，而是专注分享下“ES 如何快速检索”这个主题上面。这个也是我在学习之前对 ES 最感兴趣的部分。

杰哥的IT之旅

2021/09/27

4050

全文检索的极致之选：Elasticsearch完全指南

全文检索 elasticsearch 磁盘数据索引

倒序索引也被称为“反向索引”或“反向文件”，是一种索引数据结构。倒序索引在“内容”和存放内容的“位置”之间的映射，其目的在于快速全文索引和使用最小处理代价将新文件添加进数据库。通过倒序索引，可以快速根据“内容”查到包含它的文件。这种数据结构被广泛使用在搜索引擎中，倒排索引有两种不同的索引形式：

用户1413827

2023/11/28

1.1K0

2022最新ES面试题整理（Elasticsearch面试指南系列）「建议收藏」

全文检索存储 es nest 网络安全

看到网上各式各样关于Elasticsearch面试题的文章，但是貌似都不是很全面，所以特意整理了一篇关于常见的ES面试题，已收录至面试专栏，计划更新 10/50 个常见面试题，此次先发出来 10个，后续更新，请关注我的博客，第一时间查看更新。

全栈程序员站长

2022/10/03

9.2K0

2022最新ES面试题整理（Elasticsearch面试指南系列）「建议收藏」

ElasticSearch系列之索引机制学习笔记

es 编程算法数据结构

在上一章的学习，我们对ElasticSearch有了比较清晰的理解，然后本博客继续学习ES中比较重要的核心原理和具体实现。相对于MySQL的索引机制，大部分是基于B+树的，需要我们进行手动创建索引，但是ES的索引是不需要手动创建的，默认是自动创建索引的。所以学习ES的倒排索引可以和MySQL的索引做一个对比，进行学习，思考一下为什么ES的倒排索引可以达到近实时（NRT）的查询效率

SmileNicky

2022/05/10

7210

ElasticSearch系列之索引机制学习笔记

内存吞金兽(Elasticsearch)的那些事儿 -- 数据结构及巧妙算法

es Elasticsearch Service iphone ios 编程算法

ES 本质上是一个支持全文搜索的分布式内存数据库，特别适合用于构建搜索系统。ES 之所以能有非常好的全文搜索性能，最重要的原因就是采用了倒排索引。倒排索引是一种特别为搜索而设计的索引结构，倒排索引先对需要索引的字段进行分词，然后以分词为索引组成一个查找树，这样就把一个全文匹配的查找转换成了对树的查找，这是倒排索引能够快速进行搜索的根本原因。

房上的猫

2021/08/31

5320

内存吞金兽(Elasticsearch)的那些事儿 -- 数据结构及巧妙算法

Elasticsearch 内部数据结构深度解读

Elasticsearch Service 存储数据结构文件存储官方文档

最近知识星球里几个问题都问到了 doc values、store field、fielddata 等的概念。

铭毅天下

2020/10/26

6.1K0

Elasticsearch 内部数据结构深度解读

为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索

Elasticsearch Service 数据库云数据库 SQL Server sql 存储

熟悉 MySQL 的同学一定都知道，MySQL 对于复杂条件查询的支持并不好。MySQL 最多使用一个条件涉及的索引来过滤，然后剩余的条件只能在遍历行过程中进行内存过滤。

Bug开发工程师

2021/03/03

2.7K0

为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索

elasticsearch面试常问问题_java面试题汇总

node.js Elasticsearch Service 搜索引擎 es 文件存储

Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。

全栈程序员站长

2022/10/03

5340

elasticsearch面试常问问题_java面试题汇总

为什么ElasticSearch比MySQL更适合全文索引

Elasticsearch Service lucene/solr 数据库

熟悉 MySQL 的同学一定都知道，MySQL 对于复杂条件查询的支持并不好。MySQL 最多使用一个条件涉及的索引来过滤，然后剩余的条件只能在遍历行过程中进行内存过滤，对这个过程不了解的同学可以先行阅读一下《MySQL复杂where条件分析》。

程序员历小冰

2021/02/20

1.5K0

为什么ElasticSearch比MySQL更适合全文索引

深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之倒排索引（三）

存储数据结构 elasticsearch 内存索引

首先，我们需要了解传统的正向索引。在正向索引中，文档是按照它们在磁盘上的顺序进行存储的，每个文档都有一个与之关联的文档ID。如果我们要查找某个词在哪些文档中出现，就需要遍历整个文档集合，这显然是非常低效的。

公众号:码到三十五

2024/03/19

1.7K0

深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之倒排索引（三）

【愚公系列】2021年11月 Elasticsearch数据库-面试题

Elasticsearch Service 编程算法

1、可以看到，trie 树每一层的节点数是 26^i 级别的。所以为了节省空间，我们还可以用动态链表，或者用数组来模拟动态。而空间的花费，不会超过单词数×单词长度。 2、实现：对每个结点开一个字母集大小的数组，每个结点挂一个链表，使用左儿子右兄弟表示法记录这棵树； 3、对于中文的字典树，每个节点的子节点用一个哈希表存储，这样就不用浪费太大的空间，而且查询速度上可以保留哈希的复杂度 O(1)。

愚公搬代码

2021/12/03

1.1K0

【愚公系列】2021年11月 Elasticsearch数据库-面试题

Elasticsearch 6.x版本全文检索学习之数据建模

Elasticsearch Service 数据库 sql nest

　　答：数据建模，英文为Data Modeling，为创建数据模型的过程。数据模型Data Mdel，对现实世界进行抽象描述的一种工具和方法，通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射。

别先生

2019/11/14

9510

面试题之 ElasticSearch 是如何建立索引的？

数据库存储 elasticsearch 数据索引

现在有了 ElasticSearch，就可以直接使用基于 Lucene 的各种检索功能，ElasticSearch 是一个基于 Lucene 的分布式全文检索框架，在 Lucene 类库的基础上实现，可以避免直接基于 Lucene 开发，这一点和 Java 中 Netty 对 IO/NIO 的封装有些类似。

wayn

2024/03/02

2480

面试题之 ElasticSearch 是如何建立索引的？

何时使用Elasticsearch而不是MySql

TDSQL MySQL 版 elasticsearch

MySQL 和 Elasticsearch 是两种不同的数据管理系统，它们各有优劣，适用于不同的场景。本文将从以下几个方面对它们进行比较和分析：

wayn

2023/08/09

8940

何时使用Elasticsearch而不是MySql

2021年春招Elasticsearch面试题

Elasticsearch Service 编程算法

1、可以看到，trie 树每一层的节点数是 26^i 级别的。所以为了节省空间，我们还可以用动态链表，或者用数组来模拟动态。而空间的花费，不会超过单词数×单词长度。2、实现：对每个结点开一个字母集大小的数组，每个结点挂一个链表，使用左儿子右兄弟表示法记录这棵树；3、对于中文的字典树，每个节点的子节点用一个哈希表存储，这样就不用浪费太大的空间，而且查询速度上可以保留哈希的复杂度 O(1)。

zls365

2021/04/23

1.3K0

2021年春招Elasticsearch面试题

为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案？

elasticsearch 数据库搜索引擎全文检索云数据仓库 for Apache Doris

Elasticsearch 是一款开源的分布式检索引擎，广泛应用于日志分析、全文搜索和数据监控等领域。凭借其强大的实时搜索能力和灵活的查询语言，在市场上获得了广泛认可。然而，在过去两年，我们注意到一个趋势，很多 Elasticsearch 用户倾向于采用 Apache Doris 替代 Elasticsearch。

SelectDB技术团队

2025/03/27

3730

触类旁通Elasticsearch：原理

es ecmascript 数据挖掘编程算法数据库

ES被设计为处理海量数据的高性能搜索场景。海量数据具体说至少应该是数亿文档，而高性能具体说就是从数亿文档中任意搜索需要的信息，应该在秒级返回结果。既然ES的一切都是为了性能而设计，从逻辑设计和物理设计两个角度考察ES的数据组织，对于理解ES的工作原理会有帮助。

用户1148526

2019/05/25

7920

相关推荐

【ES三周年】一文搞懂 ElasticSearch 和 MySQL 索引的优缺点

更多 >

LV.1

这个人很懒，什么都没有留下～

作者相关精选

换一批

加入讨论

的问答专区 >

1解决方案专家擅长1个领域

相关课程

一站式学习中心 >

轻量应用构建训练营

轻量应用服务器

AI代码助手快速上手训练营

腾讯云代码助手

腾讯云开发玩转小程序实战训练营

云开发 CloudBase