项目背景
近期工作需要,需要从成千上完封邮件中搜索一些关键字并返回对应的邮件内容,经调研我选择了Elastic Search。
Elastic Search简介
Elasticsearch ,简称ES 。是一个全文搜索服务器,也可以作为NoSQL 数据库,存储任意格式的文档和数据,同时,也可以做大数据的分析,是一个跨界开源产品。ES 有如下特点:
全文搜索引擎, ES 是建立在Lucene 上的开源搜索引擎,可以用来进行全文搜索、地理信息搜索。Wikipedia、 GitHub 、StackOverFlow 等网站均使用ES。
文档存储和查询,可以像NoSQL 那样存储任意格式文档,井能根据条件查询文档。
大数据分析, ES 号称能准确实时地进行大数据分析,数据量从TB 到PB ,国内外很多大公司都用ES 做大数据分析。
ES 提供了阻REST API ,用来简化对ES 的操作。因此可以使用任何语言的客户端,同时也提供Java API。
ES常常配合传统数据库一起使用, ES用来负责大数据的查询、搜索、统计分析。
Elastic Search安装
安装过程参考:
https://www.cnblogs.com/xxoome/p/6663993.html
Elastic Search下载地址:
https://www.elastic.co/downloads/elasticsearch
我的相关系统版本号:
版本号: 6.3.1
jdk: 1.8
操作系统: CentOS 7.0
安装中文插件
默认Elastic Search对中文搜索不是很友好,需要安装相应的插件,安装方法:
进入elastic search安装目录,如/usr/local/elasticsearch/elasticsearch-6.3.1/bin,执行
Elastic Search 的基本概念
ES 有一些基本概念, 掌握这些基本概念对理解ES 有很大帮助。
Index, Index 是文档( Document )的集合, Index 下面包含了Type ,用于对Document进一步分类。可以理解为ES 中的Index 相当于数据库,而Type 相当于数据库中的表,ES 中可以轻易地联合Index 和Type 来搜索数据,数据库却不能。
Type ,用来进一步组织Document , 一个Index 下可以有多个Type ,比如用户信息是一个Type ,用户的支付记录是一个Type 。
Document , 文档是ES 能够存储和搜索的基本信息,类似数据库表行数据, Document为JSON 格式,文档属于Type 。
Node (节点〉,节点是集群里的一台ES Server ,用于文档的存储和查询。应用可以只有一个节点,也可以由上百个节点组成集群来存储和搜索数据。每个节点都有一个节点名字,以及所属集群的名字。
集群,同样集群名的节点将组合为ES 集群,用来联合完成数据的存储和搜索。默认的集群名字是e lasticsearch 。
分区( Shards )和复制( Replicas ),每个Index 理论上都可以包含大量的数据,超过了单个节点的存储限制,而且,单个节点处理那么大的数据,将明显限制存储和搜索性能。为了解决这个问题, E S 会进一步将Index 在物理上细分为多个分区,而且这些分区会按照配置复制到多个节点, Index 的分区称为主分区,复制的分区称为复制分区。这样的好处是既保证数据不会丢失,又提高了查询的性能。
使用REST 访问Elastic Search示例(这里使用linux curl命令模拟http请求)
添加文档
说明:这里增加两条记录,index-instance 表示Index , type-instance表示Type ,数字1和2是文挡的主键,主键可以是任意形式,如果未指定主键, ES 会自动生成一个唯一主键, pretty是可选的, ES 输出的时候会格式化输出结果,更加美观。
执行成功会输出:
根据主键查询
说明: 1是主键。
如果存在结果,则返回:
搜索文档
ES 提供了强大的搜索功能,搜索参数可以在url 后面,也可以放到body 中。使用GET 方法:
说明:这里搜索“机票”,返回:
再次搜索“酒店”:
返回:
使用POST搜索:
返回同样的结果:
注意:因为关键字中含有中文,需要curl进行url编码,所以curl使用参数--data-urlencode,参数-G表示这是一个GET请求,如果不加-G,则默认使用POST请求,则导致elastic search返回一个406不支持的POST错误请求响应。hits 包含了查询结果,在本例中, 只有2 条,_index是index-instance ,_type是type-instance , 主键是1和2,_score是搜索引擎概念, 表示查询相关度, 分数越高,表示此文档与关键字期望的结果的匹配程度高。
除了全文搜索,也可精确搜索,使用term进行精确搜索:
这里查找关键字值food。
如果需要使用翻页功能可以使用:
如果需要知道查询总数,则使用_count代替_search:
返回结果:
如果要联合条件查询, 则可以使用must 关键字:
由于这是一篇科普类文章,所以简单地介绍了一下ES的用法,更多高级用法可参考ES官网。
领取专属 10元无门槛券
私享最新 技术干货