【Elasticsearch系列三】分词器介绍
原创【Elasticsearch系列三】分词器介绍
原创
1.ik 分词器种类
- standard 分词器
- ik_max_word 分词器
- ik_smart 分词器
2.standard 分词器
GET /_analyze
{
"analyzer": "standard",
"text": "中华人民共和国人民大会堂"
}{
"tokens": [
{
"token": "中",
"start_offset": 0,
"end_offset": 1,
"type": "<IDEOGRAPHIC>",
"position": 0
},
{
"token": "华",
"start_offset": 1,
"end_offset": 2,
"type": "<IDEOGRAPHIC>",
"position": 1
},
{
"token": "人",
"start_offset": 2,
"end_offset": 3,
"type": "<IDEOGRAPHIC>",
"position": 2
},
{
"token": "民",
"start_offset": 3,
"end_offset": 4,
"type": "<IDEOGRAPHIC>",
"position": 3
},
{
"token": "共",
"start_offset": 4,
"end_offset": 5,
"type": "<IDEOGRAPHIC>",
"position": 4
},
{
"token": "和",
"start_offset": 5,
"end_offset": 6,
"type": "<IDEOGRAPHIC>",
"position": 5
},
{
"token": "国",
"start_offset": 6,
"end_offset": 7,
"type": "<IDEOGRAPHIC>",
"position": 6
},
{
"token": "人",
"start_offset": 7,
"end_offset": 8,
"type": "<IDEOGRAPHIC>",
"position": 7
},
{
"token": "民",
"start_offset": 8,
"end_offset": 9,
"type": "<IDEOGRAPHIC>",
"position": 8
},
{
"token": "大",
"start_offset": 9,
"end_offset": 10,
"type": "<IDEOGRAPHIC>",
"position": 9
},
{
"token": "会",
"start_offset": 10,
"end_offset": 11,
"type": "<IDEOGRAPHIC>",
"position": 10
},
{
"token": "堂",
"start_offset": 11,
"end_offset": 12,
"type": "<IDEOGRAPHIC>",
"position": 11
}
]
}3.ik_max_word
GET /_analyze
{
"analyzer": "ik_max_word",
"text": "中华人民共和国人民大会堂"
}{
"tokens": [
{
"token": "中华人民共和国",
"start_offset": 0,
"end_offset": 7,f
"type": "CN_WORD",
"position": 0
},
{
"token": "中华人民",
"start_offset": 0,
"end_offset": 4,
"type": "CN_WORD",
"position": 1
},
{
"token": "中华",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 2
},
{
"token": "华人",
"start_offset": 1,
"end_offset": 3,
"type": "CN_WORD",
"position": 3
},
{
"token": "人民共和国",
"start_offset": 2,
"end_offset": 7,
"type": "CN_WORD",
"position": 4
},
{
"token": "人民",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 5
},
{
"token": "共和国",
"start_offset": 4,
"end_offset": 7,
"type": "CN_WORD",
"position": 6
},
{
"token": "共和",
"start_offset": 4,
"end_offset": 6,
"type": "CN_WORD",
"position": 7
},
{
"token": "国人",
"start_offset": 6,
"end_offset": 8,
"type": "CN_WORD",
"position": 8
},
{
"token": "人民大会堂",
"start_offset": 7,
"end_offset": 12,
"type": "CN_WORD",
"position": 9
},
{
"token": "人民大会",
"start_offset": 7,
"end_offset": 11,
"type": "CN_WORD",
"position": 10
},
{
"token": "人民",
"start_offset": 7,
"end_offset": 9,
"type": "CN_WORD",
"position": 11
},
{
"token": "大会堂",
"start_offset": 9,
"end_offset": 12,
"type": "CN_WORD",
"position": 12
},
{
"token": "大会",
"start_offset": 9,
"end_offset": 11,
"type": "CN_WORD",
"position": 13
},
{
"token": "会堂",
"start_offset": 10,
"end_offset": 12,
"type": "CN_WORD",
"position": 14
}
]
}4.ik_smart
GET /_analyze
{
"analyzer": "ik_smart",
"text": "中华人民共和国人民大会堂"
}{
"tokens": [
{
"token": "中华人民共和国",
"start_offset": 0,
"end_offset": 7,
"type": "CN_WORD",
"position": 0
},
{
"token": "人民大会堂",
"start_offset": 7,
"end_offset": 12,
"type": "CN_WORD",
"position": 1
}
]
}5.mysql 热更新词库
1.下载源码
https://github.com/medcl/elasticsearch-analysis-ik/releases
ik 分词器，是个标准的 java maven 工程，直接导入 idea 就可以看到源码
2.修改源
org.wltea.analyzer.dic.Dictionary 类，160 行 Dictionary 单例类的初始化方法，在这里需要创建一个我们自定义的线程，并且启动它 org.wltea.analyzer.dic.HotDictReloadThread 类：就是死循环，不断调用 Dictionary.getSingleton().reLoadMainDict()，去重新加载词典 Dictionary 类，399 行：this.loadMySQLExtDict(); 加载 mymsql 字典。 Dictionary 类，609 行：this.loadMySQLStopwordDict();加载 mysql 停用词 config 下 jdbc-reload.properties。mysql 配置文件
3.mvn package 打包代码
target\releases\elasticsearch-analysis-ik-7.3.0.zip
4.解压缩 ik 压缩包
将 mysql 驱动 jar，放入 ik 的目录下
5.修改 jdbc 相关配置
6.重启 es
观察日志，日志中就会显示我们打印的那些东西，比如加载了什么配置，加载了什么词语，什么停用词
7.在 mysql 中添加词库与停用词
8.分词实验，验证热更新生效
GET /_analyze
{
"analyzer": "ik_smart",
"text": "喊麦"
}Elasticsearch是一个基于Apache Lucene的开源搜索引擎，它提供了分布式、多租户的搜索服务及数据分析功能。Elasticsearch的架构是面向文档的，它将所有数据存储为JSON文档，每个文档都有唯一的ID，而且处理结构化和非结构化数据非常容易。它使用诸如分片、副本、修订等技术来确保存储方案具备可靠性、高可用性和可伸缩性。Elasticsearch采用基于RESTful API（HTTP）的接口，提供非常完善的查询语句；同时还支持实时字段计算、聚合分析、搜索建议、中文分词以及Geo查询等复杂操作。
Elasticsearch的主要优点包括：
- 分布式设计：Elasticsearch天然支持分布式，可以很容易地横向扩容，处理PB级结构化或非结构化数据。
- 高效的搜索能力：Elasticsearch提供了全文搜索功能，支持模糊查询、前缀查询、通配符查询等，并且具有强大的聚合分析功能。
- 快速的查询速度：Elasticsearch的底层使用Lucene作为搜索引擎，并在此之上做了多重优化，保证了用户对数据查询的需求。
- 易用性：Elasticsearch提供了简单的RESTful API，天生的兼容多语言开发，上手容易，开箱即用。
- 丰富的生态圈：Elasticsearch有丰富的插件和工具，如Logstash、Kibana、Beats等，形成了强大的Elastic Stack生态。
Elasticsearch的使用场景包括：
- 应用搜索：为网站或应用程序提供搜索功能，如电商、社交媒体等。
- 日志记录和日志分析：收集、存储和分析服务器日志、应用日志等。
- 基础设施监控：监控服务器、网络设备等基础设施的性能指标。
- 安全分析：分析安全日志，进行入侵检测和威胁分析。
- 地理位置数据分析：处理地理空间数据，提供地理位置搜索服务。
- 商业智能：对商业数据进行分析，提供决策支持。
Elasticsearch的引入主要是为了应对大数据环境下的海量数据检索和实时分析需求，它通过分布式架构和高效的索引机制，提供了快速的搜索和分析能力。然而，Elasticsearch也存在一些潜在风险，如响应时间问题和任务恢复延迟等，需要通过优化配置和维护来降低这些风险的影响。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
