**聚合(aggregations)**可以让我们极其方便的实现对数据的统计、分析、运算。例如:
安装中文、拼音分词 https://github.com/medcl/elasticsearch-analysis-ik https://github.com/medcl/elasticsearch-analysis-pinyin 下载和elasticsearch对应的版本,解压后移到plugins目录 root@57d58faf9b1e:/usr/share/elasticsearch/plugins# ls ik pinyin 重启elasticsearch使生效 测试一下 默认分词 curl -H
当用户在搜索框输入字符时,我们应该提示出与该字符有关的搜索项,这种根据用户输入的字母,提示完整词条的功能,就是自动补全了。
Github: https://github.com/Yurunsoft/ChineseUtil
恩,重点说完开始讲故事,这篇文章主要用来总结几种中文字符串比较的方法,以防以后我那次遇到什么特殊的需求。
在elasticsearch中analyzer是用于文本分析与处理的组件。analyzer由字符过滤器,分词器和标记过滤器组成。按照特定的分词算法与顺序对文本进行处理。生成可供搜索与索引的词项。存储于elasticsearch的倒排索引中。在elasticsearch中,分词器均是以插件的形式进行安装。
搞定了中文分词下一个就是要来搞定拼音分词了,拼音分词有分为全拼和简拼 附上: 喵了个咪的博客:http://w-blog.cn Solr官网:http://lucene.apache.org/solr/ PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7.1版本 一,全拼分词 > wget http://files.cnblogs.com/files/wander1129/pinyin.zip > unzip pinyin.zip > mv pinyin4j-2.5.0.jar serve
6.3高亮显示 我们经常使用搜索引擎,比如在baidu 搜索 java ,会出现如下结果,结果中与关键字匹配的地方是红色显示与其他内容区别开来。 solr 默认已经配置了highlight 组件(详见
AutoCompleteBox是一个常见的提高输入效率的组件,很多WPF的第三方控件库都提供了这个组件,但基本都是字符串的子串匹配,不支持拼音模糊匹配,例如无法通过输入ldh或liudehua匹配到刘德华。要实现拼音模糊搜索功能,通常会采用分词、数据库等技术对待匹配数据集进行预处理。某些场景受制于条件限制,无法对数据进行预处理,本文将介绍在这种情况下如何实现支持拼音模糊搜索的AutoCompleteBox,先来看下实现效果。
安装 elasticsearch 的 ik 和 pinyin 分词插件,插件的版本要和 elasticsearch 的版本一致
飞桨语音模型库PaddleSpeech,为开发者提供了语音识别、语音合成、声纹识别、声音分类等多种语音交互能力,代码全部开源,各类服务一键部署,并附带保姆级教学文档,让开发者轻松搞定产业级应用!
ASRT 是一套基于深度学习实现的语音识别系统,全称为 Auto Speech Recognition Tool,由 AI 柠檬博主开发并在 GitHub 上开源(GPL 3.0 协议)。本项目声学模型通过采用卷积神经网络(CNN)和连接性时序分类(CTC)方法,使用大量中文语音数据集进行训练,将声音转录为中文拼音,并通过语言模型,将拼音序列转换为中文文本。基于该模型,作者在 Windows 平台上实现了一个基于 ASRT 的语音识别应用软件它同样也在 GitHub 上开源了。
Elasticsearch 内置的分词器对中文不友好,会把中文分成单个字来进行全文检索,不能达到想要的结果,在全文检索及新词发展如此快的互联网时代,IK可以进行友好的分词及自定义分词。 IK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版,目前支持最新版本的ES6.X版本。 ik 带有两个分词器 ik_max_word:会将文本做最细粒度的拆分;尽可能多的拆分出词语 ik_smart:会做最粗粒度的拆分;已被分出的词语将不会再次被其它词语占有 1.
智能语音技术已经在生活中随处可见,常见的智能应用助手、语音播报、近年来火热的虚拟数字人,这些都有着智能语音技术的身影。智能语音是由语音识别,语音合成,自然语言处理等诸多技术组成的综合型技术,对开发者要求高,一直是企业应用的难点。
由于在技术上和功能上没有什么突破,一直心里的痛就是对QQ拼音分类词库(qpyd格式)的解析,一直无从下手,所以这半年来我一直都没有发布新版本的“深蓝词库转换”。期间也收到了很多朋友的来信,提出了修改意见和建议,我表示非常感谢。最近听闻搜狗细胞词库(scel格式)的内部格式有所改变,最新的词库文件1.5版无法进行解析了,所以我经过调试修改了解析的算法,发布1.6版。
分词器的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类,这是一个抽象类,切分词的具体规则是由子类实现的,所以对于不同的语言,要用不同的分词器。
智能语音技术已经在生活中随处可见,常见的智能应用助手、语音播报、近年来火热的虚拟数字人,这些都有着智能语音技术的身影。智能语音是由语音识别,语音合成,自然语言处理等诸多技术组成的综合型技术,对开发者要求高,一直是企业应用的难点。 飞桨语音模型库 PaddleSpeech ,为开发者提供了语音识别、语音合成、声纹识别、声音分类等多种语音处理能力,代码全部开源,各类服务一键部署,并附带保姆级教学文档,让开发者轻松搞定产业级应用! PaddleSpeech 自开源以来,就受到了开发者们的广泛关注,关注度持续上涨。
elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容
安装elasticsearch的教程数不胜数,本文的安装方式是经过自己测试的,因此分享给有需要的小伙伴,一来是避免小伙伴少走弯路,二来方便后面知识的整合。本文是基于ES 7.6.2的版本进行安装的,话不多说,我们开始吧。
大家好,我是崔庆才。 想必大家在开发项目过程中可能或多或少用到语音识别、语音合成等相关技术,但又不知道哪家的服务好,而且有的收费还贼贵。尤其流式识别更是个难题。 今天我给大家推荐一个流式语音合成库,现在在 GitHub 上已经开源,而且已经斩获 3.1k star,效果很不错,同时这也是业界首个流式语音合成系统,推荐给大家试试。 具体详情大家可以了解下文哈,最后还有直播课,大家感兴趣欢迎扫码了解。 智能语音技术已经在生活中随处可见,常见的智能应用助手、语音播报、近年来火热的虚拟数字人,这些都有着智能语音技术
基于 CC-CEDICT 词典的中文转拼音工具,更准确的支持多音字的汉字转拼音解决方案。
视听语音分离(AVSS)技术旨在通过面部信息从混合信号中分离出目标说话者的声音。这项技术能够应用于智能助手、远程会议和增强现实等应用,改进在嘈杂环境中语音信号质量。
前面我们已经学习了基本的搜索功能以及非常重要的相关度排序的算法。对于大家日常基本的使用来说,其实有之前的内容就已经非常足够了,但是,一个好的工具,总会有一些意外惊喜的,比如说我们今天要学习的内容。
大部分WordPress用户都是懒懒散散,SEO不做好,导致收录频率极低,整天抱怨凉凉。今天无聊时发现Tag可以优化,才发现原来西顾博客也有瑕疵。在此介绍一款插件。
背景: 之前一直是前端直接调用公司公共城市组件获取城市列表,现在由于公共组件不再支持,需要由后端接口提供城市查询,并且按照城市首字母分组展示。
概述:很多时候,会用到地图与天气预报的相结合显示,本文结合web天气插件,实现地图天气预报的结合现实。
或许这也是一种方法论:当针对一个问题有多种方法时,不妨将它们综合起来,或能取各家之长,补各家之短。
还没开始的同学,建议先读一下系列攻略目录:Springboot2.x整合ElasticSearch7.x实战目录
今天我们来学习的一个扩展同时它也是非常小众的一个扩展,其实说白了,或许是根本没什么人用过得扩展。当然,我们也只是出于学习的目的来看看这个扩展到底是什么东西,有什么好玩的地方。
GitHub,一个世界最大的面向开源及私有软件项目的托管平台,你没事的时候刷刷微博、抖音,人家没事的时候刷刷 GitHub ,看看最近有哪些流行的项目,久而久之,这差距就越来越大,这篇文章我就来给大家推荐下我收藏的一些开源类库,不定期更新。
一、前言 最近有点想弄一个站内搜索的功能,之前学过了Lucene,后来又听过Solr这个名词。接着在了解全文搜索的时候就发现了Elasticsearch这个,他也是以Lucene为基础的。 我去搜了几篇Elasticsearch教程,发现很多都是基于linux的,但我linux耍得并不熟,很少用。仅仅会一些简单的命令,等真正去用到linux的时候再慢慢啃吧。 于是发现了一篇写得很好的教程: http://blog.csdn.net/laoyang360/article/details/52244917 首先
常常在业务开发中会遇到大列表的查询需求或者按照各项条件搜索内容,一般的做法往往都是数据库直接搞定,但是到了一定的程度只有这类需求会带来巨大的开销,一个表格中涉及到了5张表的数据,搜索要求从其中3张表的不同字段做到模糊查询,如果还用传统的方式实现起来就很有难度了逻辑和数据库性能就是一个考验,要是如果在A表一个字段是很长的text需要模糊匹配,在B表需要用简拼音搜索,那就难上加难了,solr恰巧就解决了这些问题。
回顾与说明 前面我们把“商品字典”、“商品入库”、“商品库存查询”三个模块已经概括或者详细的演示完了,这些模块涉及到简单数据的增、删、修,也涉及到复杂业务处理的事务、业务层提取,以及MIS系统
在 PHP 中,国际化的功能非常丰富,包括很多我们可能都不知道的东西其实都非常有用,比如说今天要介绍的这一系列的字符排序和比较的功能。
wp 5.7.2 之后修改管理员邮箱需要邮件认证,通过这个插件可以直接修改不用认证。
在日常开发中,我们会使用很多工具类来提升项目开发的速度,而国内用的比较多的 Hutool 框架,就是其中之一。
我们知道在做SEO过程中,写内容是一个非常重要的事情,同时做页面标题优化也是重中之重,这就要求我们利用最简短的文字去覆盖更多的相关关键词,为此,在SEO进阶的道路上,特别是对于百度而言,我们认为你可能有必要去研究一下百度分词算法的相关策略,因此,我们推荐下面这篇相对早期的文章,供大家拓展思维:
人工智能与人类认知世界的维度一致,即主要通过图像、文本和声音三个维度进行感知和交互。图像、文本和声音分别对应计算机视觉CV、自然语言处理NLP、自动语音识别ASR三个重点应用领域
最近在做搜索推荐相关的需求,有一个场景中需要某一列能处理多种分词器的分词匹配,比如我输入汉字或拼音或语义相近的词都需要把匹配结果返回回来。经过一番调研,最终我们选择了elasticsearch来处理数据的索引与搜索,在配置分词器时会发现大多分词器配置中都需要配置analyzer、tokenizer、filter,那么这三个东西分别代表着什么,又有什么样的联系呢?这就是本文要重点讨论的事情。关于如何在elasticsearch中使用分词器[1]以及常用的中文分词器[2]和拼音分词器[3]是什么,该怎么样去配置这些问题不是本文要讨论的重点,链接都已经奉上,需要的自取。本文咱们就来聚焦讨论一下analyzer、tokenizer、filter之间的区别与联系。
翻遍整个 GitHub , Golang 中文转拼音类库, 怎么就这么难找呢? 于是我造了一个轮子: 中文转拼音类库. 目前来说应该是最好用的了. GitHub 传送门: https://github
前段时间根据老谢写的博文,自己也搞了一个SSL证书,由于虚拟主机权限不够我折腾的,所以就入手了一台新加坡的VPS开始折腾。由于SSL证书是要求独立IP的,所以我这换了IP之后需要向证书机构申请重发证书。当证书重发完成之后,就是绑定证书和修改配置文件了,由于之前的证书是由服务商给安装的,再加上nginx下还没有手动安装过证书,只好去找度娘问了。好歹功夫不负有心人,终于让我捣鼓好了。 [box style=”info”] 服务器环境: VPS类型:OpenVZ(oneasiahost) 操作系统:debi
选自arXiv 机器之心编译 参与:刘晓坤、路雪 近年来,基于深度学习的监督语音分离发展很快。本文作者对今年相关研究进行概述,介绍了语音分离的背景、监督语音分离的形成和组成部分,从历史的角度叙述了监督
在写EMLOG版本的Begin主题是做了一个单独的标签页面,按照首字母排列,目前好像没有看见,我也是从独狼那里弄过来的,以下是代码,有需要的朋友可以拿去玩玩。
【新智元导读】《福布斯》今日刊文,指出语音分析蕴含惊人商业潜力:除了客服,如今通过语音分析还能理解人意,甚至检测真假信息。 语音分析不仅包括机器对自然语言理解的理解,还有更多的是语气、情绪和情感。机器想要更好的理解人类,对人类语言背后的含义需要有更准确和深入地理解。通过文章分析可以看到,商业应用已经存在,但是,如何创造更大的商业价值,同时也是更好的社会价值?这需要AI行业技术人员与公司更多的努力。 在电话另一端的客服代理可能没有意识到你不断增长的愤怒,但是记录你通话的计算机却能够察觉。越来越多的公司正在使
少年搭建好的接口: https://t.vzzw.com/douyin/index.php?url=抖音分享内容(可包含中文)&key=common 带两个参数: url:抖音APP分享带短网址的内容
根据数据的某列进行打标签这个操作在数据分析领域极度常用,对于一些较为复杂的打标签方法,Python 与 SQL 都能很好的实现,这篇针对 Python,主要用到 map,apply 与 transform 等函数,从初阶到高阶,体会方法的异同优劣。
领取专属 10元无门槛券
手把手带您无忧上云