在PhraseQuery中包含停用词的Lucene搜索不返回结果 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

Lucene笔记二

.jar * lucene-memory-4.4.0.jar * * * @author Administrator * 对查询出来的结果当中包含的搜索关键字进行高亮... */ public...new SimpleHTMLFormatter("",""); //与query 查询条件进行关联，因为query 包含了搜索的关键字...LuceneUtils.getAnalyzer(), "title", title); //假设我们对一段文本进行高亮，如果这段文本当中不包含搜索关键字...，对这段文本高亮，返回的结果为null System.out.println("高亮过后的hightitle="+hightitle);...} } //title 当中有没有可能不包含搜索的关键字

7211 0

Lucene.net 的性能探究--Lucene.net 的并发处理能力到底有多强？

如果你的轮子是正方形的，那么马力再强劲的发动起都带不起来，对吧。作为一名研发工程师，我相信大多工程师都不会造出一个正方形的轮子来跑车。...接下来先讨论下Lucene.net 的搜索速度：在讨论搜索速度之前，我们可以简单了解一下Lucene是怎么搜索的，涉及到Lucene的search最重要的几个类：表面上： 1....I 我们常用Directory的这几个子类创建IndexReader 实例：FSDirectory，RAMDriectory 。前者表示在文件目录里也就是硬盘中操作索引，后者是加载到内存中操作索引。...构造Query Lucene 的提供了很多Query方式，比如TermQuery 查询文档中某个term是否存在，PhraseQuery 查询文档中两个或多个词是否存在和设定他们之间的距离， FuzzyQuery...,Occur.Must); luceneSearcher.search(booleanQuery,topn); 上面的只是举例，当然在实际开发中是不会一路写下来的。

1.5K0 0

您找到你想要的搜索结果了吗？

是的

没有找到

Spring Boot 中使用 Java API 调用 lucene

在Lucene中，就是使用这种“倒排索引”的技术，来实现相关映射。...QueryParser 是一个解析用户输入的工具，可以通过扫描用户输入的字符串，生成Query对象。 Hits 在搜索完成之后，需要把搜索结果返回并显示给用户，只有这样才算是完成搜索的目的。...在lucene中，搜索的结果的集合是用Hits类的实例来表示的。...TermQuery可以理解成为“词条搜索”， * 在搜索引擎中最基本的搜索就是在索引中搜索某一词条，而TermQuery就是用来完成这项工作的。...* 在Lucene中词条是最基本的搜索单位，从本质上来讲一个词条其实就是一个名/值对。 * 只不过这个“名”是字段名，而“值”则表示字段中所包含的某个关键字。

3.1K5 0

后端技术杂谈3：Lucene基础原理与实践

如何像Google一样，在成千上万的搜索结果中，找到和查询语句最相关的呢？如何判断搜索出的文档和查询语句的相关性呢？这要回到我们第三个问题：如何对索引进行搜索？...此步骤有分几小步：首先，在反向索引表中，分别找出包含lucene，learn，hadoop的文档链表。...所以如果两篇文档都包含search, Lucene，fulltext，这两篇文档的相关性好一些，然而就算一篇文档包含this, a, what，另一篇文档不包含this, a, what，也不能影响两篇文档的相关性...所以在以后分析Lucene的文章中，会常常看到以上理论在Lucene中的应用。...e) 利用查询树搜索索引，从而得到每个词(Term)的文档链表，对文档链表进行交，差，并得到结果文档。 f) 将搜索到的结果文档对查询的相关性进行排序。 g) 返回查询结果给用户。

8483 0

Lucene的不同搜索类型及其作用

“ Lucene对于查询的方式较多，可以实现TermQuery、BooleanQuery、PhraseQuery、 TermRangeQuery等一系列的基于不同类型的词组的检索。...例如查询标题中包含PHP的文档。...TermQuery实现查询标题中包含PHP并且content中同样包含PHP的文档。...(短语搜索) 短语查询提供的是类似于多个关键词的查询，Term输入的只有一个词，而PhraseQuery查询的是一组词。...例如我们输入的查询条件为世界，语言，可能中间缺少了上、最好、的就无法进行检索。那么如果我们想要检索到结果就需要设置slop。

1.5K3 0

要飞起来了，Lucene 高阶查询技巧

图片但是默认的 PrefixQuery 不会对搜索的结果进行排序，它对所有被搜索出来的文档统一打分 1.0，在实现上可以让查询效率快很多，直接省去了收集所有文档进行排序的过程。...图片对数值型的查询结果进行排序是没有意义的，返回的文档 score 值都是默认的 1.0。关于 BKD 树的更多细节，我们后面再继续讨论。...，参数中的两个 bool 值表示是否包含边界值。...短语查询 PhraseQuery 「北京大学」是一个词汇，我们可以使用 TermQuery 关键词查询来快速定位所有包含「北京大学」的内容。...全表遍历 MatchAllDocsQuery 同关系数据库一样，Lucene 也提供了全表遍历查询 MatchAllDocsQuery，它是不走倒排索引的，因为基数太大，所以默认不评分不排序。

1.6K1 0

同义词搜索是如何做到的？

分词的效果直接影响到搜索的效果，比如默认的 HanLPAnalyser 对「北京大学」这个短语的处理是当成完整的一个词，搜索「北京」这个词汇就不一定能匹配到包含「北京大学」的文章。...这里的单词流串联的是带有 Payload 的单词，每个单词都会有一些附加属性，诸于单词的文本、单词在文档中的偏移量、单词在单词流中的位置等。...Lucene 提供了同义词过滤器的默认实现 SynonymFilter，如今在新的版本中它已经被 SynonymGraphFilter 替换，提供了更加精准的实现。...至于为什么 puppy 在单词流中排在第一个位置而不是 dog，这个实际上是不确定的，它也不会对后续的搜索结果产生任何影响。 ?...图片位置对短语查询 PhraseQuery 的影响在上一节我们介绍了 Lucene 自带的短语查询功能，它有一个重要的参数 slop，代表着短语之间的最大位置间隔。

1.6K2 2

lucene思维导图，让搜索引擎不再难懂

Lucene是一套用于全文检索和搜索的开放源代码程序库，一个能够轻松集添加搜索功能到一个应用程序中的简单却强大的核心代码库和API。 Lucene，目前最受欢迎的Java全文搜索框架。...Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。...提供了层面搜索(就是统计)、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和JSON等格式）。所以lucene牛不牛逼！！接下来，我们分为以下几个部分去理解、打开lucene的真面目。...索引时，假设要查询单词 “sales”，lucene先对词典二元查找、找到该词，通过指向频率文件的指针读出所有文章号，然后返回结果。词典通常非常小，因而，整个过程的时间是毫秒级的。...处理，一般用在“国家”或者“ID // Field.Store表示是否在索引中存储原始的域值 // 如果想在查询结果里显示域值，则需要对其进行存储 //

1.7K2 0

Apache Lucene入门教程：强大的全文搜索引擎库

那么，Apache Lucene绝对是你不能错过的技术！我第一次接触Lucene是在几年前的一个项目中。当时需要为一个文档管理系统实现搜索功能，结果发现这玩意儿简直太强大了！...学会它绝对是你技术栈中的一颗明珠！Lucene的核心概念在开始使用Lucene前，我们需要理解几个关键概念：1. 文档(Document)在Lucene中，文档是索引和搜索的基本单位。...这个过程包括：分词：将文本切分成单词或词组大小写转换：通常转为小写以便不区分大小写搜索停用词过滤：移除"the"、"is"等常见词词干提取：将"running"、"runs"转换为基本形式"run"Lucene...索引(Index)索引是Lucene存储文档并实现快速搜索的数据结构。它采用了倒排索引技术，即记录每个词出现在哪些文档中，而不是记录每个文档包含哪些词。.../index"));}```搜索过程也很直观：打开索引、创建查询、执行搜索、处理结果。第一次我惊讶于它的搜索速度之快，即使是大型索引也能在毫秒级返回结果！

4221 0

Lucene&Solr框架之第一篇

为什么数据库中的数据能非常方便的搜索出来？因为数据库中的数据存储在表中，表有行有列有类型有长度，因此才可以通过非常方便的SQL查询结果。也就是说结构化的数据有规律，所以才好进行查找。...，包括：入口提交查询请求（查询关键字）创建查询对象执行查询（从索引库搜索）渲染结果显示查询结果 3.2.索引流程用户将想要搜索的原始数据创建索引，索引内容存储在索引库（index）中。...英语中停词(Stop word)如：”the”、”a”、”this”，中文有：”的，得”等。不同语种的分词组件(Tokenizer)，都有自己的停词(stop word)集合。...首先，在反向索引表中，分别找出包含lucene，learn，hadoop的文档链表。 2....6.4.3.1.扩展词库文件与停用词库文件下载下来的IK压缩包中可能有停用词库，但没有扩展词库，但可以手动创建，但要注意：在创建词库时，不要用windows自带的记事本保存词库文件，因为windows

1.6K1 0

Lucene 7.4 初体验

搜索过程需要对搜索关键词进行分词等处理，然后再引擎内部构建查询，还要根据相关度对搜索结果进行排序，最终把命中结果展示给用户。...中的一个字段核心搜索类 IndexSearcher IndexSearcher在建立好的索引上进行搜索它只能以只读的方式打开一个索引，所以可以有多个IndexSearcher的实例在一个索引上进行操作...AND filePath:a"); TopDocs TopDocs类是一个简单的指针容器,指针一般指向前N个排名的搜索结果,搜索结果即匹配条件的文档 TopDocs会记录前N个结果中每个结果的int...字典还包括包含term的文档编号，以及指向term的频率和接近度的指针 Term Frequency data：对于字典中的每个term，包含该term的所有文档的数量以及该term在该文档中的频率，除非省略频率...（IndexOptions.DOCS） Term Proximity data：对于字典中的每个term，term在每个文档中出现的位置。

7602 0

火力全开——仿造Baidu简单实现基于Lucene.net的全文检索的功能

利用这套API你可以做很多有关搜索的事情,而且很方便.。开发人员可以基于Lucene.net实现全文检索的功能。注意：Lucene.Net只能对文本信息进行检索。...termVector表示如何保存索引词之间的距离。“北京欢迎你们大家”，索引中是如何保存“北京”和“大家”之间“隔多少单词”。方便只检索在一定距离之内的词。...()方法得到搜索结果条数，调用Hits的TopDocs TopDocs(int start, int howMany)得到一个范围内的结果（分页），TopDocs的scoreDocs字段是结果ScoreDoc...数组， ScoreDoc 的doc字段为Lucene.Net为文档分配的id(为降低内存占用，只先返回文档id)，根据这个id调用searcher的Doc方法就能拿到Document了（放进去的是Document...，这个是主键，lucene.net分配 //检索结果中只有文档的id，如果要取Document，则需要Doc再去取 //降低内容占用

1.7K7 0

深度解析 Lucene 轻量级全文索引实现原理

Lucene如此繁杂的索引如何生成并写入，索引中的各个文件又在起着什么样的作用？ Lucene全文索引如何进行高效搜索？ Lucene如何优化搜索结果，使用户根据关键词搜索到想要的内容？...搜索阶段：用户通过查询语句向Lucene发送查询请求；通过IndexSearch下的IndexReader读取索引库内容，获取文档索引；得到搜索结果后，基于搜索算法对结果进行排序后返回。...文档：Lucene会将文档写入段中，一个段中包含多个文档。域：一篇文档会包含多种不同的字段，不同的字段保存在不同的域中。...doc：包含了文档号及词频信息，根据倒排表中的内容返回该文件中保存的文本信息。...3.3 索引查询及文档搜索过程 Lucene利用倒排索引定位需要查询的文档号，通过文档号搜索出文件后，再利用词权重等信息对文档排序后返回。

8373 0

lucene.net 应用资料

第三步执行搜索.并将结果返回到hits集合.需要注意的是Lucene并不是一次将所有的结果放入hits中而是采取一次放一部分的方式.出于空间考虑....在我的一篇速递介绍过Google Desktop Search只能搜索到文本中第5000个字的.也就是google在建立索引的时候只考虑前5000个字,在Lucene中同样也有这个配置功能....查询特定的某个概念当我们搜索完成的时候会返回一个按Sorce排序的结果集Hits. 这里的Score就是接近度的意思,象Google那样每个页面都会有一个分值,搜索结果按分值排列....通过这个引用你可以获得实际的文档.原因很好理解, 如果直接返回匹配文档,数据量太大,而很多的结果你甚至不会去看, 想想你会去看Google 搜索结果10页以后的内容吗?...用[] 和{}分别表示包含和不包含. 3.

5422 0

Lucene.Net实现站内搜索功能

Lucene.net并不是一个爬行搜索引擎，也不会自动地索引内容。我们得先将要索引的文档中的文本抽取出来，然后再将其加到Lucene.net索引中。...2.添加词库文件：包含Dict目录下所有文件 3.如何创建索引： /// /// 创建索引，将数据库中的数据取出来给Lucene索引库 /// protected void CreateContent...PhraseQuery query = new PhraseQuery(); foreach (string word in Common.WebCommon.SplitWord(kw))//将用户输入的搜索内容进行了盘古分词...、 { query.Add(new Term(“msg”, word)); } query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远也就无意义....id,这样不会把查询结果的Document一次性加载到内存中。

1.4K3 0

全文检索原理

搜索简介搜索实现方案传统实现方案根据用户输入的关键词(java), 应用服务器使用SQL语句查询数据库, 将查询到的结果返回给用户....Lucene实现方案根据用户输入的关键词(java), 应用服务器通过Lucene提供的API查询索引库, 索引库返回搜索结果给应用服务器, 服务器再将查询到的结果返回给用户特点: 解决数据量大、用户量大...索引创建：将现实世界中所有的结构化和非结构化数据提取信息，创建索引的过程。搜索索引：就是得到用户的查询请求，搜索创建的索引，然后返回结果的过程。...英语中挺词(Stop word)如：“the”,“a”，“this”等。对于每一种语言的分词组件(Tokenizer)，都有一个停词(stop word)集合。...), 用于读取索引; 创建索引搜索对象(IndexSearcher), 用于执行搜索; 使用IndexSearcher对象, 执行搜索, 返回搜索结果集TopDocs; 处理结果集; 释放资源.

3K4 0

借助 Lucene.Net 构建站内搜索引擎（上）

相信做过站内搜索的.Net程序员应该对Lucene.Net不陌生，没做过的也许会问：就不是个查询嘛！为什么不能使用Like模糊查找呢？原因很简单：模糊查询的契合度太低，匹配关键字之间不能含有其他内容。...Lucene.Net只是一个全文检索开发包，不是一个成型的搜索引擎。它的功能就是负责将文本数据按照某种分词算法进行切词，分词后的结果存储在索引库中，从索引库检索数据的速度灰常快。　　...（2）打开我们的Dict文件并添加一个词组 ? 　　（3）在DictManage.exe中查找词组，然后保存，设置新版本号 ? 　　（4）重新打开页面查看分词结果 ? 　　...从前面介绍可知，数据库中的内容也会转换为文本信息存入索引库，用户在前端搜索时会直接从索引库中获取查询结果。整个流程如下图所示： ? 　　...，并将匹配后的结果显示在repeater列表中； 3.2 创建索引　　核心代码： /// /// 创建索引 /// protected

1.4K2 0

Web-第二十八天 Lucene&solr使用一【悟空教程】

Lucene与搜索引擎的区别全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统，包括建立索引、处理查询返回结果集、增加索引、优化索引结构等功能。...使用索引搜索对象，执行搜索，返回结果集TopDocs // 第一个参数：搜索对象，第二个参数：返回的数据条数，指定查询结果最顶部的n条数据返回 TopDocs topDocs = searcher.search...searcher = new IndexSearcher(reader); // 使用索引搜索对象，执行搜索，返回结果集TopDocs // 第一个参数：搜索对象，第二个参数：返回的数据条数，指定查询结果最顶部的...2.MUST和MUST_NOT前者包含后者不包含。...：该目录包含了在Solr的multicore中设置的多个Core目录。

1.7K1 0

Lucene 高阶查询的六脉神剑 —— QueryParser

，将上面的解析结果变成成「逻辑与」，表示文章中出现「北京」或者「大学」的都会进入查询结果，使用 + 号作为前缀，这里的加号相当于 BooleanQuery 中的 MUST 选项。...field, low, high, startInclusive, endInclusive); } } 我们注意到 IntPoint.newRangeQuery 似乎没有提供边界参数，它默认是不包含边界的...短语查询 PhraseQuery QueryParser 使用双引号来表示短语查询，默认的 slop 是零。...图片很明显评分显著发生了放大，还有一个很重要的改变就是标题中没有「科幻」的文章从前十中消失了。...在文章搜索中，加权是一个必不可少的功能，但是究竟加权多大的值这又是另外一个我们暂时不好回答的问题，随着我们对搜索技术了解的逐步深入，在不久的未来也许我们会有答案。

2.8K4 0

Lucene全文检索技术

htnl. txt 格式不因定、长度不圆定。数据类型不固定。 2. 数据的查询 1)结构化数据的查询 SQL语句。查询结构化数据的方法。简单、速度快。...2)非结构化数据的查询从文本文件中找出包含spring单词的文件。 1.目测 2.使用程序吧文档读取到内存中，然后匹配字符申。顺序扫描。...词对象中包含了最终分词结果。...（手动在扩展词典里面加了新词：“买了否冷”，“传智播客”）注意：如果有新词可以自己手动在扩展词典（hotword.dic）最后添加；如果有其他的无用词或者敏感词汇，也可以自己在停用词词典（stopword.dic...是否存储：将Field值存储在文档中，存储在文档中的Field才可以从Document中获取比如：商品名称、订单号，凡是将来要从Document中获取的Field都要存储。

1.2K1 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭