Lucene是开放源代码的全文搜索引擎工具包，凭借着其强劲的搜索功能和简单易用的实现，在国内已经很普及，甚至一度出现了言搜索必称Lucene的盛景。上个月Lucene的开发团队发布了 Java Lucene 2.3.1 ，相信很多朋友们都用上了。在国内对Lucene的介绍可以分为3块儿： 第一类是：以车东 的Lucene：基于Java的全文检索引擎简介 为代表的基础入门介绍； 第二类是Lucene倒排索引原理和Lucene软件包、实现类的介绍； 第三类是以中文分词为中心的介绍； 任何一个软件，包括所有伟大的软件都有这样或者那样的“缺点”和各自适用的领域，Lucene也不例外。在国内对Lucene这个软件包的批评，似乎没有看到过。可能大家都忙于做项目，纵然Lucene有再大的缺陷，凭借着Lucene良好的口碑，也不会说上一句不是。 今天在阅读LingWay （一个做垂直的语义搜索引擎）的CTO Cedric Champeau 先生的博客是发现有一篇题为：Why lucene isn't that good 为什么Lucene并不是想象的那么棒 的文章：Champeau 开门见山指出了Lucene的6大不足之处，鉴于 Lingway 公司使用Lucene已有好几年的历史，我相信Cedric Champeau的对Lucene的评论还是值得一读。 不选择使用Lucene的6大原因： 6、Lucene 的内建不支持群集。 Lucene是作为嵌入式的工具包的形式出现的，在核心代码上没有提供对群集的支持。实现对Lucene的群集有三种方式：1、继承实现一个 Directory；2、使用Solr 3、使用 Nutch+Hadoop；使用Solr你不得不用他的Index Server ，而使用Nutch你又不得不集成抓取的模块； 5、区间范围搜索速度非常缓慢； Lucene的区间范围搜索，不是一开始就提供的是后来才加上的。对于在单个文档中term出现比较多的情况，搜索速度会变得很慢。因此作者称Lucene是一个高效的全文搜索引擎，其高效仅限于提供基本布尔查询 boolean queries； 4、排序算法的实现不是可插拔的，因为贯穿Lucene的排序算法的tf/idf 的实现，尽管term是可以设置boost或者扩展Lucene的Query类，但是对于复杂的排序算法定制还是有很大的局限性； 3、Lucene的结构设计不好； Lucene的OO设计的非常糟，尽管有包package和类class，但是Lucene的设计基本上没有设计模式的身影。这是不是c或者c++程序员写java程序的通病？ A、Lucene中没有使用接口Interface，比如Query 类( BooleanQuery, SpanQuery, TermQuery...) 大都是从超类中继承下来的； B、Lucene的迭代实现不自然： 没有hasNext() 方法, next() 返回一个布尔值 boolean然后刷新对象的上下文； 2、封闭设计的API使得扩展Lucene变得很困难； 参考第3点； 1、Lucene的搜索算法不适用于网格计算； 详情可以查看：Cedric Champeau 先生的博客：Why lucene isn't that good 为什么Lucene并不是想象的那么棒
然而通过下图，我们不难发现，Lucene的各源码模块，都是对普通索引和搜索过程的一种实现。
Lucene搜索的API类主要有4个 IndexSearch，Query，QueryParser，Hits
=========================================================
package com.lucene.entity; public class Ans { public final static String LUCENE_PATH="/WEB-INF/lucene"; private String name; private String content; public String getName() { return name; } public void setName(String name) { this.name = name; }
lucene 的排序 package cn.itcast.lucene; import java.io.IOException; import org.apache.lucene.document.Document; import org.apache.lucene.queryparser.classic.MultiFieldQueryParser; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.l
Lucene是目前最流行的Java开源搜索引擎类库,最新版本为7.4.0。Lucene通常用于全文检索,Lucene具有简单高效跨平台等特点,因此有不少搜索引擎都是基于Lucene构建的,例如:Elasticsearch,Solr等等。
这里使用的是lucene-4.4.0版本，入门代码所需jar包如下图所示（解压lucene-4.4.0后的目录）：
全文检索是程序开发中非常重要的一个应用，今天带大家来一起学习Java基于Lucene的全文检索机制。 全文检索的概念 1) 从大量的信息中快速、准确地查找出要的信息。 2) 搜索的内容是文本信息(不是多媒体)。 3) 搜索的方式：不是根据语句的意思进行处理。如果要搜索的文本为"西安"，那么含有这些词(西安程序员、西安)就能搜索出来。每一个词都是关键词。 4) 全面、快速、准确是衡量全文检索系统的关键指标。 5) 概括： a) 只处理文本。 b) 不处理语义。 a) 搜索时英文不区分大小写。 b) 结果列表
在好朋友lhelper的帮助下，开始学习全文搜索引擎lucene了。从网上搜索了一些全文搜索的资料后发现这方面的产品很多，光是在http://www.searchtools.com 上你可以查到100多个搜索的工具（包括源代码）。如果你在百度上以“全文搜索”为关键字 搜索的话，会发现除了理论上的介绍以外，大部分的实例都是来自lucene。为什么只有lucene这么广为接受呢？
在资料中的文章文件夹中，有很多的文本文件。这里面包含了一些非常有趣的软文。而我们想要做的事情是，通过搜索一个关键字就能够找到哪些文章包含了这些关键字。例如：搜索「hadoop」，就能找到hadoop相关的文章。
全文检索的引擎工具包，实现了全文检索的类库。 全文检索，将查询的目标对象提取出来构造一套索引，查询索引得到数据结果。
作者简介 ---- 刘光敏: 达观数据搜索组研发技术人员，负责搜索引擎架构的设计和研发，搜索集群健康状况监控模块的开发及维护等。 ---- Lucene是一个高性能、可伸缩的信息搜索(IR)库。它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的开源项目，是著名的Apache Jakarta大家庭的一员，并且基于Apache软件许可。 同样，Lucene是当前非常流行的、免费的Java信息搜索(IR)库。Lucene的检索算法属于索引检索，即用空间来换取时间，对需要检索的文
下面的这个例子摘自Lucene in Action (2010版本)，上面的示例使用的是Lucene 3.x，现在的Lucene最新版本是4.10.3。由于Lucene2.x和3.x，3.x和4.x的API变化还是挺大的，所以书上面的示例不能在4.x下运行。
在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。
最近一段时间由于公司需要 ，模糊搜索出相似的关键词，所以直接考虑使用了lucene。
Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。
1 testLucene 入门程序 package com.shi.lucene; import java.io.File; import org.apache.commons.io.FileUt
ES 很了不起，需要使用搜索技术的互联网公司大半都在使用他，但是它的核心引擎却是另一个开源框架 —— Lucene。ES 只是在 Lucene 的基础上穿了一件华丽的外衣，没有 ES 还会有其它产品来包装 Lucene，比如另一个仅次于 ES 的流行搜索系统 Solr，但是如果没有 Lucene，那 ES 可能就不会存在。这就好比 TiDB 也并不是百分百的中国人自己的存储系统，它的内部存储引擎是 RocksDB，来源于 Facebook，TiDB 也只是在它的基础上穿上的一件华丽的外衣。
“ Lucene索引过程与相关的简介上一篇<Lucene简介与索引过程介绍>我们已经了解过,本篇我们来讲解Lucene查询过程。查询是用户把查询条件获取到目标文档的一个过程。通过用户输入的词Lucene负责匹配相关度最高的文档给予渲染输出。”
Lucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apache Jakarta 家族中的一个开源项目。也是目前最为流行的基于 Java 开源全文检索工具包。
以上是我们java常用的全文搜索引擎框架，很多项目的搜索功能都是基于以上4个框架完成的。
接触搜索/推荐相关工作，也有两年了。工作里对lucene的接触不少，却也不精。最近工作里没有那么忙，因此想通过学习源码的方式，来对lucene进行一个系统的学习。
注：lucene2.0发布版本并不是100%的和 1.4.3 版兼容。也就是说在你用2.0版本的Lucene开发包替换原来的1.4.3版本时，应该让你的应用程序首先和1.9的兼容。
从入门的demo，到了解原理到了解结构，继而学习工具，现在我们可以用Lucene来做简单的数据增删改查操作了
==========================================
你可以到:http://lucene.apache.org/ 了解更新，更全的关于lucene的信息。
整个luncene 流程 下面贴出代码 package com.zuoyan.lucene.demo; import java.io.File; import org.apache.commons
摘要： 最早lucene2.4以及以前，追溯到2008年前后，lucene刚刚引起大家的关注，到后来Nutch、solr的出现，lucene变得更加热。Nutch、Solr的发展，极大推动了lucene的升级。对于一些接触过搜索，使用过lucene、solr的人来说，一般都会感觉lucene、solr很牛.
最近 TL 分享了下 《Elasticsearch基础整理》https://www.jianshu.com/p/e82... ，蹭着这个机会。写个小文巩固下，本文主要讲 ES -> Lucene 的底层结构，然后详细描述新数据写入 ES 和 Lucene 的流程和原理。这是基础理论知识，整理了一下，希望能对 Elasticsearch 感兴趣的同学有所帮助。
最近突然发现本站的全文检索功能失效了，在本地进行调试，发现抛出 TokenStream contract violation异常，很奇怪的异常，因为之前本功能是好好的，也没改动，并且我也没使用TokenStream，异常如下：
这篇博客并不是证明Lucene.net的性能有多强悍，实际上Lucene.net的并发能力并不让人很满意，这得看你怎么用它。
Lucene不是一个完整的全文检索应用，而是一个java语言写的全文检索引擎工具包，他可以很方便的嵌入到各种应用系统中实现信息的全文检索功能。
现在很流行的Solr和Elasticsearch,都是基于Lucene开发的.此外,Eclipse的帮助系统的搜索也是基于Lucene实现的.
在此回复牛妞的关于程序中分词器的问题,其实可以直接很简单的在词库中配置就好了,Lucene中分词的所有信息我们都可以从TokenStream流中获取.
前言 搞检索的，应该多少都会了解Lucene一些，它开源而且简单上手，官方API足够编写些小DEMO。并且根据倒排索引，实现快速检索。本文就简单的实现增量添加索引，删除索引，通过关键字查询，以及更新索引等操作。 目前博猪使用的不爽的地方就是，读取文件内容进行全文检索时，需要自己编写读取过程（这个solr免费帮我们实现）。而且创建索引的过程比较慢，还有很大的优化空间，这个就要细心下来研究了。 创建索引 Lucene在进行创建索引时，根据前面一篇博客，已经讲完了大体的流程，这里再简单说
前言：目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作，不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ，PanGu分词也是对应Lucene3.6.0版本的。不过好在Lucene.net 已经有了Core 2.0版本（4.8.0 bate版），而PanGu分词，目前有人正在做，貌似已经做完，只是还没有测试~，Lucene升级的改变我都会加粗表示。
Luene是一款高性能、可扩展的信息检索库，用于完成文档元信息、文档内容等搜索功能。用户可以使用Lucene 或 基于Lucene的成熟产品Nutch/Solr/Elasticsearch等来快速构建搜索服务，如文件搜索、网页搜索等。
Lucene是开发全文检索功能的工具包，从官方网站下载lucene-7.4.0，并解压。
Elasticsearch 是当前主流的搜索引擎，其具有扩展性好，查询速度快，查询结果近实时等优点，本文将对Elasticsearch的写操作进行分析。
===================================================================
以前经常有人问散仙，如何学好搜索？ 其实这个问题很具有代表性，你可以归纳为一类问题？ 其实，散仙在以前博客的中，也有总结过，回复微信后台回复关键词10查看。 本篇散仙要介绍的内容，是关于如何用Luke查看ElasticSearch的索引，那么为什么会写如此一篇文章呢？ 相信学过或了解过全文检索的朋友们，都知道，搜索的核心的就是倒排索引，之所以我们能够使用Google在互联网的海量的数据中，通过关键词快速定位到我们想要的数据，就是因为倒排索引在这里起了非常大的作用，在搜索中索引通常是不可见的，我
中文分词一直是自然语言处理的一个痛处，早在08年的时候，就曾经有项目涉及到相关的应用（Lunce构建全文搜索引擎），那时的痛，没想到5年后的今天依然存在，切分效果、扩展支持、业务应用等方面依然不甚理想。收费的版本不提了，原因自不必言表，开源版本中，发现之前曾经活跃的版本，大多已经没落（好几年没更新了），存活下来的寥寥无几。我是一个守旧的人，评估版本的选择有些保守，至少目前为止，只看1.0正式版本之后的版本，0.XX的不在考虑范围之内，用了一个周末的时间，对比了十多款的样子，个人感觉源于中科院ICTCLAS的smartcn和IKAnanlyzer效果还是不错的。
本文介绍了如何使用Lucene进行全文检索，包括索引和搜索的创建、文档的添加和删除、搜索结果的排序和格式、高亮显示搜索结果、分页处理、索引的优化和分布式处理等方面的内容。同时，还介绍了如何对搜索结果进行高亮显示和分页处理，以及如何利用Lucene的优化和分布式处理来提高搜索的效率和实时性。
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂的多、困难的多。
链接：https://csxiaoyaojianxian.github.io/javaweb_study08 名称：Lucene使用api的分层开发及内存优化 说明：封装类可直接调用
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
