首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

不选择使用Lucene的6大原因

Lucene是开放源代码的全文搜索引擎工具包,凭借着其强劲的搜索功能和简单易用的实现,在国内已经很普及,甚至一度出现了言搜索必称Lucene的盛景。上个月Lucene的开发团队发布了 Java Lucene 2.3.1 ,相信很多朋友们都用上了。在国内对Lucene的介绍可以分为3块儿: 第一类是:以车东 的Lucene:基于Java的全文检索引擎简介 为代表的基础入门介绍; 第二类是Lucene倒排索引原理和Lucene软件包、实现类的介绍; 第三类是以中文分词为中心的介绍;      任何一个软件,包括所有伟大的软件都有这样或者那样的“缺点”和各自适用的领域,Lucene也不例外。在国内对Lucene这个软件包的批评,似乎没有看到过。可能大家都忙于做项目,纵然Lucene有再大的缺陷,凭借着Lucene良好的口碑,也不会说上一句不是。      今天在阅读LingWay (一个做垂直的语义搜索引擎)的CTO Cedric Champeau 先生的博客是发现有一篇题为:Why lucene isn't that good 为什么Lucene并不是想象的那么棒 的文章:Champeau 开门见山指出了Lucene的6大不足之处,鉴于 Lingway 公司使用Lucene已有好几年的历史,我相信Cedric Champeau的对Lucene的评论还是值得一读。 不选择使用Lucene的6大原因: 6、Lucene 的内建不支持群集。         Lucene是作为嵌入式的工具包的形式出现的,在核心代码上没有提供对群集的支持。实现对Lucene的群集有三种方式:1、继承实现一个 Directory;2、使用Solr 3、使用 Nutch+Hadoop;使用Solr你不得不用他的Index Server ,而使用Nutch你又不得不集成抓取的模块; 5、区间范围搜索速度非常缓慢;        Lucene的区间范围搜索,不是一开始就提供的是后来才加上的。对于在单个文档中term出现比较多的情况,搜索速度会变得很慢。因此作者称Lucene是一个高效的全文搜索引擎,其高效仅限于提供基本布尔查询 boolean queries; 4、排序算法的实现不是可插拔的,因为贯穿Lucene的排序算法的tf/idf 的实现,尽管term是可以设置boost或者扩展Lucene的Query类,但是对于复杂的排序算法定制还是有很大的局限性; 3、Lucene的结构设计不好;     Lucene的OO设计的非常糟,尽管有包package和类class,但是Lucene的设计基本上没有设计模式的身影。这是不是c或者c++程序员写java程序的通病?     A、Lucene中没有使用接口Interface,比如Query 类( BooleanQuery, SpanQuery, TermQuery...) 大都是从超类中继承下来的;     B、Lucene的迭代实现不自然: 没有hasNext() 方法, next() 返回一个布尔值 boolean然后刷新对象的上下文; 2、封闭设计的API使得扩展Lucene变得很困难;    参考第3点; 1、Lucene的搜索算法不适用于网格计算; 详情可以查看:Cedric Champeau 先生的博客:Why lucene isn't that good 为什么Lucene并不是想象的那么棒

02

合理选择数据结构

写程序很重要的一点是选择合理的数据结构,不合适的数据结构在如今高性能计算机盛行的情况下,小数据量体现不出什么来,但是在超大数据的时候, 你所面临的困境将会无穷的放大。 在python里主要的数据结构,也就是内置数据结构,包括了列表,元组,字典以及集合。这四种数据结构分别具有不同的特性,影响着python的方方面面。 列表和元组类似于C的数组,但是不同的是,列表是动态的数组,具有着增删改查的操作,元组是静态的数组,本身是不可变的(除非里面包含了可变的容器类) 。那python为啥还要实现元组呢?按照python之禅所述,Special cases aren't special enough to break the rules...There should be one-- and preferably only one --obvious way to do it. 这是因为元组可以缓存于python的运行环境,在每次使用元组时我们都无需去访问内核分配内存,元组和列表代表着两种不同的方式,元组是一个不会改变事物的多种属性,而 列表是保存多个相对独立的对象的集合。 列表的搜索,如果在已知次序的情况下,使用二分法效率会变得很好,但是如前言所述,在相对独立的对象的数据集合中,有序是比较少见的情况,这意味着对列表的搜索 在python内部结构就只能是遍历。python的内建排序不是如《python源码剖析》所述是快速排序,而是Tim排序,这个排序是google发明的,可以在最好的情况下实现O(n)的复杂度排序 ,在最坏的情况下也有O(log(n))。对于数据的搜索, def b_search(i, haystack): imin, imax = 0, len(haystack) while True: if imin > imax: return -1 mid = (imin + imax) // 2 if haystack[mid] > i: imax = mid elif haystack[mid] < i: imin = mid + 1 else: return mid python的二分搜索实现很简单,因为你不需要再考虑内存溢出以及安全性,这些python已经帮你做好了。还有和二分搜索相似的,就是二叉搜索树。至于如果你不想自己实现 你可以选择bisect模块帮你解决这个问题。 元组因为其的不可改变性,对于列表为了其可变性牺牲的额外的内存以及使用它们进行的额外的计算,元组就内存消耗和速度就快的多了。并且小元组在申请了内存后也就是 不会返还给系统,还留待未来使用,在接下来需要新元组时就不需要向系统申请内存了。 下面看看字典和集合,字典在很多语言内都有实现,也就是映射,属于key-value的一种,在python里集合也是类似字典的结构,只不过没有了value,只有key了。 字典和集合的查询无需遍历,只需要计算散列函数就可获得其值,但这也意味着这两种数据结构会占用更大的内存,而且O(1)的复杂度也取决于散列函数的计算复杂度。 字典插入时,会计算键的散列值,理想的散列函数对应的键应该是就是整数,不会出现任何形式的冲突。计算出散列值后,很重要的一点要计算掩码,来得知value应该存放的 位置。对于冲突的处理,python使用的是开放定址法,会在一个数组里不断‘嗅探’,获得空的内存空间。当然,在字典的内存不够用时,自然会申请空间,这意味着我们需要重新散列值和 掩码。 所以,每种数据结构都有其不同的特性,所以这也意味着选择一个良好的数据数据会使得你的代码效率快上不少。

02

【机器学习】我在面试机器学习、大数据岗位时遇到的各种问题

自己的专业方向是机器学习、数据挖掘,就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同,比如数据挖掘/自然语言处理/机器学习算法工程师,或简称算法工程师,还有的称为搜索/推荐算法工程师,甚至有的并入后台工程师的范畴,视岗位具体要求而定。 机器学习、大数据相关岗位的职责 自己参与面试的提供算法岗位的公司有 BAT、小米、360、飞维美地、宜信、猿题库 等,根据业务的不同,岗位职责大概分为: 平台搭建类 数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能还

06

微信新出的「功能直达」效果如何?我们采访了两家头部小程序

微信小程序的「功能直达」搜索功能上线已经有一段时间了。在上线之初,知晓程序也曾发布了一篇解读文章,如果你对这个新功能还不是很了解,可以点击查看。 然而,「功能直达」究竟好不好用?能够带来怎么样的流量?这些估计只有被邀请参加内测的头部小程序知道了。 因此,知晓程序特地采访了「递名片」、「小睡眠」两个被邀请参加「功能直达」内测的头部小程序。 目前「功能直达」开放的对象有哪些? 据我们观测,从最初的官方小程序,逐步覆盖更多的优质、头部小程序。目前应该仅向邀请内测的小程序开放。 「功能直达」如何开通?需要额外投入开

05

机器学习类面试问题与思路总结,你需要吗?

机器学习、大数据相关岗位根据业务的不同,岗位职责大概分为: 1、平台搭建类  数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能还需要底层开发、并行计算、分布式计算等方面的知识; 2、算法研究类  - 文本挖掘,如领域知识图谱构建、垃圾短信过滤等;   - 推荐,广告推荐、APP 推荐、题目推荐、新闻推荐等;   - 排序,搜索结果排序、广告排序等;   - 广告投放效果分析;   - 互联网信用评价;   - 图像识别、理解。 3、数据挖掘类 - 商业智能,如统计报表;   - 用户体验分析,预测流失用户。   以上是根据求职季有限的接触所做的总结。有的应用方向比较成熟,业界有足够的技术积累,比如搜索、推荐,也有的方向还有很多开放性问题等待探索,比如互联网金融、互联网教育。在面试的过程中,一方面要尽力向企业展现自己的能力,另一方面也是在增进对行业发展现状与未来趋势的理解,特别是可以从一些刚起步的企业和团队那里,了解到一些有价值的一手问题。

00
领券