前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >文本获取和搜索引擎中的反馈模型

文本获取和搜索引擎中的反馈模型

作者头像
爬蜥
发布2019-07-09 14:28:38
发布2019-07-09 14:28:38
1.4K0
举报

coursera课程 text retrieval and search engine 第五周 推荐。

反馈的基本类型

  • relevance Feedback:查询结果返回后,有专门的人来识别那些信息是有用的,从而提高查询的命中率,这种方式很可靠
  • implicit feedback:观察有哪些返回结果是用户点击了的,有点击的认为是对用户有用的,从而提高查询准确率
  • persudo feedback:获取返回结果的前k个值,认为是好的查询结果,然后增强查询

Rocchio Feedback思想

对于VSM(vector space model)来说,想要提高查询的准确度,需要把查询向量做一个调整,跳到某个位置以提高精度,Rocchio即把向量移到所有向量的中心

||取模代表向量的个数,另外经过移动之后,会有很多原来是0的变成有数据,通常采用的措施是保留高权重的

它可以用在 relevance feedback和persudo feedback【relevance的beta要大于persudo】;在使用的时候注意不要过度依赖,还是要以原始的查询为主,毕竟反馈只是一个小的样本

Kullback-Leibler divergence Retrieval model[KL散度检索模型]

kl作为反馈运算来讲,具体操作可以是:首先提供一个预估要查询的文档集,以及查询的关键字,分别计算出文档和查询的向量。计算出二者的距离【基本和VSM一致】,通过这样的方式,会得到一个反馈的集合。这里的关键在于从反馈集合中提取出一个查询向量,通过如图所示的方式添加到查询向量中去【作为反馈】,从而提供更好的查询结果

混合模型

所有的反馈结果集合都会来自于反馈模型,但是通过词频分析来说,排在最前面的一般都是常用的字段集合【the 等】,而这些加入反馈是非常不恰当的。 通过加入另外的一个集合【背景文档】,混合两个模型,并通过概率来选择哪个集合的结果,这个时候,所有的反馈文档集合由混合模型来决定,那么对于在背景文档中很少的词频,但是在反馈文档中很频繁的,必定是来源于反馈文档集合,背景文档集合本身通过给the等词添加很低的频率,那么就可以筛选出反馈文集总过高的通用词

topic words代表反馈模型,假设有一个源头来控制是取背景字段还是反馈模型的字段,其选择概率是lamda。这样做到可以控制到底是选择背景文集作为 反馈还是反馈模型。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年07月18日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 反馈的基本类型
  • Rocchio Feedback思想
  • Kullback-Leibler divergence Retrieval model[KL散度检索模型]
  • 混合模型
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档