前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >RAG 强化之选:OpsPilot Rerank 重排序弥补语义检索短板

RAG 强化之选:OpsPilot Rerank 重排序弥补语义检索短板

原创
作者头像
嘉为蓝鲸
修改于 2025-04-28 07:00:27
修改于 2025-04-28 07:00:27
1530
举报
文章被收录于专栏:WeOpsWeOps

直达原文:OpsPilot功能上新:RAG再强化,Rerank重排序提升检索质量(内附体验环境)

随着大模型技术的迅猛发展,检索增强生成(RAG)已成为构建智能知识库的核心方案。嘉为蓝鲸OpsPilot依托RAG技术打造高效知识处理体系,提取与分块拆分语义单元,为后续流程筑牢根基;Embedding及检索将问题与知识库中内容匹配定位。而如果把知识分块比作樱桃,Rerank就是分拣器:接收初步检索到的知识“樱桃”,再测量每颗樱桃的直径(相关性)和糖分(内容质量),从大到小排列送入LLM大模型的“果盘”,而排在需求数量之外的小颗粒、酸涩的樱桃(低相关内容)则被分拣剔除。

01.Rerank原理与作用

1)Rerank在RAG流程中的生效机制与原理

在RAG流程中,经过前期的文档提取分块、Embedding向量化以及检索步骤后,会初步筛选出一批与用户问题相关的文本内容。然而,这些内容的相关性和质量参差不齐。Rerank此时介入,它基于特定的算法和模型,对初步检索得到的文本集合进行重新排序,将最相关、最优质的文本内容置于前列。通过“粗筛+精排”优化检索质量,为回答提供优质基础。

Rerank(重排序)的具体实现是通过机器学习模型,捕捉复杂语义(如一词多义、隐含意图),对初步检索结果进行二次语义评估。具体步骤如下:

从而实现以下作用,优化检索结果:

  • 弥补语义短板:突破传统检索的表面匹配,找到“关键词不同但意思相近”的优质内容。
  • 精准筛选排序:通过多维度打分剔除低质信息,让检索结果更聚焦用户真实需求。
  • 输入内容优化:为大模型提供筛选排序后的高质量文档,降低回答偏差风险。

02.OpsPilot中的Rerank模型

OpsPilot内置了bce-Reranker-base模型提供Rerank功能,对比其他Rerank模型,本模型的核心优势可总结为以下三点:

  • 排序精准性更强:通过大量对比“好内容”和“差内容”训练模型,让模型更会判断语义匹配度,打分更精准,能识别出“堆砌关键词但内容无关”的假相关内容。
  • 轻量高效易部署:采用优化的轻量化设计,在保持高性能的同时降低计算资源消耗,适配多种硬件环境,部署成本远低于同类深度学习模型。
  • 泛化能力更优:预训练覆盖多领域数据,对运维等专业场景的复杂查询适配性强,可灵活处理自然语言的模糊表述,输出稳定可靠的重排序结果。

03.重排序打分效果

在OpsPilot的RAG过程中,Rerank在初步检索结果的基础上展开——Rerank模型接收初步检索得到的文本集合与用户问题,然后对每一个文本与问题的组合进行分析,通过多方面特征进行提取和比对,以分数形式展现各个组合的相关程度。最后,高分的文本会被优先选取并与问题一起构成提示词输入到大语言模型中,输出更精准、更有价值的答案。

04.嘉为蓝鲸OpsPilot——更懂运维的AI平台

嘉为蓝鲸OpsPilot是集知识库管理、技能配置、机器人管理及工具管理于一体的智能运维支撑平台,深度融合LLM大模型的语义理解、知识增强与多模态处理能力,聚焦运维领域,突破单一LLM能力局限,成为更懂运维的智能AI平台。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
OpsPilot技术赋能:语义空间构建与多模态检索的运维新范式
直达原文:OpsPilot功能上新:Embedding重构语义空间,混合检索驱动知识发现(内附体验环境)
嘉为蓝鲸
2025/04/21
1450
OpsPilot技术赋能:语义空间构建与多模态检索的运维新范式
七种RAG架构cheat sheet!
RAG 即检索增强生成(Retrieval - Augmented Generation ),是一种结合检索技术和生成模型的人工智能方法。
codetrend
2025/01/24
4140
七种RAG架构cheat sheet!
如何引入重排序提升RAG系统的效果?
之前介绍了在RAG系统中使用混合检索,而混合检索将不同的检索技术的优势,如向量检索适合语义模型匹配,而关键词检索适合精准匹配。将不同的优势结合互补单一检索的劣势,获得更好的召回结果。----
产品言语
2024/03/18
8170
如何引入重排序提升RAG系统的效果?
从封闭到开放!嘉为蓝鲸OpsPilot V3.2 联网检索功能上线,运维效率飙升!
直达原文:【春季发布】OpsPilot V3.2 重磅发布:从私域到开放,新增联网检索能力
嘉为蓝鲸
2025/03/18
1020
从封闭到开放!嘉为蓝鲸OpsPilot V3.2 联网检索功能上线,运维效率飙升!
OpsPilot 知识库升级:RAG 预处理强化,文档提取 + 分块策略全场景适配指南
直达原文:OpsPilot功能上新:知识库 RAG 预处理强化,细化文档提取和分块策略(内附体验环境)
嘉为蓝鲸
2025/04/14
1750
OpsPilot 知识库升级:RAG 预处理强化,文档提取 + 分块策略全场景适配指南
RAG:我不只是一个检索器!
年初在我独到的技术见解:LLM的演进与发展文章中和大家分享了LLM的应用和发展,其中有简单介绍过RAG技术,也提到我个人建议在大模型的应用中,能用prompt搞定就别碰RAG,能利用好RAG技术实现需求就别去训练模型,非要训练模型能sft就别pretrain,以上三个大招都用上都实现不了你的需求,非要训自己的垂域大模型,那就快点准备数据,真正应用的时候,估计还是躲不掉三面三步。(不针对算法人员,我说应用呢~)
languageX
2024/06/22
1.1K0
RAG:我不只是一个检索器!
嘉为蓝鲸OpsPilot 深度集成 DeepSeek 等大模型,开启智能运维新境界!
在数字化转型的浪潮中,运维工作正面临着复杂度高、效率低、响应慢等挑战。以Open AI 、DeepSeek为领导者的大模型层出不穷,在此背景下,OpsPilot作为新一代智能运维支撑平台,通过深度集成DeepSeek等大语言模型(LLM,Large Language Model),结合领先的ChatOps、知识增强与算法引擎技术,为企业提供智能化、自动化、场景化的智能运维平台引擎。
嘉为蓝鲸
2025/02/21
2950
嘉为蓝鲸OpsPilot 深度集成 DeepSeek 等大模型,开启智能运维新境界!
什么是语义重排(semantic rerank)?如何使用它?
在这个系列博客中,我们将介绍 Elastic 的新语义重排器。语义重排通常可以在零样本设置中显著提高相关性,还可以通过显著提升词汇检索的相关性,在索引计算成本与查询计算成本之间进行权衡。在这篇博客中,我们将介绍语义重排的背景以及它如何融入你的搜索和 RAG(检索增强生成)流水线。在第二篇文章中,我们将向你介绍 Elastic Rerank: Elastic 的新语义重排模型,这是我们训练并在技术预览中发布的新模型。
点火三周
2024/12/13
2510
什么是语义重排(semantic rerank)?如何使用它?
LLM RAG 技术剖析与演进
RAG(Retrieval-Augmented Generation,检索增强生成) 是一种将大语言模型(LLM)与模型外知识库检索相结合的技术架构。
windealli
2025/03/12
3520
LLM RAG 技术剖析与演进
大模型相关技术-为什么需要rerank
在RAG(RetrievalAugmented Generation)中,embedding模型的向量检索可以帮助提高文本生成的效果,但仍然需要
西门呀在吹雪
2024/05/07
1.8K0
大模型相关技术-为什么需要rerank
崖山数据库智能问答系统:DeepSeek + RAG
近年来,人工智能领域发展迅猛,尤其是大型语言模型(LLM)的突破性进展,正在深刻改变各行各业。DeepSeek AI 作为新兴的人工智能技术代表,凭借其卓越性能和成本优势迅速崭露头角,为数据库管理等领域带来了新的可能性。
用户10349277
2025/05/27
870
介绍 Elastic Rerank:Elastic 的新语义重排模型
在我们系列的上一篇博客中,我们介绍了语义重排序的概念。在这篇博客中,我们将讨论我们训练并在技术预览中发布的重排序模型。
点火三周
2024/12/13
3460
介绍 Elastic Rerank:Elastic 的新语义重排模型
【RAG】001-RAG概述
检索增强生成(Retrieval-Augmented Generation,RAG)技术能够有效解决上述问题:
訾博ZiBo
2025/03/25
2020
【RAG】001-RAG概述
提高 RAG 应用准确度,时下流行的 Reranker 了解一下?
上述的基础 RAG 架构可以有效解决 LLM 产生“幻觉”、生成内容不可靠的问题。但是,一些企业用户对上下文相关性和问答准确度提出了更高要求,需要更为复杂的架构。一个行之有效且较为流行的做法就是在 RAG 应用中集成 Reranker。
Zilliz RDS
2024/04/18
2.7K0
提高 RAG 应用准确度,时下流行的 Reranker 了解一下?
LangChain 与 Elastic 合作,加入向量数据库和语义重排序功能以增强 RAG
在过去的一年里,生成式 AI 领域发生了很多变化。许多新服务和库相继出现。LangChain 已成为构建大语言模型 (LLM) 应用程序(例如检索增强生成 (RAG) 系统)最受欢迎的库之一。这个库使得原型设计和实验不同模型及检索系统变得非常容易。
点火三周
2024/08/11
6360
LLM RAG系列
本文介绍了RAG以及RAG pipeline的整个流程,包括请求转换、路由和请求构造、索引和检索、生成和评估等,其中引用了大量有价值的论文。
charlieroro
2024/04/02
8490
LLM RAG系列
RAG 使用Rerank和两阶段检索来提升你的检索质量
检索增强生成 (RAG)是一个含义丰富的术语。它向世界许诺,但在开发出 RAG 管道后,我们中的许多人仍然在疑惑,为什么它的效果不如我们预期的那样好。
用户1418987
2024/09/06
4750
RAG 使用Rerank和两阶段检索来提升你的检索质量
2024年RAG:回顾与展望
根据RAG技术结构可以分成三类,代表了不同的技术复杂度,越复杂也代表实现难度越大。但是可能会收到更好的效果,适应更多的场景,这三类类型是:
致Great
2025/01/01
9732
深入RAG工作流:检索生成的最佳实践
今天分享的是复旦大学和智能信息处理上海市重点实验室联合发表的一篇文章:实现检索增强生成(RAG)的最佳实践
AI研思录
2025/02/20
4410
深入RAG工作流:检索生成的最佳实践
Rerank进一步提升RAG效果
目前大模型应用中,RAG(Retrieval Augmented Generation,检索增强生成)是一种在对话(QA)场景下最主要的应用形式,它主要解决大模型的知识存储和更新问题。
Steve Wang
2024/05/16
1.9K0
Rerank进一步提升RAG效果
推荐阅读
相关推荐
OpsPilot技术赋能:语义空间构建与多模态检索的运维新范式
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档