前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >RAG 强化之选:OpsPilot Rerank 重排序弥补语义检索短板

RAG 强化之选:OpsPilot Rerank 重排序弥补语义检索短板

原创
作者头像
嘉为蓝鲸
修改于 2025-04-28 07:00:27
修改于 2025-04-28 07:00:27
1530
举报
文章被收录于专栏:WeOpsWeOps

直达原文:OpsPilot功能上新:RAG再强化,Rerank重排序提升检索质量(内附体验环境)

随着大模型技术的迅猛发展,检索增强生成(RAG)已成为构建智能知识库的核心方案。嘉为蓝鲸OpsPilot依托RAG技术打造高效知识处理体系,提取与分块拆分语义单元,为后续流程筑牢根基;Embedding及检索将问题与知识库中内容匹配定位。而如果把知识分块比作樱桃,Rerank就是分拣器:接收初步检索到的知识“樱桃”,再测量每颗樱桃的直径(相关性)和糖分(内容质量),从大到小排列送入LLM大模型的“果盘”,而排在需求数量之外的小颗粒、酸涩的樱桃(低相关内容)则被分拣剔除。

01.Rerank原理与作用

1)Rerank在RAG流程中的生效机制与原理

在RAG流程中,经过前期的文档提取分块、Embedding向量化以及检索步骤后,会初步筛选出一批与用户问题相关的文本内容。然而,这些内容的相关性和质量参差不齐。Rerank此时介入,它基于特定的算法和模型,对初步检索得到的文本集合进行重新排序,将最相关、最优质的文本内容置于前列。通过“粗筛+精排”优化检索质量,为回答提供优质基础。

Rerank(重排序)的具体实现是通过机器学习模型,捕捉复杂语义(如一词多义、隐含意图),对初步检索结果进行二次语义评估。具体步骤如下:

从而实现以下作用,优化检索结果:

  • 弥补语义短板:突破传统检索的表面匹配,找到“关键词不同但意思相近”的优质内容。
  • 精准筛选排序:通过多维度打分剔除低质信息,让检索结果更聚焦用户真实需求。
  • 输入内容优化:为大模型提供筛选排序后的高质量文档,降低回答偏差风险。

02.OpsPilot中的Rerank模型

OpsPilot内置了bce-Reranker-base模型提供Rerank功能,对比其他Rerank模型,本模型的核心优势可总结为以下三点:

  • 排序精准性更强:通过大量对比“好内容”和“差内容”训练模型,让模型更会判断语义匹配度,打分更精准,能识别出“堆砌关键词但内容无关”的假相关内容。
  • 轻量高效易部署:采用优化的轻量化设计,在保持高性能的同时降低计算资源消耗,适配多种硬件环境,部署成本远低于同类深度学习模型。
  • 泛化能力更优:预训练覆盖多领域数据,对运维等专业场景的复杂查询适配性强,可灵活处理自然语言的模糊表述,输出稳定可靠的重排序结果。

03.重排序打分效果

在OpsPilot的RAG过程中,Rerank在初步检索结果的基础上展开——Rerank模型接收初步检索得到的文本集合与用户问题,然后对每一个文本与问题的组合进行分析,通过多方面特征进行提取和比对,以分数形式展现各个组合的相关程度。最后,高分的文本会被优先选取并与问题一起构成提示词输入到大语言模型中,输出更精准、更有价值的答案。

04.嘉为蓝鲸OpsPilot——更懂运维的AI平台

嘉为蓝鲸OpsPilot是集知识库管理、技能配置、机器人管理及工具管理于一体的智能运维支撑平台,深度融合LLM大模型的语义理解、知识增强与多模态处理能力,聚焦运维领域,突破单一LLM能力局限,成为更懂运维的智能AI平台。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
闪电网络实操,从最简单的比特币第二层闪电网络付款开始
我们将会使用命令行工具,因为我发现这是使用网络的最可靠的方法,同时也可以让你对网络的运行方式有更加深入的了解。
区块链大本营
2019/12/09
1.3K0
闪电网络实操,从最简单的比特币第二层闪电网络付款开始
Hello Lightning Network -3
在前面几篇文章中我们评论道:闪电网络是一个丰富的生态,将来里面会有各种各样的角色参与其中;目前来看,如何注入足够Inbound Capacity,保持闪电网络有充裕的流动性似乎是个棘手问题;而且不少人攻击这最终会导致比特币运营中心化;
happy123.me
2019/12/30
7490
​某内网域渗透靶场的writeup
本靶场是由"渗透攻击红队"所制作的一个靶场,看了看感觉效果十分不错,比较综合且有一定的思路扩展性.这里我们将会从别的一些角度来玩玩这个靶场,具体往下看。
Gcow安全团队
2021/11/19
3.1K0
Kubernetes 对接 GlusterFS 磁盘扩容实战
之前的实战课程,我们已经学习了如何在 openEuler 22.03 LTS SP2 上安装部署 GlusterFS、Heketi 以及 Kubernetes 使用 in-tree storage driver 模式对接 GlusterFS 做为集群的后端存储。
运维有术
2023/08/22
4560
Kubernetes 对接 GlusterFS 磁盘扩容实战
Go 实现比特币多重签名服务
采用 3-3 多重签名(在这里硬编码了,最好的做法是让用户动态选择 x-y 签名),也就是三个普通地址生成多签地址,消费多签地址中的比特币需要三个地址对应的私钥成功签名才可构建交易的数据结构,签名服务通过 gRPC 获取普通地址私钥进行签名,最后把签名的数据通过节点广播到比特币网络。
李海彬
2018/12/14
2.6K0
Docker搭建比特币测试网络
1.2 安装RPC支持库kapitalize kapitalize的源码:https://github.com/shamoons/Kapitalize
foochane
2019/05/23
1.8K0
Docker空间优化指南:高效回收磁盘空间的实用技巧
Docker不会对你的系统进行配置更改,但它会占用大量的磁盘空间。使用它一小段时间,你可能会震惊地看到一些可怕的使用统计数据。先看看使用前后的数据大小
Tinywan
2024/04/28
8470
Docker空间优化指南:高效回收磁盘空间的实用技巧
security protected_license server detected什么意思
大家好,又见面了,我是你们的朋友全栈君 http://3g.365jia.cn/js/riot.min.js http://a.adnium.com/static?r=23326206&id=94
全栈程序员站长
2022/09/29
2.2K0
开胃菜:冰蝎2.0流量分析
c3VjY2Vzcw== 为success NjhhNGQ0NDctYWQ4MC00MWZlLTg2M2YtYjJlZmUwYjkxZmIx 为68a4d447-ad80-41fe-863f-b2efe0b91fb1 与请求重的$centent 值相同
黑伞安全
2020/12/02
12.7K0
开胃菜:冰蝎2.0流量分析
Tronapi-波场开发的TRC20-API-附接口文档-基于ThinkPHP5封装
目前已经基于这套api开发出来归集系统,靓号生成系统开发环境要求重要的几点提醒下:1.php7.3或者7.42.安装gmp扩展,否则转账不成功3.配置项目伪静态4.运行目录为public5.合约地址不需要动,切记别改6.ThinkPHP5基本运行要求,这个不需要额外多说------------简要描述生成地址接口请求URLhttp://xx.com/api/trc20/generateAddress请求方式GET 返回示例{ "code": 1, "data": { "privat
Tronapi技术支持
2022/07/11
11.9K4
Tronapi-波场开发的TRC20-API-附接口文档-基于ThinkPHP5封装
本体技术视点 | 关于Merkle Proof问题的一点思考
Merkle Patricia Tree(又称为 Merkle Patricia Trie)是一种经过改良、融合了 Merkle tree 和前缀树两种树结构优点的数据结构,是 Ethereum 中用来组织管理账户数据、生成交易集合 Hash 的重要数据结构。
本体Ontology
2020/03/18
4K0
CMS指纹字典大全[通俗易懂]
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
全栈程序员站长
2022/11/10
4.8K0
面向初学者的Docker快速入门指南
yum源:https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo为了速度可以替换文件中的url。
DevOps云学堂
2020/07/23
1.3K0
面向初学者的Docker快速入门指南
Docker中搭建CI环境
在之前的文章中介绍了Gitlab环境的搭建和CI与Gitlab的整合,那么今天主要介绍Docker中搭建CI的环境,Docker诞生于云计算的时代,它主要是基于Go语言实现的开源容器项目,目前关于Docker容器的生态系统已经很完善,而且各大主流的操作系统公司都支持Docker。今天主要介绍在Docker中搭建Jenkins的环境,关于Docker环境的搭建在后期的文章中逐步的介绍。CI就不需要多余的介绍了, 它是自动化测试中必须要掌握的一个技能之一,同时也是实现CICD整合的核心工具之一。
无涯WuYa
2019/10/24
4490
Docker中搭建CI环境
Bytom Dapp 开发笔记(二):开发流程
这章的内容详细分析一下涉及智能合约Dapp的整个开发流程,注意是涉及只能合约,如果你只要一些基本转BTM功能没有太大意义,本内容补充一下官方提供的 比原链DAPP开发流程,详细实践过好踩到的一些坑,还有一些真正具体的技巧还有经验,个人认为非常有用,起码让开发者可以更快速地去操作。
比原链Bytom
2019/08/05
3700
Bytom Dapp 开发笔记(二):开发流程
JavaScript黑客是这样窃取比特币的,Vue开发者不用担心!
如果你是JavaScript或者区块链开发者,如果你有关注区块链以及比特币,那么你应该听说了比特币钱包Copay被黑客攻击的事情。但是,你知道这是怎么回事吗?
Fundebug
2018/12/04
1.1K0
JavaScript黑客是这样窃取比特币的,Vue开发者不用担心!
Operation Layover:针对航空业长达五年的攻击
思科和其他安全公司最近发现了一系列针对航空业的攻击活动,分析都主要集中在隐藏远控木马的加密工具上。
FB客服
2021/10/11
1.4K0
从零开始的内存马分析——如何骑马反杀(一)
在某次实战攻防中,有一对儿小马和大马,他们两个通过了层层设备,终于打入了内网,只是在砍杀的过程中,露出了马脚,从巨大的流量中,被挖了出来,可是,真的有这么容易吗?真的如我们所愿吗?随着你的越发深入的对木马,流量进行解密,你的心中越发的不安……
亿人安全
2022/08/30
6.2K0
从零开始的内存马分析——如何骑马反杀(一)
DOTA、mmdetection训练
5d1057e8f0103c8f6ecc3dff19b5b854ea65a52ef92eec8e7f59bdb77648009746617495980353bcd901ef0ba6d73335c8da6b7327fc2164c7c57099d78e2c7c1e5d86f46ddabac714968a38edf0583faa41abc48192f2d4767ce919aef5290074a04affa626d124e3564e355fa38b3063934fdb76830ff8a95b31e88ff47a27a96d133436733e2d7ed37a1788b0aebeadc11f3a020fbb635a73c950f3ee1aa7cd0353adb8aee4654433e10c6d319f7ca0250e907fac5de68f576dbe74429112554d3076e85a73f0d3643c5b79ccf3ff1a70c08b09fc8a30a980cf6a3abb1ec998b77ef6186432b355f25c0dc1882b4cd64ba89e897c9cd94805677aa3c680ad0e3e979d93acb4964e04b75857aed9fe4bce9fb555c9b711e9af966a1de6ff3283c167b54a07506ac29dc91bcf8a2d43d2a969967b03b2ad93ce4a8e27521eacf1a54bfdccbe27e9010510f058c54d30a4fc41639c126b05edd576d584db32bd637cb98b2d38dd7868de203a98d643b8db4ae73e98748e551a6a35035787d2fdc7e9f2c72fcfa946bca985e4ccb1c11fa3c247c0b69b1b8240d172aad93f2b80a2db2190e3ca82e35bf4f92e83bcc23e9b0e2818a40eaa62d2537f2348feb5ff8e476b4a17c003d962f7caaeff0e298121a8b042c69315b535ac672f6803cb17f7a1f01a675ccc193aa832b7e19bc506bc01c520a54303b6767a2ef43f35902fd5d4ee3fab04dc3535ed9a4f5639fdc0105fb942700f4535ae29d654183272f170282adb8d20e4f3862e196cca12750ba17769069f89fb5cf8920e8c8960fb36aebe4da0a0d3e7314d413da2d6c724891dc91e1de64133da7963f444ae23f0b1335bf2694944e57a1b58d11206eab4e348d4f47096fcdbe72d9f4ea4c970e2e1233b384edfd45668d28a085cbefbb518f545bdfcc99c0b0bd475450ced6872c6eea397477609da5753eddaa58751e86f9f1dba45eaf30035ac065044f7a32ee0469b4c9c26051b415eadfe8c8aca8ff6e4b47453bf5cfe9c608e1b1414361fb701d0b5a9e7188e5c7a5c3c2a1c95f8bdc323e5f814d2745295f06b6a69ba5e2d182a4638c6f42d73d910055a1082bd59ed7cb935e4a79ceabcf3d6f7be6e7976a568f91af161b6857cc0d0268a9eebc7d1e1d4165f97465a56993f3c6b7463109b10cff86ee9d542eb76b1518c2a22c0f08afc3db84d06bd1a5cada8fce3add6890cd042c3cc35b8fe274461f5b7222087d6363b4dfc678dade3309c23ef1492ac3f7069bf6da035f7965dc44981c767a839063c57a48f7e388a9f7c2b7a80ab1e212fa8454c67c1eb08cd86ad9e5efd9f3ce972cdd1554e82ccc07be66c2dbc3c8e70bc9e2f00138858444ae2816899d8354a9d993877380b0a346ba521564e2ffa5909cd0cd55145fa5fb09c9c30973ed4cef3ee50bd4e87616ffbc4d09b
孔西皮
2021/03/04
6.9K0
[Docker] 使用docker inspect查看宿主机与容器的共享目录
docker inspect 容器名,可以查看到容器的元信息,在返回的j'son信息里面有个Mounts字段可以看到挂载目录
唯一Chat
2020/03/19
5.6K0
推荐阅读
相关推荐
闪电网络实操,从最简单的比特币第二层闪电网络付款开始
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档