Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >OpsPilot技术赋能:语义空间构建与多模态检索的运维新范式

OpsPilot技术赋能:语义空间构建与多模态检索的运维新范式

原创
作者头像
嘉为蓝鲸
修改于 2025-04-21 09:33:20
修改于 2025-04-21 09:33:20
1390
举报
文章被收录于专栏:WeOpsWeOps

直达原文:OpsPilot功能上新:Embedding重构语义空间,混合检索驱动知识发现(内附体验环境)

随着技术的快速发展,检索增强生成(RAG)成为构建智能知识库的核心方案。嘉为蓝鲸 OpsPilot基于 RAG 技术打造高效知识处理体系,在 RAG 预处理环节,提取与分块技术通过精准解析文档结构、拆分语义单元为后续处理奠定基础。而在知识处理的 “下半场”,Embedding 与 检索 作为连接预处理与大模型应用的关键桥梁,前者做“翻译家”,把文本变成机器能懂的数字密码,后者则是 “导航器”,用这些密码在知识库快速找到答案。

在 RAG 系统中,Embedding起到两次关键转换的作用。一是接收预处理过后的文本块,将其转为高维向量存于数据库。二是用户提问时,Embedding 模型将问题转为 “问题向量”,系统匹配 “相似向量”,提取对应文本内容与问题构成提示词,输入大语言模型(LLM),生成回答,完成对话检索闭环。

在OpsPilot中,Embedding 和检索设置是怎么相互协作发挥优势的呢?

1)Embedding :将文本转化为向量,以数学形式捕捉语义特性与关系,使计算机能够 “理解” 数据

  • 其核心是接收文本分块并转化为高维向量,映射至空间中;
  • 语义相近则向量位置近。例如“猫在沙发上睡觉”,计算机本无法理解,经Embedding模型,“猫”“沙发”等被转成特定向量,且语义相近的词(如“猫”与“小猫”)向量靠近,无关的则远离。它为词在数学空间分配“地址”,使计算机能理解词及关系,进行距离计算等操作,为检索、分析等奠基。

2)检索设置:通过向量相似度匹配,从海量知识库中快速定位相关信息

  • 以混合检索(文本 + 向量)为例,结合关键词搜索与向量语义搜索,通过打分机制综合判断,既能利用关键词快速过滤,又能通过向量相似度挖掘深层语义关联;
  • 在知识库中,这种检索方式可避免传统关键词检索的片面性,确保在复杂知识体系中高效获取相关内容,为用户提供更准确、全面的知识支持。

01.OpsPilot的Embedding模型

OpsPilot目前已经内置2个常用的Embed模型,具体有如下优势:

1)FastEmbed (BAAI/bge - small - zh - v1.5) 模型

其作用与优势如下:

  • 模型专为中文语境优化,对中文语境的适应性强;
  • 对复杂语义及领域术语理解精准深入;
  • 计算效率高且资源消耗低:其 95M 的轻量体积使其在 GPU 显存不足时仍可于 CPU 运行,尤其适合大规模数据处理场景。

2)bce - embedding - base_v1 模型

  • 模型架构特点与多数据格式兼容性;
  • 跨领域知识融合能力,在不同行业场景的应用优势显著;
  • 模型稳定性强,可确保长期稳定运行,满足多样化业务需求。

02.OpsPilot检索机制

拥有了文本分块和向量空间数据,OpsPilot使用三种检索设置实现对知识库的高效、精准检索。

  • 纯文本搜索:基于关键词搜索技术,从大量文本数据中搜索并提取相关文档。提供 “匹配”(模糊查找包含特定关键词的文档)和 “精确匹配”(严格要求关键词按指定顺序相邻出现)两种模式。适用于明确关键词的场景,当用户使用明确关键词时,文本搜索可快速过滤。
  • 纯向量搜索:利用向量空间模型,计算向量空间中的向量和问题向量间的相似度,从而找到最匹配的数据。可设置返回数量(最终展示的最相似分块数量)和候选数量(初步筛选后可能相关的分块总数)。可挖掘语义层面的关联信息,弥补关键词搜索的局限性,例如,当用户查询含模糊语义时,向量搜索能通过语义相似性定位相关知识。
  • 混合检索:同时开启文本搜索与向量搜索,系统会根据各自权重综合打分,兼顾关键词匹配和语义相似性,将最终结果按打分从高到低展示,提升检索全面性与准确性。

嘉为蓝鲸OpsPilot基RAG技术,通过预处理-Embedding-检索三阶体系构建智能知识库。Embedding转换文本为语义向量,混合检索融合关键词匹配与向量搜索,内置双模型适配中文及跨领域场景,实现精准语义关联与高效知识闭环,赋能智能运维。

03.嘉为蓝鲸OpsPilot——更懂运维的AI平台

嘉为蓝鲸OpsPilot是集知识库管理、技能配置、机器人管理和工具管理为一体的智能运维支撑平台,深度融合 LLM 大模型的语义理解、知识增强与多模态处理能力,聚焦运维领域,突破单一 LLM 能力局限,成为更懂运维的智能 AI 平台。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
企业数字化转型背景下的企业知识管理挑战与经验杂谈
在数字化转型的浪潮下,企业知识管理正面临前所未有的挑战。随着数据量的急剧增长,企业内部积累的信息呈现出碎片化、分散化的趋势,传统的知识管理体系已难以有效应对这一变革。首先,信息碎片化问题日益严重,企业内部的知识资源往往存储在不同的系统和平台中,如文档管理系统、邮件、数据库、会议记录等,这些信息缺乏统一的组织和标准化的分类方式,导致员工在查找所需信息时往往需要耗费大量时间。此外,多源异构的数据格式也加剧了信息整合的难度,使得知识难以被高效利用。
熊猫钓鱼
2025/05/14
950
LLMOps+DeepSeek:大模型升级一体化运维
蛇年伊始,DeepSeek凭借其卓越表现火爆出圈,让AI大模型瞬间成为街头巷尾热议的焦点,也让大众重新燃起对AGI(通用人工智能)“平民化”的信心,DeepSeek通过先进的模型架构,带来的高效率与低成本优势,加快了应用场景的百花齐放。
嘉为蓝鲸
2025/02/21
8050
LLMOps+DeepSeek:大模型升级一体化运维
嘉为蓝鲸OpsPilot 深度集成 DeepSeek 等大模型,开启智能运维新境界!
在数字化转型的浪潮中,运维工作正面临着复杂度高、效率低、响应慢等挑战。以Open AI 、DeepSeek为领导者的大模型层出不穷,在此背景下,OpsPilot作为新一代智能运维支撑平台,通过深度集成DeepSeek等大语言模型(LLM,Large Language Model),结合领先的ChatOps、知识增强与算法引擎技术,为企业提供智能化、自动化、场景化的智能运维平台引擎。
嘉为蓝鲸
2025/02/21
2880
嘉为蓝鲸OpsPilot 深度集成 DeepSeek 等大模型,开启智能运维新境界!
从封闭到开放!嘉为蓝鲸OpsPilot V3.2 联网检索功能上线,运维效率飙升!
直达原文:【春季发布】OpsPilot V3.2 重磅发布:从私域到开放,新增联网检索能力
嘉为蓝鲸
2025/03/18
980
从封闭到开放!嘉为蓝鲸OpsPilot V3.2 联网检索功能上线,运维效率飙升!
RAG 强化之选:OpsPilot Rerank 重排序弥补语义检索短板
直达原文:OpsPilot功能上新:RAG再强化,Rerank重排序提升检索质量(内附体验环境)
嘉为蓝鲸
2025/04/28
1500
RAG 强化之选:OpsPilot Rerank 重排序弥补语义检索短板
生产级RAG系统一些经验总结
本文将探讨如何使用最新技术构建生产级检索增强生成(RAG)系统,包括健壮的架构、向量数据库(Faiss、Pinecone、Weaviate)、框架(LangChain、LlamaIndex)、混合搜索、重排序器、流式数据接入、评估策略以及实际部署技巧。
致Great
2025/05/02
2070
【AI 大模型】RAG 检索增强生成 ② ( 关键字检索 | 向量检索 | 向量简介 | 二维空间向量计算示例 | 文本向量 - 重点 ★★ | 文本向量示例 )
在上一篇博客 【AI 大模型】RAG 检索增强生成 ① ( 大模型的相关问题描述 - 幻觉、时效性、数据安全 | RAG 检索增强生成 | RAG 关键组件 | LLM + RAG 的运行流程 ) 中 , 对 大模型的缺陷进行了分析 , 有 幻觉、时效性、数据安全 三大缺陷 , 这是大模型 理论设计 上的问题 , 大模型本身无法解决 , 需要引入 RAG 检索增强生成 解决上述问题 ;
韩曙亮
2024/08/29
3150
【AI 大模型】RAG 检索增强生成 ② ( 关键字检索 | 向量检索 | 向量简介 | 二维空间向量计算示例 | 文本向量 - 重点 ★★ | 文本向量示例 )
LLMOps实战(一):DeepSeek+RAG 协同构建企业知识库全流程指南
首先解释下什么是 LLMOps,Large Language Model Operations是专注于大语言模型全生命周期管理的工程实践,涵盖从模型开发、部署、监控到持续优化的系统性流程。其核心目标是提升LLM应用的可靠性、效率与可控性,解决大模型在实际落地中的技术与管理挑战。
范赟鹏
2025/03/24
4.5K0
《你的RAG出错了?快来Get这份改进秘籍》
首先,得给我们的 RAG 系统装上一个“质检员”——也就是一个强大的评估模块。这个模块要能对检索到的内容进行打分,看看信息质量如何,生成的答案是不是真的解决了用户的问题。
致Great
2025/01/11
1100
《你的RAG出错了?快来Get这份改进秘籍》
如何实现参加RAG比赛但进不了复赛的总结
好久没写文章了,断更了一个多月了,刚开始一段时间主要是上班精神内耗太严重没有精力去写文了,到六月初的时候,参加了一个RAG相关的比赛,初赛本周结束,作为菜鸟的我也是理所应当的没进复赛,跟第一名差了十分多,尝试了很多办法,但的确已经到个人能力的尽头了,决定就此放弃,这也是我第一次参加跟AI相关的比赛,而且还是自己单打独斗,也不能再强求更好了,总的来说,四个字:菜就多练🐶。
叶子的技术碎碎念
2025/04/08
700
如何实现参加RAG比赛但进不了复赛的总结
RAG科普文!检索增强生成的技术全景解析
增强生成 (RAG) 是塑造应用生成式 AI 格局的关键技术。Lewis 等人在其开创性论文中提出了一个新概念面向知识密集型 NLP 任务的检索增强生成之后,RAG 迅速成为基石,提高了大型语言模型 (LLM) 输出的可靠性和可信度。
致Great
2025/02/15
8720
RAG科普文!检索增强生成的技术全景解析
大模型RAG向量检索原理深度解析
常规的知识库检索通常使用的是关键字与词条匹配,随着AGI的爆发,越来越多的知识库检索开始使用向量检索技术,特别是在RAG领域,增强型的生成式问答检索正在大面积应用和推广。
大脚攀爬
2024/04/18
1.9K0
大模型RAG向量检索原理深度解析
Elasticsearch RAG案例:混合搜索的相关性调优
我们在上一篇文章《Elasticsearch案例:百行代码实现腾讯ES帮助文档的RAG》中给大家介绍了如何通过一个完整的搜索解决方案来快速实现 RAG ,其重点落在效率上 —— 完整而便捷的解决方案套件,使我们整个RAG的构建和上线过程事半功倍。而本文,我们则将重点落在搜索效果上,如何适配各种情况(不同的用户搜索习惯以及可能的缺陷数据),并达到最优效果。
点火三周
2023/11/16
4.3K0
Elasticsearch RAG案例:混合搜索的相关性调优
从模糊搜索到语义搜索的进化之路——探索 Chroma 在大模型中的应用价值
在信息检索领域,搜索技术的不断演变从根本上改变了我们获取信息的方式。传统的模糊搜索(Fuzzy Search)在应对拼写错误、不精确匹配时已经表现出色,但面对大规模的非结构化数据和用户意图理解时,语义搜索展示出了更高的效率。
watermelo37
2025/01/22
2240
从模糊搜索到语义搜索的进化之路——探索 Chroma 在大模型中的应用价值
Prompt提示工程上手指南:基础原理及实践(四)-检索增强生成(RAG)策略下的Prompt
此篇文章已经是本系列的第四篇文章,意味着我们已经进入了Prompt工程的深水区,掌握的知识和技术都在不断提高,对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计可以基于链式思考(CoT)、思维树 (ToT)和检索增强生成 (RAG)。其中RAG框架可以算得上是AI平台研发的老生常谈之一了,因为无论是个人还是企业,都想要培养出一个属于自己领域专业的AI。但伴随而来的问题,不限于产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差,以及对最新知识的了解有限。
fanstuck
2024/02/28
2.2K3
Prompt提示工程上手指南:基础原理及实践(四)-检索增强生成(RAG)策略下的Prompt
基于Llama-3B/1B模型进行RAG与SFT实训
1. 本应用基于Llama-3.2-3B-Instruct,封装示例代码及数据,用于大模型搜索增强生成(RAG)领域实训体验。结合该实训,学习者可快速体验“文本向量化”和搜索增强生成的原理和运行过程。
用户7627824
2024/11/20
5000
基于Llama-3B/1B模型进行RAG与SFT实训
解密Prompt系列20. LLM Agent 之再谈RAG的召回多样性优化
几个月前我们就聊过RAG的经典方案解密Prompt系列14. LLM Agent之搜索应用设计。前几天刚看完openAI在DevDay闭门会议上介绍的RAG相关的经验,有些新的感悟,借此机会再梳理下RAG相关的优化方案。推荐直接看原视频(需科学上网)A Survey of Techniques for Maximizing LLM Performance
风雨中的小七
2023/11/29
3.5K2
解密Prompt系列20. LLM Agent 之再谈RAG的召回多样性优化
关于RAG你不得不了解的17个技巧
这篇文章适合那些在过去一个月里刚刚构建了第一个LLM(大语言模型)应用程序,并开始考虑如何将其产品化的朋友们。我们将介绍17种技术,帮助你们避免在RAG开发过程中重复踩坑——毕竟,在同一个坑里跌倒两次,岂不是太浪费时间了?通过这些技巧,你们可以逐步优化大模型的技术方案,提升RAG在实际应用中的效果和稳定性。
致Great
2025/01/09
3010
关于RAG你不得不了解的17个技巧
【RAG】001.1-RAG相关核心概念
RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合信息检索与生成模型的混合架构,旨在提升生成的准确性和可信度。其核心概念可归纳为以下六个方面:
訾博ZiBo
2025/03/26
2920
LLM RAG 技术剖析与演进
RAG(Retrieval-Augmented Generation,检索增强生成) 是一种将大语言模型(LLM)与模型外知识库检索相结合的技术架构。
windealli
2025/03/12
3430
LLM RAG 技术剖析与演进
推荐阅读
相关推荐
企业数字化转型背景下的企业知识管理挑战与经验杂谈
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档