Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >RAG 是什么?一文带你看懂 AI 的“外挂知识库”

RAG 是什么?一文带你看懂 AI 的“外挂知识库”

原创
作者头像
飞询
发布于 2025-05-01 13:56:19
发布于 2025-05-01 13:56:19
5220
举报
文章被收录于专栏:RAGRAG

RAG 是什么

RAG(Retrieval Augmented Generation,检索增强生成)是一种结合信息检索文本生成的技术方案

RAG 技术就像给 AI 装上了「实时百科大脑」,通过先查资料后回答的机制,让 AI 摆脱传统模型的”知识遗忘”困境

主要核心流程分为:

  1. 检索(Retrieval):基于用户的输入,从外部知识库数据库、文档、网页)中检索与查询相关的文本片段,通常使用向量化表示和向量数据库进行语义匹配。
  2. 生成(Generation): 将用户查询与检索到的内容作为上下文输入给 LLM(如 GPT、DeepSeek 等),由模型输出最终回答。

RAG 解决了什么问题

1、知识更新滞后

LLM 是离线训练的,一旦训练完成后,它们无法获取新的信息,因此,它们无法回答训练数据时间点之后发生的事件,比如“今天的最新新闻”

2、幻觉现象

大语言模型(LLM) 的回答是根据已有的 训练数据 和概率预测得出来的,当面对没有在训练中见过的问题时,模型可能会“编造”看似合理但实际上不准确或虚构的内容

RAG 是如何解决这些问题的?

RAG 将信息检索与语言生成相结合,在回答问题时,首先从外部知识库(如网页、数据库、文档等)中检索相关信息,再基于这些信息生成回答。这样一来:

  • 即使模型本身不包含最新知识,也能通过检索获取最新内容
  • 回答更加有依据,减少“编答案”的幻觉现象

RAG 流程

文档索引

在 RAG 中,文档索引 是整个流程的基础环节之一,将文档(word,excel,PDF,Markdown 等)根据一定的规则容划分为文本块(chunk),然后通过 Embedding 模型将文本块转换为向量并存入向量数据库中

文档索引的目的是为了实现高效、准确的信息检索,为后续的大语言模型生成提供可靠的上下文支持。

步骤

  1. 向量化用户问题:将 用户问题 用相同的 Embedding 模型转换为向量,用以检索相关知识分片
  2. 检索(Retrieval):通过向量数据库一系列高效的数学计算 (如余弦相似度、欧氏距离等),检索出语义相似度最高的几个知识分片(Top_k)
  3. 构建 Prompt :将 Prompt + 检索结果+ 用户问题 构建成完整的 Prompt
  4. 生成(Generation):大语言模型再根据这个 Prompt 生成结果

Embedding 模型是什么?

Embedding 是一种将文字序列(如词、句子或文档)转换为向量表示(固定维度的向量)的技术

模型目标:使得具有相似语义的文字序列对应的向量尽可能接近(即相似度高),而语义不同的文字序列对应的向量尽可能远离(即相似度低)

作用:通过数学计算向量之间的距离,快速检索出相似度最高的文字序列

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
崖山数据库智能问答系统:DeepSeek + RAG
近年来,人工智能领域发展迅猛,尤其是大型语言模型(LLM)的突破性进展,正在深刻改变各行各业。DeepSeek AI 作为新兴的人工智能技术代表,凭借其卓越性能和成本优势迅速崭露头角,为数据库管理等领域带来了新的可能性。
用户10349277
2025/05/27
2110
LLMOps实战(一):DeepSeek+RAG 协同构建企业知识库全流程指南
首先解释下什么是 LLMOps,Large Language Model Operations是专注于大语言模型全生命周期管理的工程实践,涵盖从模型开发、部署、监控到持续优化的系统性流程。其核心目标是提升LLM应用的可靠性、效率与可控性,解决大模型在实际落地中的技术与管理挑战。
范赟鹏
2025/03/24
4.6K0
使用DeepSeek+RAG实现私人知识库
我使用包括 ChatGPT 在内的 AIGC 工具,回答 SAP 相关领域问题时,经常遇到大模型「一本正经的胡说八道」。这种现象的正式术语是大模型的幻觉现象。
编程小妖女
2025/02/07
26.9K17
使用DeepSeek+RAG实现私人知识库
利用DeepSeek-R1构建简单的本地知识库
大家好,我是默语~👋😄 今天带来一篇超级干货、满满实操经验的长文,教你如何利用 DeepSeek-R1 构建简单的本地知识库,以及如何用 DeepSeek 搭配 Kimi 在2分钟内生成32页PPT!🔥💡
默 语
2025/02/18
1.4K0
利用DeepSeek-R1构建简单的本地知识库
【RAG】001-RAG概述
检索增强生成(Retrieval-Augmented Generation,RAG)技术能够有效解决上述问题:
訾博ZiBo
2025/03/25
2470
【RAG】001-RAG概述
RAG与向量数据库
Retriveal Augmented Generation(RAG)检索增强生成,是一种结合了知识检索和生成模型的技术方法,用于减少“幻觉”的产生,主要使用在问答系统,为用户提供正确的答案。
MySQLSE
2024/06/26
1.4K0
RAG与向量数据库
RAG从入门到放弃
想象一下,你有一个非常聪明但是有点“健忘”的朋友——大型语言模型(LLM),比如 GPT 系列。它能写诗、能编程、能跟你聊天,听起来很厉害吧?但是,它所知道的知识都来自于训练它的海量数据,这些数据是有时间范围的,而且不包含你个人或者特定领域最新的、私有的信息。
星哥玩云
2025/04/01
1470
RAG从入门到放弃
使用​​langchain​​搭建自己的本地知识库系统
RAG 是retrieval-augmented-generation的缩写,翻译为中文的意思就检索增强,以基于最新,最准确的数据建立LLM 的语料知识库。
用户1418987
2024/09/06
8600
使用​​langchain​​搭建自己的本地知识库系统
Prompt提示工程上手指南:基础原理及实践(四)-检索增强生成(RAG)策略下的Prompt
此篇文章已经是本系列的第四篇文章,意味着我们已经进入了Prompt工程的深水区,掌握的知识和技术都在不断提高,对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计可以基于链式思考(CoT)、思维树 (ToT)和检索增强生成 (RAG)。其中RAG框架可以算得上是AI平台研发的老生常谈之一了,因为无论是个人还是企业,都想要培养出一个属于自己领域专业的AI。但伴随而来的问题,不限于产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差,以及对最新知识的了解有限。
fanstuck
2024/02/28
2.2K3
Prompt提示工程上手指南:基础原理及实践(四)-检索增强生成(RAG)策略下的Prompt
基于LangChain实现RAG的技术原理
老_张
2025/05/17
1560
基于LangChain实现RAG的技术原理
聊聊langchain4j的RAG
RAG(Retrieval-Augmented Generation)即检索增强生成,它通过检索来获取相关信息,注入到prompt,然后用增强的prompt然后输入给LLM让LLM在回答的时候能够利用检索到信息,从而降低幻觉。常见的信息检索方法包括:全文(关键词)搜索、向量搜索(语义搜索)、混合搜索。目前langchain4j以向量搜索为主(例如通过Qdrant等向量数据库构建高效检索系统),后续会扩展支持全文搜索及混合搜索(目前Azure AI Search支持,详细见AzureAiSearchContentRetriever)。
code4it
2025/03/17
2690
聊聊langchain4j的RAG
RAG (Retrieval-Augmented Generation) 教程
在自然语言处理(NLP)领域,生成式 AI(如 GPT-4)在文本生成方面表现优异,但其主要依赖于预训练的知识,无法动态获取最新信息。为了解决这一问题,RAG(检索增强生成,Retrieval-Augmented Generation)应运而生,它结合了信息检索(IR)与文本生成(NLG)技术,使得 AI 可以利用外部知识库,提高回答的准确性和可解释性。
IT蜗壳-Tango
2025/03/31
7640
最全梳理:一文搞懂RAG技术的5种范式!
本文主要回顾 RAG 技术的发展,第一部分梳理了综述和关键论文,第二部分梳理了工程实践工具。 
Datawhale
2025/02/24
2.1K0
最全梳理:一文搞懂RAG技术的5种范式!
一文读懂 Agentic RAG 技术点滴
Hello folks,我是 Luga,今天我们来聊一下人工智能应用场景 - 提升大型语言模型(LLMs)的知识获取和生成能力的 Agentic RAG(智能增强检索生成)技术。
Luga Lee
2025/04/04
3170
一文读懂 Agentic RAG 技术点滴
一百行代码实现自己的RAG知识库
本人日常工作需要对接各种第三方合作方,对接过程中的文档繁多、沟通不及时、问题排查繁琐以及工作具有重复性等问题愈发明显。合作方遇到对接问题需要提工单经门户网站-->产品部门接口人-->开发人员问题排查/修复-->产品部门接口人-->合作方收到回复,这种模式联调、验收流程较长。
CoderJia
2024/10/18
4110
一百行代码实现自己的RAG知识库
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库
RAG 是retrieval-augmented-generation的缩写,翻译为中文的意思就检索增强,以基于最新,最准确的数据建立LLM 的语料知识库。
用户1418987
2024/09/06
1.9K0
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库
检索增强生成(RAG):大模型的‘外挂知识库
想象一下,你正在参加一场考试,但这次考试允许你“开卷”。你不仅可以从书本中找到答案,还能灵活运用这些知识来回答问题。这就是RAG技术的魅力所在!传统的生成式AI(如ChatGPT)只能依赖“脑子里存的东西”(训练好的模型参数),而RAG则像一位“开卷小天才”,既能查资料,又能灵活作答。它结合了信息检索与生成式大模型的双重优势,让AI的回答更精准、更实时。那么,RAG究竟是如何工作的?它又能为我们的生活带来哪些改变?让我们一探究竟!
一只牛博
2025/05/31
2150
检索增强生成(RAG):大模型的‘外挂知识库
只是文档灌Dify?RAG发展一篇文就入门!
RAG,全称检索增强生成(Retrieval-Augmented Generation),作为当前 AI 应用中常见的辅助方法,有效提升了 LLM 输出的准确性和可靠性。但总有人戏言,RAG 不过是“把文档丢进 Dify”这么简单,真的吗? 关于 RAG 的技术流程,网上已经有非常多高质量的文章介绍,因此笔者想从 RAG 的技术发展角度来写这篇文章,从最基本的 RAG 到当前热门的 Graph RAG、Agentic RAG,介绍 RAG 的不同类型和区别,希望大家能够从文中受益。
腾讯云开发者
2025/04/04
4450
只是文档灌Dify?RAG发展一篇文就入门!
【RAG】001.1-RAG相关核心概念
RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合信息检索与生成模型的混合架构,旨在提升生成的准确性和可信度。其核心概念可归纳为以下六个方面:
訾博ZiBo
2025/03/26
3540
LLM RAG系列
本文介绍了RAG以及RAG pipeline的整个流程,包括请求转换、路由和请求构造、索引和检索、生成和评估等,其中引用了大量有价值的论文。
charlieroro
2024/04/02
8740
LLM RAG系列
相关推荐
崖山数据库智能问答系统:DeepSeek + RAG
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档