- 综合排序
- 最热优先
- 最新优先
- 来自专栏Reinvent Data Science
RAG 修炼手册｜如何评估 RAG 应用？
如果你是一名用户，拥有两个不同的 RAG 应用，如何评判哪个更好？对于开发者而言，如何定量迭代提升你的 RAG 应用的性能？ 显然，无论对于用户还是开发者而言，准确评估 RAG 应用的性能都十分重要。 然而，简单的几个例子对比并不能全面衡量 RAG 应用的回答质量，需要采用可信、可复现的指标来量化评估 RAG 应用。 本文将从黑盒和白盒两个角度来讨论如何定量地评估一个 RAG 应用。 01. 当以黑盒方式来评估 RAG 应用时，我们看不到 RAG 应用的内部，只能从输入给 RAG 应用的信息和它返回的信息来评估 RAG 的效果。 我们使用这三个信息来评估 RAG 应用的效果，黑盒方式是一种端到端的评估方式，也比较适用于评估闭源的 RAG 应用。 当以白盒方式来评估 RAG 应用时，我们能看到 RAG 应用的内部所有流程。 白盒方式可以用来评估开源 RAG 应用，或者提升自研 RAG 应用。 02.
1.1K11编辑于 2024-04-25 腾讯云DeepSeek开发RAG应用
RAG开发框架使用的是lamaindex，大模型使用deepseek32B，向量模型使用milkey/dmeta-embedding-zh:f16，rag程序根据给定的txt文件内容进行问答，输入exit 提供了对 Python 包的查找、下载、安装、卸载的功能内置，直接使用Rag检索增强生成（Retrieval-augmented Generation），简称RAG，是当下热门的大模型前沿技术之一自信学习 Ollama、DeepSeek-R1 1.5B、7B、8B、14B 及 32B 模型，选择空间规格按照需求建议选择DeepSeek 32B，适合高精度任务，如复杂推理、大规模知识库问答、专业领域内容生成和研究级应用 6 开始RAG实战前面我们看到开发环境已经ok了，后面直接实现一个基于deepseek的rag系统，该系统完全私有化部署，不使用任何云服务，支持对上传文件的检索。 (1) 创建一个rag目录存放代码cd rag(2) rag目录下创建data，上传测试tx文件Txt文件可以百度百科随便找一段复制内容，后面问里面的问题即可。
80610编辑于 2025-03-05- 来自专栏大数据杂货铺
使用知识图谱实现 RAG 应用
《福布斯》最近将 RAG 应用程序评为人工智能领域最热门的事物。这并不奇怪，因为检索增强生成需要最少的代码，并有助于建立用户对大语言模型的信任。 构建出色的 RAG 应用程序或聊天机器人时面临的挑战是处理结构化文本和非结构化文本。 接下来，我们将演练一个场景，展示如何使用 LangChain 实现基于知识图谱的 RAG 应用程序来支持您的 DevOps 团队。该代码可在 GitHub 上获取。 开发 DevOps RAG 应用程序时，您可以从云服务、任务管理工具等获取信息。 将多个数据源组合成知识图谱 由于此类微服务和任务信息不公开，因此我们创建了一个综合数据集。 RAG 应用程序中的矢量相似性搜索 从向量索引中检索到的信息可以用作大语言模型的上下文，以便它可以生成准确且最新的答案。 这些任务已经在我们的知识图谱中了。但是，我们必须计算嵌入值并创建向量索引。
1.9K10编辑于 2024-04-03 - 来自专栏JavaEdge
抓住风口，快速上手RAG应用开发！
2024年，大模型发展的脚步持续加快，你一定对 RAG（检索增强生成）有所耳闻，随大模型快速发展，RAG 作为一种新兴开发范式，能有效解决大模型的幻觉和知识停滞的问题，并已成为企业构建智能问答应用的最佳实践 3.4 更多开发人员控制权 借助 RAG，开发人员可以更高效地测试和改进他们的聊天应用程序。他们可以控制和更改 LLM 的信息来源，以适应不断变化的需求或跨职能使用。 组织可以更自信地为更广泛的应用程序实施生成式人工智能技术。 4 RAG的工作原理 如果没有 RAG，LLM 会接受用户输入，并根据它所接受训练的信息或它已经知道的信息创建响应。 腾讯云开发者社区携手腾讯云向量数据库团队与腾讯云安灯团队，联合推出**《RAG 七天入门训练营》，将从基础理论到实际应用**，由鹅厂大牛带你快速学习 RAG，助你轻松上手AI Plus，玩转高质量 RAG 应用！
83200编辑于 2024-05-25 - 来自专栏自然语言处理
玩转RAG应用：如何选对Embedding模型？
在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？ 语言支持： 多语言模型如 multilingal-e5-large 适合跨语言应用，而单语言模型可能在特定语言上表现更好。 推理时间： 如果你的应用场景对响应时间有高要求，需要选择在推理时速度较快的模型。 模型的可扩展性与易用性 ： 微调和更新的能力：对于一个不断迭代的RAG系统，选择一个能够轻松微调和持续更新的模型至关重要。 模型是否易于集成进现有的RAG架构？文档是否清晰？社区支持如何？
3K10编辑于 2025-03-19 - 来自专栏人工智能
RAG 应用中的数据召回率及其应用的探讨
深入理解 RAG 应用中的数据召回率及其应用数据召回率是 RAG（Retrieval-Augmented Generation）应用中一个至关重要的性能指标，它衡量模型在检索阶段中成功找到相关数据的能力 召回率在 RAG 应用中的意义在 RAG 应用中，召回率的重要性主要体现在以下几个方面：信息完整性：高召回率有助于确保检索模块不会遗漏与问题高度相关的信息，从而为生成模块提供充分的上下文。 计算召回率的实际案例以下是一个 Python 示例，展示如何计算 RAG 系统的召回率。假设我们有一个简单的知识库，用户查询，以及检索结果。 提高召回率的策略在 RAG 应用中，提升召回率需要针对检索模块的架构和参数进行优化。 未来研究方向虽然提升召回率对 RAG 应用至关重要，但也需要在性能和成本之间寻找平衡点。一些未来研究方向包括：多模态检索：结合文本、图像和音频等多种数据类型，进一步提升召回率。
1.6K10编辑于 2025-01-07 - 来自专栏Reinvent Data Science
Milvus × RAG助力快看漫画多业务应用
03.快看RAG技术探索和应用 以ChatGPT为代表的大语言模型（LLM）在自然语言理解和生成任务上，展现了前所未有的能力，但是大语言模型（LLM）在特定领域任务中，会出现信息延迟和幻觉现象，检索增强生成 （RAG）通过引用外部知识可以有效缓解这些问题，是LLM在工业领域应用的关键技术。 快看在大语言模型及RAG出现之后，迅速切入到以大语言模型为代表的技术领域，开始探索快看内部的应用场景，并在快看AI智能问答、IP角色互动两个场景取得了实质性进展，接下来以这两个场景为例，详细介绍下我们的技术方案 6.高级RAG 上面所说的算是一个比较标准的RAG流程，但是企业应用中的数据和用户query都是多种多样的，为了解决更复杂的业务case，我们做了一些改造，包括query转换、检索时机意图识别、Text2SQL 我们希望通过这些IP衍生出IP角色互动类的应用，用户可以跟IP中的角色进行沉浸式聊天，而不是纯虚拟角色的聊天，这是我们IP角色互动和市场上常见的虚拟角色扮演类应用不同的地方。
53610编辑于 2024-07-31 深入LLM与RAG 原理、实现与应用
大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 首先，LLM可以用于文本生成，可以生成连贯的段落、文章、对话等，可以应用于自动写作、机器翻译等任务中。其次，LLM可以用于问答系统，可以回答复杂的问题，甚至进行对话式问答。 此外，LLM还可以用于智能助理、机器人交互、自动摘要、信息提取等应用领域。总的来说，LLM在自然语言处理和人工智能领域都有很大的潜力，可以提供更加智能和自然的人机交互体验。 泛化：（Generalization）模型泛化是指一些模型可以应用（泛化）到其他场景，通常为采用迁移学习、微调等手段实现泛化。 在实际应用场景中准确率较低。五、早期预训练神经语言模型在探索大型语言模型（LLMs）的历史中，我们首先关注的是早期的预训练神经语言模型，它们可以视为现代LLMs的先驱。
31510编辑于 2024-09-20- 来自专栏Reinvent Data Science
使用RAGAs评估基于Milvus的RAG应用
现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。 在评估RAG时，我们需要分别评估两个组件以及它们的整体性能，以了解RAG是否仍然需要改进，以及需要在哪里改进。此外，为了评估RAG应用程序的性能是否正在改善，我们需要进行定量评估。 RAGAs还提供了端到端评估RAG管道的指标，例如答案语义相似性和答案正确性。本文重点介绍了组件级别指标。 使用RAGAs评估RAG应用 前提条件 安装所需的Python 包 #! 总结 构建一个RAG应用程序很容易，但将其性能投入生产使用则很困难。像机器学习项目一样，我们需要使用验证数据集和评估指标评估RAG应用的性能。 但是，由于RAG应用由多个组件组成，这些组件必须分别和组合地进行评估，因此我们需要一组评估指标。本文介绍了RAGAs评估框架。
80810编辑于 2024-07-10 - 来自专栏AIGC
【AIGC】通过RAG架构LLM应用程序
toc在之前的博客文章中，我们已经描述了嵌入是如何工作的，以及RAG技术是什么。本节我们我们将使用 LangChain 库以及 RAG 和嵌入技术在 Python 中构建一个简单的 LLM 应用程序。 我们将使用 LangChain 库在 Python 中构建一个简单的 LLM 应用程序。LangChain是一个流行的库，它使构建这样的应用程序变得非常容易。 我们的 RAG 应用程序将使用私有数据扩展 LLM 的知识。在这种情况下，它将是一个包含一些文本的 PDF 文件。 1.安装条件在一开始，我们必须安装应用程序将使用的所有必需模块。 在关于RAG的文章中对此进行了更详细的描述。
32310编辑于 2024-05-08 - 来自专栏Datawhale专栏
RAG 作者：RAG 已死，RAG 万岁！
这对于演示来说很亮眼，但对于生产级别的应用而言是不足够的。 不过，让我们假设我们拥有一个无限 token 的上下文窗口： 可扩展性与成本：处理数百万 token 速度缓慢，且在计算和财务上都代价高昂。 即使计算成本在下降，延迟对于应用程序来说也可能是一个大问题。 性能下降：LLM 仍然受困于“中间丢失”（lost in the middle）的问题。这意味着它们无法有效利用长文本中间部分的信息。 底线是：您同时需要长上下文 LLM 和 RAG。 但既然“RAG”这个术语似乎如此具有争议性，那我们不妨这样说： 我们不必非得称之为 RAG。 我们可以就叫它 检索 (retrieval)。 对于面向用户的应用程序，这会造成糟糕的用户体验，人们会在得到答案前就放弃交互。基于检索的方法可以通过仅添加最相关的信息来提供更快的响应。 效率 – 你会在需要回答一个简单问题时去读完整本教科书吗？ 实际上，这些概念没有一个是相互排斥的，甚至不是相互冲突的——它们都以互补的方式帮助解决前沿模型的局限性： RAG 提供了访问模型知识库之外信息的途径 微调 改善了信息处理和应用的方式 更长的上下文 允许检索更多信息供模型推理
30010编辑于 2025-04-24 - 来自专栏自然语言处理
【RAG实战】Prompting vs. RAG vs. Finetuning: 如何选择LLM应用选择最佳方案
在构建基于大型语言模型（LLM）的应用时，通常不可能立即使用模型而无需任何调整。 为了保持高实用性，我们可以选择以下几种方法之一： Prompt Engineering（提示工程） Fine-tuning（微调） RAG（Retrieval-Augmented Generation， 检索增强生成） 混合方法（RAG + 微调） 影响因素 以下两个重要因素会影响我们的决策： 外部知识需求：你的任务需要多少外部知识。 如何决定： 使用RAG：如果你需要基于自定义知识库生成输出，并且LLM的词汇和写作风格保持不变。 使用微调：如果你想要改变模型的结构（行为）而不是知识。 混合方法（RAG + 微调）：如果你的应用需要自定义知识库和模型行为的改变。
26710编辑于 2024-12-20 - 来自专栏全栈开发工程师
【RAG】001-RAG概述
补充1：RAG 基本逻辑 补充2：RAG 知识库基本逻辑 一、RAG 介绍 1、LLM 的主要局限性 大语言模型（LLM）尽管功能强大，但仍存在以下明显的局限性： 时效性问题：模型的知识在预训练后就固定了 在向量数据库中搜索相似内容 获取最相关的文本片段 生成过程： 将检索到的相关内容与用户问题组合 构建合适的提示词（Prompt） 通过 LLM 生成最终答案 3、RAG 的应用场景 RAG 技术在多个领域都有广泛应用 3、选择建议 3.1 适合使用 RAG 的场景 需要频繁更新知识的应用 对答案准确性要求高的场景 预算有限但需求明确的项目 需要透明解释的业务场景 3.2 适合使用 Fine-tuning 的场景 任务明确且相对固定的应用 对响应速度要求高的场景 有充足的训练资源和专业团队 需要深度定制模型行为的项目 3.3 混合使用策略 在实际应用中，可以考虑将两种方法结合使用： 使用 Fine-tuning 优化模型的基础能力 使用 查询处理 查询分析： 理解用户意图 提取关键信息 优化查询表达 查询向量化： 使用与文档相同的嵌入模型 生成查询向量 标准化处理 2.2 相似度检索 向量检索： 执行向量相似度计算 应用过滤条件
37710编辑于 2025-03-25 - 来自专栏云云众生s
开发基于云的RAG应用，使用开源 LLM
检索增强生成 (RAG) 通常用于开发定制的 AI 应用程序，包括 聊天机器人、推荐系统 和其他个性化工具。该系统利用向量数据库和 大型语言模型 (LLM) 的优势来提供高质量的结果。 让我们探索一种类似的方法来开发使用云托管开源 LLM 和可扩展向量数据库的应用程序。 工具和技术 开发此基于 RAG 的 AI 应用程序需要使用多种工具。 之后，您就可以编写代码并开发 RAG 应用程序了。 您的数据已准备就绪，下一步是在 BentoML 上部署模型并在您的 RAG 应用程序中使用它们。首先部署 LLM。 另一方面，MyScaleDB 是专门为 RAG 应用程序开发的，提供高性能 SQL 向量数据库。它熟悉的 SQL 语法使开发人员可以轻松地将其集成到他们的应用程序中并使用它，因为学习曲线很小。
36010编辑于 2024-07-07 - 来自专栏Reinvent Data Science
用 LangChain 搭建基于 Notion 文档的 RAG 应用
在整个过程中，我们会将 LangChain 作为框架，Milvus 作为相似性搜索引擎，用二者搭建一个基本的检索增强生成（RAG）应用。 本质上，LangChain 中的自查询功能就是构建一个基本的 RAG 架构，如图所示： 在 LangChain 中处理 Notion 文档共包含三个步骤：获取、存储和查询文档。 SelfQueryRetriever：用于搭建基本的 RAG 应用。 Attribute info：用于传入元数据的。 首先，我们定义元数据。随后，需要给自查询检索器提供文档的描述。 本教程介绍了如何加载并解析 Notion 文档，并搭建一个基本的 RAG 应用查询 Notion 文档。我们使用到了 LangChain 作为框架，Milvus 作为向量数据库用于相似性搜索。 所谓分块（Chunking）是构建检索增强型生成（RAG）（https://zilliz.com.cn/use-cases/llm-retrieval-augmented-generation）应用程序中最具挑战性的问题
77720编辑于 2023-12-01 - 来自专栏JadePeng的技术博客
知识图谱在RAG中的应用探讨
在这篇文章中，我们来详细探讨知识图谱（KG）在RAG流程中的具体应用场景。 stages，这篇文章较为详细的介绍了KG在RAG各个阶段的可能得应用方式，在这里分享给大家。 RAG 阶段 我们将RAG分为下面几个阶段： 阶段1：预处理 ，通常是提取chunk分块之前的预处理。 KG的一个常见应用场景，也是帮助企业构建缩略词词典，以便搜索引擎可以有效识别问题或文档中的缩略词。 总结 知识图谱KG如何更好的利用在RAG里，是一个值得深入探讨的好话题，本文探讨了知识图谱在RAG不同阶段能产生的作用，不妨去试一试，后续我们会基于一些案例来实际探讨。
1K10编辑于 2024-04-11 - 来自专栏机器学习原理
rag
引言 在本文中，我们将深入探讨RAG技术的基本原理、主要应用场景、其优势与所面临的挑战，并与其他相关技术进行比较。 在人工智能领域，RAG正逐渐发挥着越来越重要的作用，不仅在学术研究中引起广泛关注，也在工业界得到了实际应用。 RAG技术的应用场景 RAG技术在众多实际应用场景中显示出其独特的优势，这是其他单一技术难以比拟的。下面我们详细探讨RAG技术的几个主要应用场景。 如何在有效利用这些数据的同时，保障数据的隐私和安全，成为RAG技术在实际应用中的重要课题。 因此，RAG在保证信息准确性的同时，还能生成高质量的自然语言文本，适用于更广泛的应用场景。
39511编辑于 2024-06-27 基于RAG&MCP的企业级应用开发
大模型开发范式： 落地面临的难题 Prompt框架 RAG主要解决LLM幻觉问题 参考老年机充电器接口各不相同，难以统一的问题，提出MCP MCP与Function Calling直接的区别： MCP 类似微服务的注册中心，将service托管起来 MCP简单分类 MCP Client是在集成在MCP主机上的 RAG技术选型 可以使用MinerU进行数据清洗 MinerU → 转化为markdown
14310编辑于 2025-05-28- 来自专栏喔家ArchiSelf
在大模型RAG系统中应用知识图谱
【引子】 关于大模型及其应用方面的文章层出不穷，聚焦于自己面对的问题，有针对性的阅读会有很多的启发，本文源自Whyhow.ai 上的一些文字和示例。 对于在大模型应用过程中如何使用知识图谱比较有参考价值，特汇总分享给大家。 在基于大模型的RAG应用中，可能会出现不同类型的问题，通过知识图谱的辅助可以在不同阶段增强RAG的效果，并具体说明在每个阶段如何改进答案和查询。 2.知识图谱在RAG各阶段的应用 2.1 阶段一：查询增强 查询增强是 在从向量数据库中进行检索之前，向查询添加上下文。此策略用于在缺少上下文的情况下增加查询并修复错误查询。 一旦 RAG 系统确定了与该特定用户最相关的数据，它还可以确保该用户确实拥有访问该数据的权限。 3.一个用例 用医学领域的一个例子来进一步阐述RAG系统中如何应用知识图谱。
1.7K21编辑于 2024-02-26 - 来自专栏自然语言处理
RAG Logger：RAG日志记录工具
您听说过 RAG Logger 吗？ 它是一款专为检索增强生成 (RAG) 应用程序设计的开源日志记录工具！ 据说它可以作为 LangSmith 的轻量级替代方案，满足 RAG 特定的日志记录需求。 查询、搜索结果、LLM 交互和性能指标可以以 JSON 格式记录。 特点 通过查询跟踪详细了解用户问题！ RAG Logger 为 RAG 应用程序的性能监控和调试提供了强大的支持，对吗？ 特别推荐给那些想要提高应用程序开发效率的人。 请参阅此处的详细信息： RAG Logger GitHub 仓库
17410编辑于 2025-01-07
腾讯云开发者
