大模型Agent和RAG学习感悟--SECon全球软件工程技术大会观后感

SECon 6月21日全天ppt共享：

上午：https://pan.baidu.com/s/1YQBtt9M5NeHY9PNUrLuiLA?pwd=E1u4

下午：https://pan.baidu.com/s/1S8Jpk4H6OTzxuCD140Sxnw?pwd=SE25

有幸通过沈剑老师的知识星球福利，拿到了6月21日SECon全球软件工程技术大会的参会票，听了一天各路专家老师的分享，还是收获满满的。

目前公司内部大家也都如火如荼地投入大模型的研究和使用，组内也是大部分人力投入去开发问答机器人，机器人对应的后端就是agent智能体以及RAg知识库、nl2sql这些技术。所以本次也是奔着了解agent以及RAG等相关技术等目的去参加这个大会，我把大会上了解到的内容以及结合自己的理解，做了如下梳理总结，如果有不对的地方，希望大家多多指教。

一、AI生态及应用演进。

通过黄佳老师的分享推荐李建忠老师，说李建忠老师的公众号干货慢慢，于是去公众好看了下，果然长见识了，以下内容引用李建忠老师（公众号：李建忠研思）公众号内容，链接为：https://mp.weixin.qq.com/s/DAA3WV8vnLOYNRtUxoBKzw

1、AI发展的各个阶段

第一阶段：1940年代开启人工智能的元年，整个人工智能从1940年代图灵提出计算机理论模型和神经网络的初始构想，到1956年达特茅斯会议首次提出人工智能，此后人工智能进入符号主义、行为主义、连接主义的曲折发展；

第二阶段：2012～2018年间的感知AI（Perception AI），这里的标志事件是AlexNet利用深度神经网络在ImageNet大赛上拔得头筹，开启了AI在视觉领域的革命；

第三阶段：2018～2024年间的生成式AI（Generative AI），这里的标志事件是基于Transformer架构的GPT 1.0模型在2018年发布和2022年底ChatGPT的出现，语言模型在这个阶段取得了突破性进展；

第四阶段：2024年～2030年的AI智能体（AI Agent），这里的核心是强化学习带来的推理范式转换，给智能体注入关键驱动力；

第五阶段：普遍预计是物理AI（Physical AI），具身智能的发展出现端倪，它将把AI从数字/比特世界带入物理/原子世界。

2、智能体的能力成熟度阶梯

Agent的规划的核心支撑是推理（reasoning），强化学习带来的整个推理范式使得智能体的规划能力大大提升。这也是为什么普遍认为今年智能体会爆发的原因。

Agent的工具（Tools）能力。早期有一种说法说，大模型来了，所有传统软件都要被大模型重构。这并不意味着所有传统软件都会变成大模型软件。传统软件仍然有它存在的价值。

3、MCP与A2A对比

4、大模型的下一站是智能体平台

5、OpenAi认为AGI的五个发展阶段：

AGI 是Artificial General Intelligence的缩写，中文通常翻译为人工通用智能或强人工智能。

6、大模型应用的两大方向--AIGC和智能体对比

AIGC是Artificial Intelligence Generated Content的缩写，中文通常翻译为人工智能生成内容或AI生成内容

生成式AI和AI智能体，二者并非取代关系，而是并列演进的关系

AIGC将为内容注入新的变量。它的核心逻辑是帮助人类Kill Time，所谓消磨时光，它的核心场景是娱乐社交，用户比较侧重toC，它的底层价值是为人类提供分泌多巴胺的“情绪价值”。

而AI智能体，核心逻辑是帮助人类Save Time，所谓“帮我搞定这个事”。它的核心场景是生产力或者效率应用。用户比较侧重toB，它的底层价值是为人类提供分泌内啡肽的“成就价值”。

二、企业级RAG新范式

本节内容来自新加坡的黄佳老师分享的“DeepSeek 驱动的企业级 RAG及 MCP 和 A2A 时代开发新范式”

1、概率计算和结构化计算的结合范式

黄佳老师提出了计算1.0和计算2.0的概念。计算2.0时代是用概率思维进行推理强调任务执行，最终还是需要调用工具（计算1.0）来解决实际问题。

2、构建全链路Text2SQL系统

我们公司最近也有在用NL2SQL来构建问答内容生成，目前还存在不少的问题和瓶颈，并且很多工作都需要手工处理，没有形成处理的工作流，黄佳老师的这个全链路Text2SQL的方案后续可以参考借鉴下。

a、Schema 提取与切片（构建 DDL 知识库）

通过 Python 脚本自动连接 MySQL，遍历指定数据库的所有表，调用SHOW CREATE TABLE 生成 DDL，并将结果写入 ddlstatements.yaml

b、示例对注入（构建 Q→SQL 知识库）

c、业务描述补充（构建 DB 描述知识库）

d、检索增强（RAG 检索上下文）

e、SQL 生成（调用 LLM）

f、执行与反馈（执行 SQL 并返回结果）

3、Modular RAG的组件化思维

以形式化符号定义了RAG的三大核心阶段——I=Embedding索引、R=Retriever检索、G=LLM生成，引入模块化RAG的三级结构：

L1模块（大阶段）、

L2子模块（具体功能）、

L3算子（最小操作实现）。

1）. 索引模块（Indexing）重点讨论如何划分文档chunk（滑窗、Small-to-Big、Metadata等）、构建层次索引与知识图索引，以平衡上下文覆盖与噪声干扰。

2）. 预检索模块（Pre-retrieval）涵盖查询扩展（多查询、子查询）、查询变换（重写、HypotheticalDocument Generation、Step-back Prompting）与结构化查询（Text-to-SQL/Cypher），旨在提升检索精准度。

3）. 检索模块（Retrieval）介绍稀疏检索（BM25），密集检索（BGE、ColBERT），混合检索，以及基于监督、LLM生成信号、Adapter等方式对检索器的微调策略。

4）. 后检索模块（Post-retrieval）包括重排序（Rule-based、Model-based），压缩（LLMLingua）与选择（Selective Context、LLM-Critique），防止冗余或噪声上下文影响生成。

5）. 生成模块（Generation）涵盖生成器微调（Instruct-Tuning、RLHF、Distillation）、以及基于知识库或小模型的验证机制，确保答案准确无幻觉。

6）. 协同编排模块（Orchestration）负责整体流程控制，包括路由（Metadata-based、Semantic、Hybrid），调度（规则判断、LLM判断、知识图引导）与分支融合（LLM融合、加权集成、RRF）。

4、RAG的流程与模式

1）. 线性模式（Linear）串行执行预检索→检索→后检索→生成，例如RRR流程。

2）. 条件模式（Conditional）通过路由决定后续子流程，适配不同场景与策略。

3）. 分支模式（Branching）可分为预检索分支（Multi-Query）与后检索分支（Parallel Generation），再通过融合算子汇聚结果，如REPLUG。

4）. 循环模式（Loop）包括迭代检索（ITER-RETGEN）、递归检索（ToC）与主动检索（FLARE、Self-RAG），在生成与检索间动态往返。

5）. 微调模式（Tuning）针对检索器、生成器或两者联合微调（RA-DIT），强化模块间协同。

5、Agentic RAG 的核心理念

Agentic RAG在传统RAG的基础上，融合了自主智能体的能力：

•动态决策：根据任务需求，智能体可以自主选择最合适的检索策略和生成方法。

•多步骤推理：通过迭代的方式，逐步优化检索和生成结果，提高回答的准确性和相关性。

•工具使用：智能体可以调用外部工具（如API、数据库）来获取额外信息，丰富生成内容。

•多智能体协作：多个智能体可以协同工作，分工处理复杂任务，提高系统的整体效率。

Agentic RAG 主要架构模式

根据系统设计和任务需求，Agentic RAG可以采用多种架构模式：

1）. 单智能体架构：一个智能体负责整个检索和生成流程，适用于简单任务。

2）. 多智能体架构：多个智能体分工合作，处理复杂任务，如信息检索、内容生成、结果评估等。

3）. 层次化架构：智能体按照层级组织，高层智能体负责任务分配和协调，低层智能体执行具体操作。

4）. 纠错型架构：引入反馈机制，智能体根据评估结果不断优化生成内容。

5）. 自适应架构：智能体根据环境变化和任务需求，动态调整策略和行为。

6）. 基于图的架构：利用知识图谱等结构化数据，增强信息检索和推理能力。

7）. 智能文档工作流（ADW）：面向文档处理的架构，自动化处理文档解析、数据提取和内容生成等任务。

6、用LangGraph构建Agentic RAG

7、MCP/A2A 时代的RAG

LLM：是Agent毫无疑问的“大脑”，负责处理信息，推理，做决策。

MCP:负责模型与工具/资源的连接，是Agent的"手"，让Agent能够获取信息和执行操作。

A2A:负责Agent之间的通信，是Agent的"嘴"，让Agent能够相互交流、协作完成任务。

RAG在这个生态中既是连接LLM与外部海量知识的纽带（通过MCP的“手”），也是多Agent协作时的信息载体（通过A2A的“嘴”）

A2A和MCP未来一两年的大模型应用开发展望：左手Agent，右手RAG，脚踏两只风火轮。

三、RAG 演进与 Agent 系统融合

内容来自英飞流（InfiniFlow）公司的张颖峰老师的分享。

得知RAGFlow就是InfiniFlow公司的作品。

1、Agent与Memory

2、RAGFlow未来计划

RAGFlow目前在做的是在上层封装构建智能体。workflow也应该要封装到Agent智能体中。

四、“知识 for AI”

内容来自华为云的郑岩老师以及中兴通讯的龙波老师的分享。

两位大咖老师分享了企业知识管理的重要性，以及知识如何转换成知识图谱的方法论。

其中有个观点觉得特别有新意：个人知识管理，现在是被人忽视的，我们需要为我们个人建立一个ai替身，然后给我们这个替身“注入灵魂”，挺值得深思的。

1、企业的知识管理方法论：

知识：对解决问题有帮助的信息和经验

知识管理：聚焦组织应用知识产生价值，制定知识生产、传递方案，解决业务问题

2、从人提炼知识到AI提炼知识，不同时代的DIKW模型

3、知识 for AI消费&训练，通过机器阅读理解（MRC），将数据、经验、知识提取到向量库、知识图谱、知识湖。

4、让AI知识飞轮“低功耗”转起来

五、总结

通过本次大会分享的内容，让自己进一步加深了自己对Agent以及RAG对理解，了解了AI发展的过程以及未来的一些趋势，结合自己公司的知识库以及大模型开发应用的情况，下一步可以更清晰地知道应该往哪些方面去做优化及拓展。同时也了解了这些ai大模型应用前沿的大咖们关注哪些内容，让自己对大模型的应用心里更有数了。