前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >深度解析仿人脑记忆搜索的HippoRAG2,全面对比GraphRAG、KAG、LightRAG和PIKE-RAG,成本缩减12倍

深度解析仿人脑记忆搜索的HippoRAG2,全面对比GraphRAG、KAG、LightRAG和PIKE-RAG,成本缩减12倍

作者头像
AgenticAI
发布2025-03-18 16:49:44
发布2025-03-18 16:49:44
850
举报
文章被收录于专栏:AgenticAIAgenticAI

持续获取、组织和利用知识的能力是人类智能的关键特征,而 AI 系统若想充分发挥潜力,也必须具备这一能力。近期,一些 RAG 方法通过引入知识图谱等结构来增强对信息的理解和联想能力,部分弥补了这些不足。然而,这些增强方法在基础事实记忆任务上的表现通常远逊于标准 RAG。HippoRAG 2[1] 基于 HippoRAG 采用的 个性化 PageRank(Personalized PageRank, PPR)算法,并进一步优化了信息整合方式,同时增强了 LLM 在在线检索中的作用。

本文首先解析 HippoRAG 2 的设计思路,并通过在数据集上对比 GraphRAG、LightRAG、KAG 和 PIKE-RAG,展示其在知识检索中的独特优势,并讨论 hipporag2 的成本优势!欢迎关注与分享,共同探索 RAG 技术的新边界!

1. 系统架构

为了全面理解 HippoRAG2,我们首先回顾一下《HippoRAG 1》代。它是一个受神经生物学启发的大语言模型长期记忆框架,其各个组件均旨在模拟人类记忆的不同侧面。该框架主要由三个部分构成:人工新皮层(LLM)、旁海马区域(PHR 编码器)以及人工海马(开放知识图谱,Open KG)。这三部分协同工作,再现了人类长期记忆中各信息模块间的相互作用。

在 HippoRAG 的离线索引阶段,LLM 将文段处理为知识图谱三元组,并将其整合到人工海马索引中;同时,PHR 负责检测同义关系以实现信息互联。在在线检索阶段,LLM(作为人工新皮层)从查询中抽取命名实体,而 PHR 编码器则将这些实体链接到海马索引上。随后,对知识图谱应用个性化 PageRank(PPR)算法,进行基于语境的检索。尽管 HippoRAG 试图通过非参数 RAG 构建记忆,但其效果受到一个关键缺陷的制约——以实体为中心的方法在索引和推理过程中导致语境信息的丢失,并且在语义匹配上存在困难

基于 HippoRAG 所提出的神经生物学启发的长期记忆框架,HippoRAG 2 在结构上遵循类似的离线索引与在线检索两阶段流程,但在此基础上引入了几个关键改进,以更好地契合人类记忆机制:

  1. 它能够无缝整合开放知识图谱中的概念信息与语境信息,提升索引的完整性和粒度;
  2. 它利用知识图谱结构中超出单一节点的信息,促进了更具语境敏感性的检索;
  3. 它引入了识别记忆机制,以改善图搜索中种子节点的选择。

2. 离线索引

HippoRAG 2 利用 LLM 从文本中抽取三元组,并构造一个无模式的知识图谱,同时通过向量相似性进行同义词检测,将相似概念连接起来,即去重消歧,这是一个非常好的消歧思路,而且还实现了;同时,每个文档被视作一个“通道节点”,与其中的概念节点通过“包含”关系相连,从而实现概念与语境的融合。

注意它不需要对 Prompt 进行任何微调,完全根据大模型自动识别三元组,就能够适应任何领域的 QA。你可以看到它只需要通过 LLM 提取三元组,通过 Embedding 完成消歧,因此成本下降在这里!而消歧好坏,在于 Emebdding 模型,论文中使用 NVIDIA 开源的NV-Embd-v2,它是基于Mistral-7B-v0.1[2]改进而来。对于中文,或许我们可以考虑使用Alibaba-NLP/gte-Qwen2-7B-instruct[3]。

3. 在线检索

编码器将查询与相关的三元组及文段进行关联,从而识别出图搜索的潜在种子节点。在三元组关联过程中,识别记忆机制作为过滤器发挥作用,确保仅保留与查询高度相关的三元组。给定种子节点后,基于 PPR 算法进行语境感知检索,精细筛选最相关文段,进一步细化关联结果以选取最相关的文段。最终,检索到的文段作为问答任务的上下文输入。整个流程下图所示。

4. 数据集表现对比

在论文中,比较RAPTOR[4]、GraphRAG[5]、LightRAG[6]和 HippoRAG 1 代,我参考了KAG 论文[7]、PIKE-RAG[8]论文制作了以下表格,方便比较,以下分数都是 F1(权衡召回与精确率的一种调和分数)。

RAG

HotpotQA

2Wiki

MuSiQue

RAPTOR

69.5

52.1

28.9

GraphRAG

68.6

58.6

38.5

LightRAG

2.4

11.6

1.6

HippoRAG

63.5

71.8

35.1

KAG

76.2

76.2

48.7

PIKE-RAG

76.26

75.19

56.62

HippoRAG2

75.5

71.0

48.6

由于不同的论文中,采用的模型不同,分数上有个别差距的,我认为问题不大,依然具有参考性!

令我意外的是,LightRAG 在这些数据集上的表现远低于预期。可以看到,HippoRAG2 在 HotpotQA、2Wiki、MuSiQue 三个数据集上的表现均优于 GraphRAG,接近甚至超越 KAG 和 PIKE-RAG,同时其成本远低于 GraphRAG。但 HippoRAG2 的成本更低!

5. 12 倍成本下降!

相较于昂贵的 GraphRAG,HippoRAG2 在具有更高准确率的基础上,成本下降 12 倍,据此可以推断耗时下降只会比 12 倍更高,什么概念,原来要 GraphRAG 可能要 2 个小时的,而 HippoRAG 现在可能只需要 10 分钟!!!PIKE-RAG 的成本从论文上来看,成本只会更高。

总结

过去 1 年,GraphRAG 等 RAG 方法在检索增强生成(RAG)领域得到了广泛应用,特别是在构建知识库时展现出一定优势。我也在 GraphRAG 开源早期介入进去,并开源了graphrag-server[9] ,也发布了一系列的教程文章。然而,随着使用深入,我逐渐发现 GraphRAG 在索引速度、检索效果和成本方面存在明显局限。例如,其索引过程可能耗时数小时,知识库更新成本过高,而自动社区分类的收益也难以量化。

大脑真的像 GraphRAG 这样组织知识吗? 这是我思考的关键问题。近期,HippoRAG2 的出现让我看到了一种全新的可能性。它模拟人脑的记忆机制,通过优化知识整合与检索策略,实现了更高效、更低成本的 RAG 方案。

本文详细解析了 HippoRAG2 的原理,并对比了 GraphRAG、LightRAG、PIKE-RAG、KAG等当前主流方案。结果显示,HippoRAG2 在准确率上接近最先进的方案,同时大幅降低了计算成本。

后续文章,我将深入探讨 HippoRAG2 的实战应用,并分享我在优化过程中做出的改进,敬请期待!现在加入我的知识星球即刻获取简化部署代码

我是一名实战派,记得关注哟,获得及时更新。

参考资料

[1]

HippoRAG 2: https://arxiv.org/pdf/2502.14802

[2]

Mistral-7B-v0.1: https://huggingface.co/mistralai/Mistral-7B-v0.1

[3]

Alibaba-NLP/gte-Qwen2-7B-instruct: https://huggingface.co/Alibaba-NLP/gte-Qwen2-7B-instruct

[4]

RAPTOR: https://arxiv.org/abs/2401.18059

[5]

GraphRAG: https://arxiv.org/abs/2404.16130

[6]

LightRAG: https://arxiv.org/abs/2410.05779

[7]

KAG论文: https://arxiv.org/pdf/2409.13731

[8]

PIKE-RAG: https://arxiv.org/pdf/2501.11551

[9]

graphrag-server: https://github.com/KylinMountain/graphrag-server

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-03-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AgenticAI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 系统架构
  • 2. 离线索引
  • 3. 在线检索
  • 4. 数据集表现对比
  • 5. 12 倍成本下降!
  • 总结
    • 参考资料
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档