本文整理自 2024 年 5 月 AICon 北京站 【RAG 检索与生成落地实践】专题的同名主题分享。 另外,即将于 8 月 18-19 日举办的 AICon 上海站同样设置了【RAG 落地应用与探索】专题,我们将深入探讨 RAG 的最新进展、成果和实践案例,详细分析面向 RAG 的信息检索创新方法,包括知识抽取、向量化、重排序、混合检索等在不同行业和场景下的微调和优化方法。目前是 8 折购票最后优惠期,感兴趣的同学请访问文末【阅读原文】链接了解详情。
智谱 AI 长期专注于大模型技术的研究,从 23 年开始,大模型受到了各行各业的关注,智谱 AI 也深度的参与到各种场景的大模型应用的建设当中,积累了丰富的模型落地应用的实战经验,其中 RAG 类应用占据了较大的比重。
所谓 RAG,简单来说,包含三件事情。第一,Indexing。即怎么更好地把知识存起来。第二,Retrieval。即怎么在大量的知识中,找到一小部分有用的,给到模型参考。第三,Generation。即怎么结合用户的提问和检索到的知识,让模型生成有用的答案。
这三个步骤虽然看似简单,但在 RAG 应用从构建到落地实施的整个过程中,涉及较多复杂的工作内容。为此,智谱 AI 组建了一支专业团队,专注于打造企业服务场景的 RAG 系统,致力于为客户提供全面的支持与服务。
那么使用 RAG,有哪些优势呢?我们总结有以下几个方面:
智谱 -RAG 解决方案
技术方案
下图是技术方案的全景图
整个技术方案包括三个层面:文件上传、用户提问和答案输出。这三个层面都需要有大量的工程和策略的工作去进行打磨。
以文件上传为例。在文件解析过程中,我们需要将无关的信息(页眉页脚等)过滤掉、将图片改写成特定标识符、将表格改写成模型易于理解的 html 格式等操作。同时,我们会对目录、标题等进行识别,有效提取文档的结构信息;也会对文件中的序列信息进行识别,以确保知识的连续完整。
此外,Embedding 模型本身因为有窗口限制,文档切片过大会导致检索信息不准确。为了解决这个问题,我们采用了 small to big 的策略,即在原始文档切片基础上,扩展了更多粒度更小的文档切片。检索文档时如果检索到粒度细致的切片,会递归检索到其原始大切片,然后再将原始节点做为检索结果提交给 LLM。
产品方案
下面是产品方案的全景图
在知识构建过程,我们提供了包括知识类型管理、切片管理、索引管理和数据运营等知识运营和管理的工具,以此来辅助提升企业服务场景的落地效果。
在知识问答过程,我们提供了包括历史消息、输入提示、原文索引、图文混排、原文查看等功能,以此来加强用户对模型回复答案的信任。
从产品应用层面,一般有三种常见的落地类型,分别为个人使用,企业对内赋能,企业 toC 提供服务等。
智谱 - RAG 在智能客服的实践
下面我以「公共事务客服问答场景」为例,介绍我们在 RAG 上的实践。
这个场景其实大家都比较熟悉。例如 12329 公积金便民热线。针对这样的场景,原来的做法主要是两大技术内容:对话引擎(脚本编排)和文档引擎(检索系统)。
但这样的技术面临着几个痛点:
此外,在交互层面,也同样存在问题:
针对同样的场景问题,智谱通过“ChatGLM 大模型 +RAG”的方案来解决。整个成本和效果可以有大幅提升如,下图所示:
此项目面临如下几个技术挑战:
Embedding
第一个挑战是知识召回。
针对前者,我们采用文章结构切片以及 small to big 的索引策略可以很好地解决。针对后者,则需要对 Embedding 模型进行微调。我们有四种不同的构造数据的方案,在实践中都有不错的表现:
经过微调后的 Embedding 模型在召回上会有大幅地提升。top 5 召回达到 100%,而且不同 Embedding 模型微调后的召回差异在 1 个点之内,模型的参数规模影响极小。
SFT & DPO
另外一个挑战是答案生成。在生成环节中,我们面临以下数据挑战:
在构造数据时,通常情况下,提供更多的高质量训练数据,微调效果越好。反之,如果训练数据中存在错误、瑕疵,将对微调效果产生一定的负面影响。
当构造了优质的数据后,模型微调上,我们一般会采用分阶段微调,即首先用开源通用问答数据进行微调,然后用垂域问答数据微调,最后用人工标注的高质量问答数据进行微调。
DPO 的训练目标就是让正样本概率加大,负样本概率变低。不仅教会模型什么是好的,也会告诉模型什么是差的。对于问答类场景非常有效果,从而让模型能够更好地向人类的真实需求进行对齐。
通过以上的方案,我们能够将原本只有 60% 左右的正确率,提升到 90% 以上。
评测
评测是模型训练过程中的指南针,好的评测集可以快速的帮助我们找到优化的方向,拉齐算法和业务之间的分歧。构建评测数据集要确保遵循几个原则:
结 尾
展望未来,RAG 技术将会在更多领域得到应用,并与其它 AI 技术相结合,例如多模态交互、个性化推荐、用户长期记忆等。智谱 AI 将继续致力于 RAG 技术的探索与实践,为企业在更多的领域落地大模型应用,提供更加智能、高效的服务体验。