让 AI 不再「胡编乱造」的秘诀

使用大语言模型（LLM）时，你是否遇到过这种情况——AI 言之凿凿地给你编了一个不存在的文献出处，或者把历史日期说得驴唇不对马嘴？

这种现象，AI 圈称之为「幻觉」（Hallucination），是当前 LLM 最大的痛点之一。而 RAG（Retrieval-Augmented Generation，检索增强生成） 就是目前业界最主流的解决方案。

为什么 LLM 会「一本正经地胡说八道」？

大语言模型的本质，是根据训练数据预测下一个 token。它擅长"流畅地说话"，但并不擅长"保证说的话有据可查"。

模型存储的知识是静态的，有截止日期，且以模糊的权重形式存储，并非精确的事实数据库。所以当你问它一些冷门问题或最新信息时，它很容易"蒙一个看起来合理的答案"。

RAG 是什么工作原理？

RAG 的核心思路很清晰——不要让模型只靠记忆回答，让它先查资料，再组织答案。

具体流程分为三步：

第一步：检索

当用户提出问题时，系统会先把问题转化为向量（embedding），然后在预先构建好的知识库中，通过向量相似度匹配，找到与问题最相关的文本块（chunk）。

这个知识库通常是企业内部文档、专业数据库，或者实时抓取的网页内容。

第二步：增强

将检索到的相关文本与用户问题一起组合成「提示词」（prompt），为模型提供完整的回答上下文。

这一步的关键是设计好「如何组合」，包括上下文长度控制、噪音过滤、多路召回等技巧。

第三步：生成

模型基于增强后的完整上下文生成答案。由于答案的每一步都有原始文本作为依据，「幻觉」的概率大幅降低。

优势在哪里？

知识可更新：知识库存放的是实时文档，更新文档即可更新模型认知，无需重新训练。

答案可溯源：用户可以查看引用来源，增强可信度。

成本更低：相比 fine-tuning（微调），RAG 无需消耗大量 GPU 资源重新训练模型。

局限性

RAG 不是银弹。检索质量高度依赖知识库的文档质量、切分策略和向量化模型的效果。如果知识库本身脏乱差，或者检索不到正确内容，模型依然会答非所问。

此外，RAG 受到上下文窗口（context window）限制，无法一次性注入超长文档，这时需要配合分块策略、层级检索等高级技巧。