# RAG 第一版被骂，不是因为模型不行

第一版 RAG 上线三天，被业务方骂了下来。

![封面RAG_公众号_900x383.png](https://developer.qcloudimg.com/http-save/yehe-11546919/9c38076ce76d49cf435eb09d80abedec.png)

起因是个很普通的问题。有人在知识库里问："MySQL 主从切换的流程是什么？"

模型答得很顺，一二三四五步，每一步都像模像样。问题在于——那五步跟我们公司实际的切换流程，一步都对不上。

我当时的反应和大家一样：模型不行，换个更强的；或者 prompt 没写清楚，加一条"只能根据知识库回答"。

复盘之后才发现，方向从一开始就偏了。模型不是不会答，是它翻错了书。

---

## 一、把 RAG 想成一场开卷考试

这个比方最省事。

模型是个考生，检索是"翻书"，考试可以带一本手册进去。

![腾讯云投稿05_配图_开卷考试链路.png](https://developer.qcloudimg.com/http-save/yehe-11546919/035093e5a594d6dba4823291a2ae1a2f.png)

考砸了只有两种可能。

一种是考生不会答。书上有，它没读懂，或者读懂了不会组织语言。这是生成层的问题。

另一种是书翻错了页。答案明明在手册第 47 页，它翻到了第 12 页，那页没答案，考生只好凭印象硬编。

这一版 RAG 的毛病，出在第二种。

而我们当时所有的排查，全在第一种上使劲：换模型、改 prompt、加"不许编造"的约束、把随机性关掉。

![腾讯云投稿05_配图_翻对页翻错页.png](https://developer.qcloudimg.com/http-save/yehe-11546919/17020048527f63a1c4afb2a2c552889a.png)

这些动作有个共同点，都在要求考生"不会就别瞎答"。可考生并不知道自己翻的那页是错的——它以为手上那点资料，就是全部。

---

## 二、"翻错页"长什么样

我后来把这个问题归成三种样子，每一种都不在生成层。

![腾讯云投稿05_配图_三种翻错页.png](https://developer.qcloudimg.com/http-save/yehe-11546919/da863bcfe36d0b9b9d6e110320136145.png)

**第一种，书被撕碎了。**

知识库不是一本书，是一堆文档。系统得先把它们切成小块，才塞得进模型。

切的时候如果只按字数切，比如每 200 字一刀，很容易把一句话切成两半。

举个例子。手册里写着：

```
三、提升从库为主库
1. 确认从库延迟为 0
2. 停止从库复制线程
3. 执行 promote 命令
```

假如刀正好落在"1."前面。那么第二块的开头就是"1. 确认从库延迟为 0"，而"三、提升从库为主库"这行标题，留在了第一块。

用户问"主从切换怎么做"，系统捞到了第二块。块里的字是"确认延迟为 0、停止复制线程、执行 promote"，每一步都对，但它没告诉模型这是在干什么。

模型拿到一段没头没尾的操作，只好自己补一个开头。补的那个开头，就是幻觉。

**第二种，只认字面。**

这个更隐蔽。

用户搜"服务器宕机"，系统返回一堆含"服务器"的文档：服务器采购清单、服务器巡检记录、服务器资产台账。

真正写宕机应急的那篇，标题里一个"服务器"都没有，被排到了第三页。

字面匹配没有错。它只是不知道，用户要找的是"出事怎么办"，不是"哪些文档提过服务器"。

**第三种，捞上来一堆，没排序。**

有些系统一次召回几十条，全部塞给模型。有用的那条，可能排在第 18 位。

模型不是人，它没有"从后往前翻"的习惯。上下文一长，中间那段最容易被忽略。

结果就是：资料明明给了，答案还是编的。

---

## 三、为什么锅总扣在模型头上

因为报错的方向指错了。

生成层出问题，你一眼能看见：答案错了，用户投诉，日志里就是那句错话。

检索层出问题，它不报错。它只是"少给了一条"，甚至"给错了顺序"。系统觉得自己干得挺好——我召回了 20 条啊。

至于这 20 条里有没有答案，没人测过。

还有一层：检索的质量，手上没有现成的数字能看。生成对不对，人一眼能判；召回准不准，得先有标准答案，才能判断。

没有数字的地方，就没人修。

---

## 四、该补的不是 prompt，是一套考题

说到这儿，改法其实就出来了：先别动模型，先给自己出一套题。

我现在的做法是这样，一共四步。

![腾讯云投稿05_配图_考题循环.png](https://developer.qcloudimg.com/http-save/yehe-11546919/8c49dbef2b68a8c3d248973b2c3b6f7f.png)

**第一步，从真实提问里捞 30 条。**

不要自己编问题。去翻客服群、工单记录、运维群里被问过的话，原样抄下来。用户怎么问，你就怎么记，哪怕口语化、有错别字。

**第二步，给每条标一个答案位置。**

这条问题的答案，在第几份文档的哪一段。标不出来，说明这份文档本身写得不行，那是另一个问题。

**第三步，只盯一个数：答案那份文档，进没进前 3。**

不要一上来就搞复杂的指标。就看这一条：能答上来的问题，答案有没有进前 3。进不了，就是召回的锅。

**第四步，改一次，重跑一次，对比。**

改切分，跑一遍；改召回，再跑一遍。命中数增加了多少，白纸黑字。

有个细节我吃过亏：变动太小的时候别急着庆祝。我自己的习惯是，至少多命中 3 条才算数，一次波动不算变好。

---

## 五、动手的顺序，别搞反

有了考题之后，顺序就清楚了。

**先看有没有捞到。** 捞不到，后面怎么排都是白搭。

**再看捞到的排第几。** 捞到了但排在第 18 位，等于没捞到。

**再看捞到的那段完不完整。** 完整度靠切分解决，标题跟着正文走，别让一段操作离开它的标题。

**最后才动生成。** 到这一步再调 prompt、换模型、降随机性，才是有意义的。

顺序搞反的典型症状，我经历过：一直在改 prompt，答案好好坏坏，改到第三天开始怀疑玄学。

因为问题不在那儿。

---

## 六、最后

模型会编，很多时候是因为它手上真的没有可抄的东西。

一份被切成半句话的手册，一堆按字面捞上来的沾边文档，二十条没排过序的资料。换成你坐在那个位置上，你也只能编。

所以下次 RAG 答错，先别急着换模型。先问一句：那本书，它到底翻到了没有？

---

**关于作者**

数据库界华少，做数据库运维，常驻杭州，日常跟国产分布式数据库和智能运维打交道。

*原创内容 · 转载请联系授权*


模型答得很顺，一二三四五步，每一步都像模像样。问题在于——那五步跟我们公司实际的切换流程，一步都对不上。

RAG 第一版被骂，不是因为模型不行

第一版 RAG 上线三天被骂下来：用户问主从切换流程，模型答得像模像样，五步全是我们没做过的。复盘发现不是模型不行，是书翻错了页。这篇讲怎么用一套考题，把问题定位到检索层。

运维工程师

人工智能

RAG回答错误常被归咎于模型，实则多是检索层"翻错书"导致。文章剖析切分碎片、字面匹配、排序缺失三类召回问题，提出用真实问题构建考题、定位答案文档、确保命中前三的优化法，强调先修检索再调生成，才是根治幻觉的关键。

分布式数据库

数据库运维

代码解释

数据库

服务器

MySQL

让每一个 Agent，都跑在云上

tione

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

RAG 第一版被骂，不是因为模型不行-腾讯云开发者社区-腾讯云

RAG 第一版被骂，不是因为模型不行

RAG 第一版被骂，不是因为模型不行

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐