简介:RAG说"没有相关信息",问题常出在检索而非生成。本文对比单阶段向量检索与"召回+重排"两阶段检索的差异,讲清什么时候该接重排、如何用命中率评估RAG质量、重排的边界在哪,并给出最小改造方案与选型建议。
在构建检索增强生成(RAG)系统时,很多团队都会遇到同一个现象:答案明明已经收录在知识库里,模型却回复”提供的材料中没有相关信息”。这类问题往往不是生成模型能力不足,而是正确答案根本没有被送进上下文窗口。
这类故障的隐蔽之处在于:日志不会报异常,检索结果看起来也”切题”,问题只有当你逐条检查送进上下文的材料时才会暴露。要解决它,就要理解 RAG 质量评估里两个关键环节——召回与重排——以及各自的边界。
本文对比的对象是两种常见的 RAG 检索架构:
围绕”区别是什么、如何评估、什么时候该接重排”展开。
方案A:单阶段向量检索。 把用户问题与文档片段分别编码成向量(chunk 可理解为一段压缩后的语义摘要),再计算向量距离,取距离最近的 Top-K 直接送入生成模型。链路短、延迟低、实现简单。
方案B:两阶段检索(向量召回 + 重排)。 先用向量检索从全库快速召回数十条候选(保证不漏),再用重排模型对这几十条逐条精排(保证顺序准),最后取 Top-N 交给大模型。重排模型通常采用交叉编码器,把问题和每条候选放在同一次计算里做更细的相关性判断。
1. 判断相关性 vs 判断顺序。 向量检索是”双塔”思路,问题与文档各自独立编码再比距离,擅长从海量库里快速筛出几十条;重排是”交叉”思路,问题与候选一起参与计算,能捕捉套餐名、错误码、限制条件等细节。一句话概括:向量检索负责”广撒网”(召回广度),重排负责”排得准”(精排精度)。
2. 为什么会漏。 当知识库里有多份措辞高度相似的文档时(例如不同套餐的限额页都在谈账号、限额和容器数量),它们的向量摘要会挤在一起,真正的答案文档可能被相似文档挤到 Top-K 之外。管线只取前 3 条时,答案排第 5 就等于缺席——此时换一个更大的生成模型也无法补回缺席的文档。
3. 延迟与成本结构。 多一层重排意味着每次查询要额外做一次逐条计算,候选越多开销越大,但通常仍远小于直接扩大生成模型的代价。这类成本主要以检索调用量、重排调用量和延迟形式体现,需要在真实流量下评估。
| 对比维度 | 单阶段向量检索 | 两阶段检索(召回 + 重排) |
|---|---|---|
| 核心思路 | 双塔独立编码,比向量距离 | 召回后再用交叉编码器逐条精排 |
| 擅长 | 召回广度、快速筛出候选 | 精排精度、区分相似文档 |
| 主要风险 | 相似文档互相挤压,答案被挤出 Top-K | 额外延迟与调用成本;相关性高≠含答案 |
| 接入改造 | 链路简单,几乎无增量 | 需引入重排层,上层生成逻辑基本无侵入 |
| 适用场景 | 知识库小、文档区分度高、答案集中 | 知识库大、措辞相似度高、限额/条款类问答多 |
| 成本影响 | 检索调用量 | 检索 + 重排调用量,随候选数增长 |
评估 RAG 质量不能只看生成答案”读起来顺不顺”,要把检索环节单独拎出来量化,核心指标是命中率与首位命中率:答案文档是否进入了候选池?是否排在第一位?这是判断”该不该接重排”的直接依据。
某公开技术教程给出过一组示例结果:在一次 274 道题的小型合成数据集测试中,加入重排后首位命中率从约 81% 提升到约 97%。需要强调,这组数字来自厂商自建的小型合成数据集,不能直接当作真实业务的收益承诺;它的价值在于把”什么时候值得接”和”接了以后仍会怎么错”放在同一组实验里说明。
由此得出评估 RAG 质量的关键判断顺序:
必须保留一个容易被忽视的局限:高相关性并不保证文档含有答案。 举例说明,如果一篇论坛提问问的和用户问题一模一样,它的相关性会很高,重排后甚至可能升到第 2 位;但它没有解决问题,仍然不能当作答案证据。
换句话说,重排优化的是”顺序对不对”,不优化”这条材料里有没有答案”。答案缺失属于召回与知识库覆盖的问题,指望重排去补是补不回来的。
最小改造方式是把”检索 Top-3 交给大模型”改成”检索 Top-30 → 重排取 Top-3 → 交给大模型”,对上层生成逻辑基本无侵入。示意性代码如下:
# 方案A:单阶段向量检索candidates = vector_search(query, top_k=3)answer = llm_generate(query, context=candidates)# 方案B:两阶段检索(召回 + 重排)recall = vector_search(query, top_k=30) # 先召回一批,保证不漏reranked = rerank_model(query, recall) # 交叉编码器逐条精排top_n = reranked[:3] # 取重排后的前 3 条answer = llm_generate(query, context=top_n)
迁移时需重点评估:
单阶段向量检索与两阶段检索(召回 + 重排)的本质区别,是把”广撒网找候选”和”精排定顺序”分成一步还是两步。向量检索保证召回广度、延迟低、实现简单;重排提升精排精度、缓解相似文档互相挤压的问题,但引入额外开销,且无法弥补答案缺失。
评估 RAG 质量的正确姿势,是先用命中率判断答案有没有进入候选池,再决定是调召回还是接重排。至于选哪种方案,取决于知识库规模、文档相似度、延迟敏感度与运维能力——没有绝对优劣,只有是否匹配你的场景。