RAG检索质量对比:向量召回与重排怎么选

作者:JC2026.11.16 10:51浏览量:0

简介:RAG说"没有相关信息",问题常出在检索而非生成。本文对比单阶段向量检索与"召回+重排"两阶段检索的差异,讲清什么时候该接重排、如何用命中率评估RAG质量、重排的边界在哪,并给出最小改造方案与选型建议。

rag-">对比背景:RAG为什么”明明有答案却说没有”

在构建检索增强生成(RAG)系统时,很多团队都会遇到同一个现象:答案明明已经收录在知识库里,模型却回复”提供的材料中没有相关信息”。这类问题往往不是生成模型能力不足,而是正确答案根本没有被送进上下文窗口。

这类故障的隐蔽之处在于:日志不会报异常,检索结果看起来也”切题”,问题只有当你逐条检查送进上下文的材料时才会暴露。要解决它,就要理解 RAG 质量评估里两个关键环节——召回与重排——以及各自的边界。

本文对比的对象是两种常见的 RAG 检索架构:

  • 方案A:单阶段向量检索——直接把检索结果的前若干条交给大模型;
  • 方案B:两阶段检索(向量召回 + 重排)——先召回一批候选,再精排后取前若干条交给大模型。

围绕”区别是什么、如何评估、什么时候该接重排”展开。

两个对比对象是什么

方案A:单阶段向量检索。 把用户问题与文档片段分别编码成向量(chunk 可理解为一段压缩后的语义摘要),再计算向量距离,取距离最近的 Top-K 直接送入生成模型。链路短、延迟低、实现简单。

方案B:两阶段检索(向量召回 + 重排)。 先用向量检索从全库快速召回数十条候选(保证不漏),再用重排模型对这几十条逐条精排(保证顺序准),最后取 Top-N 交给大模型。重排模型通常采用交叉编码器,把问题和每条候选放在同一次计算里做更细的相关性判断。

相同点

  • 目标一致:都是为了把”最相关、最可能含答案”的材料放进上下文,从而提升生成质量。
  • 依赖同一批底层能力:文档切分、向量化、向量存储与检索是基础,重排是建立在其之上的增量层。
  • 都受知识库质量约束:如果答案文档根本没被收录,或切分把答案切碎,两种方案都救不回来。

核心差异分析

1. 判断相关性 vs 判断顺序。 向量检索是”双塔”思路,问题与文档各自独立编码再比距离,擅长从海量库里快速筛出几十条;重排是”交叉”思路,问题与候选一起参与计算,能捕捉套餐名、错误码、限制条件等细节。一句话概括:向量检索负责”广撒网”(召回广度),重排负责”排得准”(精排精度)。

2. 为什么会漏。 当知识库里有多份措辞高度相似的文档时(例如不同套餐的限额页都在谈账号、限额和容器数量),它们的向量摘要会挤在一起,真正的答案文档可能被相似文档挤到 Top-K 之外。管线只取前 3 条时,答案排第 5 就等于缺席——此时换一个更大的生成模型也无法补回缺席的文档。

3. 延迟与成本结构。 多一层重排意味着每次查询要额外做一次逐条计算,候选越多开销越大,但通常仍远小于直接扩大生成模型的代价。这类成本主要以检索调用量、重排调用量和延迟形式体现,需要在真实流量下评估。

对比表格

对比维度 单阶段向量检索 两阶段检索(召回 + 重排)
核心思路 双塔独立编码,比向量距离 召回后再用交叉编码器逐条精排
擅长 召回广度、快速筛出候选 精排精度、区分相似文档
主要风险 相似文档互相挤压,答案被挤出 Top-K 额外延迟与调用成本;相关性高≠含答案
接入改造 链路简单,几乎无增量 需引入重排层,上层生成逻辑基本无侵入
适用场景 知识库小、文档区分度高、答案集中 知识库大、措辞相似度高、限额/条款类问答多
成本影响 检索调用量 检索 + 重排调用量,随候选数增长

如何用命中率评估 RAG 质量

评估 RAG 质量不能只看生成答案”读起来顺不顺”,要把检索环节单独拎出来量化,核心指标是命中率与首位命中率:答案文档是否进入了候选池?是否排在第一位?这是判断”该不该接重排”的直接依据。

某公开技术教程给出过一组示例结果:在一次 274 道题的小型合成数据集测试中,加入重排后首位命中率从约 81% 提升到约 97%。需要强调,这组数字来自厂商自建的小型合成数据集,不能直接当作真实业务的收益承诺;它的价值在于把”什么时候值得接”和”接了以后仍会怎么错”放在同一组实验里说明。

由此得出评估 RAG 质量的关键判断顺序:

  1. 先检查答案有没有进入候选池。 已经找回、只是排得靠后的材料,才是重排最能发挥作用的地方。
  2. 如果答案根本没进候选池,要调的是召回(切分策略、向量模型、召回数量),而不是重排。
  3. 只有当首位命中率是瓶颈、且答案确实在候选池中时,加一层重排才划算。

重排的边界:相关性高 ≠ 含答案

必须保留一个容易被忽视的局限:高相关性并不保证文档含有答案。 举例说明,如果一篇论坛提问问的和用户问题一模一样,它的相关性会很高,重排后甚至可能升到第 2 位;但它没有解决问题,仍然不能当作答案证据。

换句话说,重排优化的是”顺序对不对”,不优化”这条材料里有没有答案”。答案缺失属于召回与知识库覆盖的问题,指望重排去补是补不回来的。

典型场景选择

  • 知识库大、文档措辞相似度高、限额/条款类问答多:两阶段检索更值得接入,重排能缓解相似文档互相挤压的问题。
  • 知识库小、答案唯一且文档区分度高:单阶段向量检索往往已经够用,不必过早增加复杂度。
  • 对延迟极敏感、答案分布集中:接入重排前需谨慎评估其额外开销是否可接受。

选型建议(条件化)

  • 当首位命中率是主要瓶颈,且答案确实在候选池中(只是排靠后)时,可优先考虑加一层重排。
  • 当”没有相关信息”频繁出现时,先别急着加重排,先确认答案是否进入候选池;没进池子就调召回。
  • 当团队运维能力有限时,可优先考虑托管化程度更高的检索与重排能力,减少自建向量库和重排模型的维护负担。

迁移与接入注意事项

最小改造方式是把”检索 Top-3 交给大模型”改成”检索 Top-30 → 重排取 Top-3 → 交给大模型”,对上层生成逻辑基本无侵入。示意性代码如下:

  1. # 方案A:单阶段向量检索
  2. candidates = vector_search(query, top_k=3)
  3. answer = llm_generate(query, context=candidates)
  4. # 方案B:两阶段检索(召回 + 重排)
  5. recall = vector_search(query, top_k=30) # 先召回一批,保证不漏
  6. reranked = rerank_model(query, recall) # 交叉编码器逐条精排
  7. top_n = reranked[:3] # 取重排后的前 3 条
  8. answer = llm_generate(query, context=top_n)

迁移时需重点评估:

  • 数据与切分:重排救不了切分不当。若答案被切断,需要重新设计 chunk 策略。
  • 成本监控:候选数从 3 提到 30 会增加检索与重排调用量,需关注延迟与调用成本。
  • 评估先行:接入前用一批带标注答案的问题做离线评测,对比接入前后的命中率与首位命中率,避免凭感觉上线。
  • 边界认知:不要指望重排解决知识库覆盖不全、答案未被收录的问题。

总结

单阶段向量检索与两阶段检索(召回 + 重排)的本质区别,是把”广撒网找候选”和”精排定顺序”分成一步还是两步。向量检索保证召回广度、延迟低、实现简单;重排提升精排精度、缓解相似文档互相挤压的问题,但引入额外开销,且无法弥补答案缺失。

评估 RAG 质量的正确姿势,是先用命中率判断答案有没有进入候选池,再决定是调召回还是接重排。至于选哪种方案,取决于知识库规模、文档相似度、延迟敏感度与运维能力——没有绝对优劣,只有是否匹配你的场景。