rag-">决策模型做 RAG 重排与检索路由：三条技术路线的对比与选型

一、对比背景：为什么要把决策模型塞进 RAG

传统 RAG 流程中，召回、重排、生成三段各自独立：向量或关键词召回拿回几十到上百条候选，重排模型精排，大模型负责最终生成。问题在于，当知识库文档密集、栏目层级复杂、多份资料互相打架时，单纯“按相似度排序”并不够。

于是出现了一类新思路：把决策模型引入 RAG 链路。决策模型的特点是直接输出选项概率，而不是逐 token 生成答案，因此单次判断延迟低、成本可控，适合高频调用。但它在 RAG 中到底该扮演什么角色——是判断资料冲突类型，还是做候选重排，抑或负责逐层导航检索——这三条路线差别很大。

本文对比的就是这三类用法，并围绕能力要求、成本结构、适用场景与选型依据展开分析。

二、对象定义：三类用法分别解决什么问题

路线 A：冲突类型分类
当 RAG 检索到多份说法不一的资料时，先判断“为什么不一致”。原因是信息互补、观点分歧、内容过时，还是确有错误，不同原因对应不同回答策略。做法是把冲突判断做成多分类任务，让决策模型直接选一个标签。

路线 B：候选重排
在召回阶段拿到一批候选后，用决策模型判断“这段资料有没有用”“哪段更有用”，替代或补充传统重排组件，目标是降低 RAG 推理成本。

路线 C：逐层导航检索
当知识库本身具有清晰的产品、栏目、章节层级时，让模型逐层判断“下一步去哪里找”，而不是一次性在全库做向量匹配。

这三者并非互斥，但能力要求、训练数据和评估指标各不相同，混为一谈容易踩坑。

三、相同点：为什么它们能凑到一起

1. 共享底座与训练范式：三类用法都可以基于同一底座模型做专项微调，例如先训练通用决策能力，再针对分类、抽取、重排分别适配。
2. 输出形式一致：都倾向于直接输出选项概率，省去逐 token 生成，因此在高频判断场景下具备成本优势。
3. 都需要与 LLM 兜底配合：决策模型处理大部分请求，把最没把握的部分交给大模型，是三条路线共同的工程模式。
4. 评估都关注“行为是否符合预期”：分类看准确率与费用，重排看排序质量，导航看召回损失，但都不能简单等同于最终事实正确率。

四、核心差异分析

4.1 能力要求的差异

路线 A 需要的是冲突归因能力：模型要能区分互补、分歧、过时、错误等语义差异，这本质上是细粒度语义判别。把多选拆成一串“是/否”问题反而更不稳，说明单次整体判断比逐步二分类更能保持一致性。

路线 B 需要的是相关性排序能力：模型要判断一段资料对当前问题是否有用，以及相对另一段是否更有用。这与分类任务不同，重排需要处理候选之间的相对关系，而不是绝对标签。

路线 C 需要的是路径决策能力：模型要在层级结构中判断“下一步去哪个分支”，同时还要决定每层保留多少分支、一次比较多少候选。这涉及召回损失与上下文能力的权衡。

4.2 成本结构的差异

以冲突分类为例，若让决策模型先处理所有请求，只把最没把握的四分之一交给大模型，实验中多数组合方案在分类准确率上接近全程使用大模型，而分类费用可降到后者的较低比例。这说明路线 A 的成本优势主要来自分流。

路线 B 的成本优势则来自替代重排组件，但前提是重排质量不能明显下降。相同底座下，未做专项微调的模型、决策微调模型与重排微调模型处理同一批召回候选时，效果差异直接决定是否值得替换。

路线 C 的成本取决于层级深度与分支保留数：保留越多，召回损失越小，但判断次数与上下文开销越大。

4.3 适用场景的差异

维度	路线 A：冲突分类	路线 B：候选重排	路线 C：逐层导航
典型输入	多份冲突资料	一批召回候选	层级化知识库
核心任务	归因冲突类型	判断相关性排序	决定下一步路径
主要收益	分类成本下降	重排成本下降	检索更有依据
主要风险	拆分后掉分	重排质量不达标	分支过少丢召回
与大模型关系	分流兜底	替代或补充	前置导航

4.4 迁移与使用边界

• 路线 A 在端到端实验中，多数模型提供的冲突标签能维持原有回答行为，但这评估的是“是否按预期处理冲突”，不能直接理解为事实正确率提升。迁移时需保留兜底通道。
• 路线 B 要尽量排除底座差异，用同一批召回候选做对照，否则很容易把底座能力误判为微调收益。
• 路线 C 依赖知识库本身是否已有清楚的产品、栏目和章节结构。结构混乱时，逐层导航反而增加判断次数与误差累积。

五、选型建议

1. 知识库层级清晰、栏目稳定：可优先考虑路线 C，用逐层导航缩小检索范围，再配合重排。
2. 多源资料频繁冲突、回答策略需分化：优先考虑路线 A，先用决策模型做冲突分类，把疑难交给大模型兜底。
3. 召回候选多、重排成本高：可评估路线 B，但必须用同底座对照实验验证重排质量，避免“省了成本、丢了效果”。
4. 小模型能力有限：一次能比较多少候选、每层保留多少分支，需要结合上下文能力与召回损失实测确定，不宜照搬参数。

六、总结

决策模型进入 RAG，不是单一角色的替代，而是分工问题。冲突分类解决“为什么说法不一样”，候选重排解决“哪段更有用”，逐层导航解决“下一步去哪里找”。三者共享低成本高频判断的优势，却在能力要求、成本来源与使用边界上差异明显。选型时应先明确知识库结构、冲突频率与重排质量要求，再决定用哪条路线，以及是否需要大模型兜底。