简介：本文围绕“将决策模型作为重排序器嵌入 RAG 流程”这一思路，对比了直接分类、逐项拆分判断、端到端微调等不同实现路径，分析了分类精度、推理成本、召回损失、多跳导航等方面的差异。结合冲突识别、路由判断、小模型候选筛选等典型场景，给出条件化的选型建议与迁移注意事项，帮助读者判断在何种业务规模与质量要求下，应当采用轻量决策模型前置过滤，还是保留大模型兜底。
在检索增强生成（RAG）流程中，一个常见优化思路是引入轻量级决策模型，对召回的候选文档做相关性判断或冲突识别，再决定后续的生成或导航策略。这个思路的吸引力在于：决策模型直接输出选项概率，不必逐个 token 生成，成本远低于通用大模型。但问题也随之而来——“这段资料有没有用”“哪段更有用”“下一步去哪里找”，这些任务虽然都叫“判断”，对模型能力的要求其实存在明显差异。
本文将围绕“决策模型进 RAG”这一主题，对比三条典型实现路径：一是在检索后直接做五分类冲突识别；二是把分类任务拆分为多个是非题；三是将决策模型作为重排序器参与候选筛选。同时，我们还会讨论一个更实际的问题：当决策模型的把握不足时，如何与大模型配合，在成本与效果之间取得平衡。
经典 RAG 流程通常由召回、重排、生成三段构成。生成阶段往往调用参数规模较大的模型，成本高、延迟大。如果能够在召回之后、生成之前，用一个更轻量的决策模型判断“这些资料是否相关”“是否相互冲突”“下一步该往哪个方向扩展检索”，就可以显著减少大模型处理无意义信息的机会。
但这一优化方案是否有效，取决于三个前提：
本文对比的对象是两种实现思路。
第一种是“直接决策”，即使用一个已经训练好的分类式模型，对候选文档或冲突类型做端到端推断。这类模型输出的是选项概率分布，不需要解码文本序列。
第二种是“逐项拆分判断”，即将原本一个五分类问题，拆分成多个“是/否”类型的子问题，例如先判断“是否有冲突”，再判断“冲突类型是否为过时信息”，再判断“是否为观点分歧”等。这样做的好处是降低单次判断的复杂度，但也增加了推理次数。
在对比中，我们还会涉及第三种常见做法——将决策模型作为重排序器，与 BM25 这类稀疏召回方式配合使用。这种情况下，决策模型不是做最终判断，而是从召回的前 100 条候选中筛选出更可能相关的少量结果，供后续生成或逐层导航使用。
无论采用哪种路径，其核心目标是一致的：
此外，这三类方案都依赖一个前提：已有训练数据可以支撑决策模型的微调。无论数据来自模拟生成还是人工标注，质量直接决定决策模型的上限。
直接五分类的优势在于，模型一次性看到完整上下文，能够综合多份资料之间的相互关系。例如在冲突识别任务中，五分类可以同时判断“信息互补”“观点分歧”“内容过时”“事实错误”“无冲突”等状态，这种粒度能让生成阶段采用不同策略。
而逐项拆分判断虽然每一步更简单，但一旦前一步判断出错，后续步骤都会受到牵连。实验数据显示，同一批模型在拆分后的表现均低于直接分类，这说明在多标签、多关系的判断中，端到端的全局建模比局部问题的简单叠加更有优势。
决策模型直接输出概率，省去了逐 token 生成的过程，因此在单次推断延迟上具有天然优势。但如果将一个大分类拆成多个子问题，调用次数会成倍增加，延迟反而可能上升。
具体到 RAG 场景中，重排序器往往需要处理前 100 条候选文档。如果决策模型一次只能比较两份资料，那么它需要执行多次两两比较，这会导致延时线性增长。更合理的做法是让模型一次性接收 batch 输入，直接输出每份资料的得分，再做 Top-K 截断。
决策模型擅长“判断”，但不擅长“探索”。在逐层导航场景中，比如知识库本身有清晰的产品、栏目、章节结构时，系统需要决定“下一步去哪一层查”。这个决策不仅依赖当前候选文档，还依赖对检索空间的整体理解。
对比来看，未经过专项训练的通用大模型在这个任务上表现不稳定，而决策模型经过任务数据微调后，可以学到一定的路径选择规律。但需要注意的是，决策模型的导航能力受限于训练数据的覆盖宽度，一旦遇到知识库结构调整或新增栏目，模型可能无法适应。
直接决策的冲突标签可以被当作提示词的一部分输入大模型，引导其按照冲突类型组织回答。例如，检测到“观点分歧”时，大模型可以列出对立观点；检测到“内容过时”时，大模型可以提示用户参考信息的时间范围。
但这种配合并非自动成立。实验表明，多数模型提供的冲突标签不会明显破坏原有回答行为，但评估中所说的“按预期处理冲突”，并不等同于事实正确率的提升。也就是说，标签是否正确引导了生成策略，还需要单独验证。
| 对比维度 | 直接五分类 | 拆分是非题 | 决策模型作为重排序器 |
|---|---|---|---|
| 单次判断成本 | 低 | 高（多次调用） | 中（取决于候选数量） |
| 多资料关系建模 | 强（一次全览） | 弱（上下文割裂） | 中等（依赖训练方式） |
| 召回损失风险 | 低 | 高 | 中（需结合 Top-K 策略） |
| 导航能力 | 弱 | 弱 | 强（适合逐层筛选） |
| 训练数据需求 | 需要标注冲突类型 | 需要标注每一步是非 | 需要任务相关排序数据 |
| 适合场景 | 资料冲突识别 | 单一维度筛选 | 多级检索、逐层导航 |
| 典型风险 | 分类错误直接进入生成 | 错误累积 | 候选过多时延迟上升 |
适合采用端到端五分类方案，且最好结合大模型兜底。决策模型负责处理最有把握的多数请求，而最不确定的一部分请求交给大模型处理。实验数据表明，在保持接近原有效果的条件下，这种方式可以将分类费用降低到全程使用大模型的 25%–37%。
更适合将决策模型训练为导航判断器，每次从候选集合中保留一定数量的分支，再逐层深入。这里需要结合上下文长度与召回损失来决定每层保留多少分支，例如先保留 20 条，下一层压缩到 5 条。决策模型在其中充当“路由节点”，而不是最终答案的生成者。
此时决策模型仅适合做粗过滤，而且要设置较高的保留阈值。例如，可以保留前 50% 的候选不淘汰，由后续阶段做精细判断。这种做法放弃了成本优化的最大空间，但保护了召回下限。
决策模型进入 RAG 是一条有潜力的降本路径，但它的适用边界很清晰：适合做高频率、低歧义的判断，不适合做开放式探索或多步推理。直接分类优于拆分判断，重排序器适合多级导航，大模型兜底能有效弥补决策模型的置信度不足。在实际选型时，应结合知识库结构、候选数量、标注成本与回答质量要求，而不是盲目追求全链路轻量化。最终的目标不是用轻量模型替代大模型，而是让两者各司其职，在有把握的地方快速决策，在没把握的地方谨慎求助。