决策模型在RAG中的作用与原理

rag">一、什么是决策模型进入 RAG

检索增强生成（Retrieval-Augmented Generation，RAG）是一种将外部知识检索与大模型生成相结合的技术架构：系统先根据用户问题从知识库中召回若干候选资料，再交由大模型组织答案。在这一流程中，长期被忽视的一环是”判断”——召回的几份资料是否相关、是否互相矛盾、下一步该往哪个方向继续检索。决策模型进入 RAG，指的就是用一类专门输出选项概率的判别式模型，替代或部分替代大模型的自由生成，来承担这些高频、离散、可枚举的判断任务。

与传统生成式大模型逐 token 输出文本不同，决策模型通常以分类头或打分头的形式，直接给出若干候选选项的概率分布，例如”信息互补 / 观点分歧 / 内容过时 / 内容错误 / 无冲突”五选一，或者”相关 / 不相关”二选一。这种”直接选答案”的形态，使其在延迟、成本和稳定性上具备天然优势，也正是它在 RAG 流程中被重新关注的原因。

需要强调的是，决策模型并不是要取代大模型，而是承担 RAG 流水线中”分诊台”的角色：把绝大多数常规判断就地消化，把少量真正困难的请求交给大模型兜底。

二、为什么 RAG 需要专门的决策能力

RAG 的典型痛点并不在于”能不能检索到资料”，而在于”检索到了之后怎么办”。以下三类问题尤其突出：

其一，资料冲突难以处理。 当检索到的几份资料说法不一致时，原因可能完全不同：有的是信息互补，各自覆盖问题的不同侧面；有的是观点分歧，来自不同立场；有的是内容过时，版本不一；也有的是确实写错了。原因不同，正确的回答方式也应不同——互补信息应当合并陈述，观点分歧应当并列呈现，过时内容应当以新版本为准，错误内容则应当被剔除或标注。如果不先做冲突类型判断，大模型很容易把互斥说法强行糅合成一段看似通顺却自相矛盾的答案。

其二，相关性判断成本高。 在 reranker（重排序）环节，系统需要对”这段资料有没有用””哪段更有用”做出判断。若每一次判断都调用大模型逐 token 生成理由和结论，在高频检索场景下成本会迅速累积。

其三，检索路径选择缺乏依据。 当知识库本身具有清晰的产品、栏目与章节层级时，逐层导航往往比一次性向量召回更有依据。此时需要模型判断”下一步应该进入哪个分支”，这同样是一个离散决策问题。

这三类问题的共同特征是：候选空间有限、判断频率极高、对延迟敏感。它们天然适合由决策模型来承担。

三、核心组成与工作原理

从技术视角看，决策模型进入 RAG 一般包含三个组成部分。

第一，任务建模层。 将业务问题转化为可枚举的分类或排序任务。以冲突识别为例，可建模为五分类任务（含”无冲突”），也可以拆解为一串是非题。值得注意的是，实践中直接做多选一往往比拆成一串二分类更稳定，因为拆分后会引入误差累积，每一级的判断失误都会向后传递。

第二，决策模型本身。 通常是一个参数量中等的判别式模型，通过任务数据进行专项训练。它与通用大模型的区别在于：输出的是选项概率而非自然语言，因而省去了逐 token 生成的解码开销。决策模型的价值并不在于通用能力多强，而在于对特定判断任务的判别边界是否足够清晰。

第三，大模型兜底机制。 决策模型对每个请求给出置信度，低于阈值的部分（例如最没把握的四分之一）转交大模型处理。这一机制的关键参数是分流比例：分流太少，疑难请求得不到正确处理；分流太多，成本优势被稀释。

用伪代码表示，整体流程大致如下：

def route(query, candidates):
    probs = decision_model(query, candidates)   # 输出选项概率
    label = argmax(probs)
    confidence = max(probs)
    if confidence >= THRESHOLD:
        return label                             # 决策模型直接给出结论
    else:
        return llm_fallback(query, candidates)   # 大模型兜底

四、典型应用场景

知识冲突类型识别。 在知识库存在多版本文档、多来源资料时，先判断冲突属于互补、分歧、过时还是错误，再决定回答策略。相关实验表明，在数百条测试样本上评估多个决策模型，分类准确率大致落在中段区间；具备较强能力的通用大模型作为基线可达到更高水平。而采用”决策模型处理全部请求 + 大模型只处理最不确定的四分之一”的组合方案时，多数组合能够在准确率上接近全程使用大模型，同时将分类费用降至后者的较小比例。这说明分诊式架构在成本与效果之间提供了可用的折中点。

检索结果重排序。 将决策模型用作 reranker，对候选资料逐条或成对打分，判断其与问题的相关程度。相较于生成式打分，判别式打分在延迟上更可控，适合高频检索。

分层导航与检索路径规划。 当知识库具有清晰的目录结构时，用决策模型逐层判断”下一步进入哪个子节点”，可以减少一次性向量召回带来的噪声。

信息抽取与分类的统一建模。 将中文决策与类型化信息抽取放入同一个模型，可以复用底层表示，降低多任务部署的复杂度。

五、与相关概念的区别

与生成式大模型的区别： 大模型输出自然语言，适合解释、归纳和开放式作答；决策模型输出选项概率，适合封闭式判断。二者是分工而非替代关系。

与向量检索的区别： 向量检索解决”从海量内容中找出可能相关的候选”，决策模型解决”在候选已确定的前提下如何判断与取舍”。前者负责召回广度，后者负责判断精度。

与规则引擎的区别： 规则引擎依赖人工编写条件，维护成本随场景复杂度上升；决策模型通过任务数据训练获得判别能力，对新样本具有一定泛化性，但需要足够的标注数据支撑。

六、使用注意事项

第一，训练数据的针对性决定上限。 专项训练确实能带来提升空间，但效果高度依赖任务数据与真实分布的匹配程度。

第二，分流阈值需要结合成本与容忍度调优。 阈值过高会导致大模型调用量上升，阈值过低则可能让低置信判断直接进入答案。

第三，小模型的候选比较能力与分支保留数量需要实测。 一次能比较多少候选、每层保留多少分支，取决于模型的上下文能力与召回损失之间的权衡，不存在通用最优值。

第四，评估指标要看清口径。 冲突标签带来的回答行为变化，评估的是”是否按预期方式处理了冲突”，并不能直接等同于事实正确率提升。

第五，任务拆分未必更优。 多选一通常比串行二分类更稳，拆分方案在实验中普遍出现掉分，设计时应优先考虑端到端的单次决策。

七、总结

决策模型进入 RAG，本质上是把 RAG 流程中那些高频、离散、可枚举的判断任务，交由专门的判别式模型承担，并由大模型对疑难请求兜底。它解决了资料冲突处理、相关性判断和检索路径选择三类典型问题，在成本与效果之间提供了可调的折中方案。其适用边界在于：任务能够被清晰枚举、有足够的任务数据支撑训练、且对延迟与成本敏感。理解这一边界，是判断是否值得在自有 RAG 系统中引入决策模型的前提。