简介:本文拆解数据索引型与通用编排型两类RAG框架的定位、核心模块、接入方式、运维和成本差异,给出按场景选型的检查清单、两类框架组合使用的边界以及分步迁移方法。读者可以先判断项目的主要矛盾,在早期减少返工,也能看清两类框架并非只能二选一。
项目的主要矛盾决定选型方向。文档规模大、格式杂、检索准确率低,优先看数据索引型框架。多步流程、工具调用和多轮会话是主要难点,优先看通用编排型框架。两类框架可以组合使用,但组合会增加复杂度,应在确有需要时再做。
检索增强生成(RAG)让大语言模型基于企业私有文档作答。模型本身不了解内部资料,所以系统要先从文档中找出相关片段,再把片段和问题一起交给模型生成回答。整条链路包括文档解析、切分、向量化、建索引、检索、重排序和生成。每个环节都有细节要处理,手工拼接成本高,因此业界出现了专门的开发框架。
业界常见两类路线。
数据索引型框架从”私有数据如何被高质量检索”出发。它一般提供数据加载、节点切分、索引构建和查询引擎等能力。数据加载可以读取PDF、办公文档、网页和数据库,并经解析器转为统一的文档对象。切分按句子、段落或固定长度分割文本,并保留一部分上下文重叠,减少语义被截断的情况。索引构建为每个节点生成向量并写入向量存储,也可按需建立关键词索引或摘要索引。查询引擎通常包含检索、重排序和响应合成组件。具体有哪些组件、哪些默认开启,因框架版本而异,选型时要核对所选版本的官方文档。
通用编排型框架从”如何把模型调用组织成可复用的应用流程”出发。它提供提示词模板、链式调用、智能体、记忆与会话,以及工具集成。提示词模板统一管理变量和输出格式。链式调用把多次模型或工具调用按顺序或条件串联。智能体让模型根据任务判断调用哪个工具,以及是否继续迭代。记忆与会话保存多轮对话状态,并可对较早的历史内容做压缩。工具集成把数据库查询、接口调用等外部能力接入流程。
下表从选型时常比较的维度列出两类框架的差异。表中是定性描述,具体实现和版本差异以所选框架的官方文档为准。
| 维度 | 数据索引型 | 通用编排型 |
|---|---|---|
| 设计起点 | 私有数据如何被高质量检索 | 模型调用如何组织成应用流程 |
| 核心模块 | 数据加载、节点切分、索引、查询引擎 | 提示词模板、链式调用、智能体、记忆、工具集成 |
| 接入方式 | 以文档与数据源为入口,接入解析器和向量存储 | 以模型接口和外部工具为入口,接入API与会话存储 |
| 检索质量控制 | 切分策略、重叠长度、重排序、索引类型可直接调整 | 检索通常依赖向量库或检索器等外部组件集成,需自行配置并验证召回与重排效果 |
| 运维重心 | 数据更新、索引重建、解析质量抽检 | 流程调试、工具权限、会话状态与失败回退 |
| 成本构成 | 向量存储、嵌入计算、索引更新、模型调用,可按文档量、更新频率和请求量估算 | 模型调用次数、工具调用、会话存储、调试人力,可按请求量、重排与智能体迭代次数估算 |
| 适用边界 | 文档密集、检索要求高,流程相对简单 | 流程复杂、工具多、多轮交互,检索需求相对简单 |
多步流程会让模型调用次数成倍增加,估算成本时要单独计入。
两类框架并不互斥。常见做法是:数据侧用数据索引型框架完成文档接入、切分和检索,并把查询能力封装成接口。编排层用通用编排型框架,把检索接口当作一个工具,与其他工具一起调度。
组合有几个明确边界。
如果系统只有一类主要难点,不必一开始就组合。先用单一框架跑通,再根据实际瓶颈拆分。
逐项勾选后,结果通常会指向一个主方向。清单分为数据侧和流程侧两组,团队与预算作为约束条件单独看待。
数据侧,用于判断检索与文档问题:
流程侧,用于判断编排与交互问题:
约束条件,不参与方向计分,只用于缩小可选范围:
判断方法如下。数据侧多数勾选为是,优先数据索引型。流程侧多数勾选为是,优先通用编排型。两侧都明显偏高,考虑组合。约束条件会影响最终方案。例如团队缺少运维人力时,即使判断需要组合,也应先从单一框架起步。
已有系统需要迁移或替换框架时,按以下顺序推进,避免一次性替换带来的风险。
迁移时有两点要注意。索引格式通常与框架绑定,更换框架往往需要重建索引。提示词在不同模型或框架下表现可能不同,需要重新评测。
RAG系统会接触大量私有资料,接入阶段就要设计以下控制。
数据量大、检索要求高的项目,先看数据索引型框架。流程复杂、工具多、多轮交互的项目,先看通用编排型框架。两类需求都明显存在时,采用组合方式,并在检索层统一做权限控制。无论选哪种,都应先建立评测集,再做决策和迁移。