简介:本文系统对比基于嵌入相似度的向量RAG与基于层级目录树的无向量RAG两类检索增强生成方案。从索引构建、检索流程、结构感知能力、延迟、成本与可扩展性等维度剖析核心差异,解释为何无向量方案在复杂结构化文档上更精准却难以规模化,并给出面向多文档知识库与深度结构化查询的条件化选型建议与迁移注意事项。
检索增强生成(RAG)已成为企业构建知识问答与文档检索应用的主流范式。但在工程落地时,团队常常面临一个现实问题:究竟应该采用基于向量相似度的检索方案(下称”向量 RAG”),还是采用基于层级目录树的无向量检索方案(下称”树形索引 RAG”或”无向量 RAG”)?
这两类方案都能让大模型基于外部文档作答、降低幻觉,但在结构化或半结构化文档的深度问答任务上,它们在检索精度、索引成本、响应延迟与可扩展性上的差异非常明显。理解这些差异从何而来,是做出合理技术选型、避免走弯路的前提。本文即以两类方案的架构本质为切入点,逐层展开对比。
向量 RAG 在摄取阶段用嵌入模型将文档切分为若干块(chunk),把每一块编码为高维向量并写入向量索引。查询时,用户问题同样被编码为向量,系统通过相似度搜索召回最接近的若干块,再交由大模型生成答案。它的核心是”用几何距离近似语义相关性”。
树形索引 RAG 不依赖向量数据库,而是借助大模型为文档构建一棵”智能目录”层级树,使模型能够像人类专家翻目录一样逐层浏览、定位到最相关的章节节点。其典型检索分为两步:先由大模型遍历目录树找到相关节点,再以这些节点的内容作为上下文进行答案合成。它的核心是”用文档自身的结构引导检索”。
尽管实现路径不同,两类方案在若干层面高度一致:
也就是说,两者的分歧不在”要不要 RAG”,而在”用什么方式把文档组织起来、又如何把它取出来”。
向量 RAG 的索引构建主要是嵌入模型的编码工作,属于批量、可并行的向量化操作,速度快、单位成本低,且无需大模型对全文做语义理解。树形索引 RAG 则需要大模型递归地阅读文档、逐层生成摘要与目录结构,每次构建都要付出大量推理算力,构建速度慢、成本高。这是二者最本质的资源差异。
向量 RAG 的在线检索阶段基本不消耗大模型推理:向量相似度搜索是成熟的索引查询操作,只有最终生成环节才调用一次大模型。树形索引 RAG 的在线阶段则包含”大模型遍历树定位节点”与”大模型合成答案”两步,两次大模型调用叠加,直接抬高了单次查询的延迟与成本。
树形索引 RAG 天然保留了章节、标题、层级等文档结构,对财务报表、合同、政策文件这类强结构文档的深度查询更友好,也更易解释(可展示检索路径)。向量 RAG 采用扁平的块级召回,在切分过程中会丢失块与块之间的结构关系,面对需要跨章节推理的问题时相对吃力。
综合前述,向量 RAG 在摄取与在线检索两端都更轻量,延迟更低、单位查询成本更可控;树形索引 RAG 因两次大模型参与与昂贵的树构建,延迟与成本都更高。
向量索引天然适合大规模独立文档集合(如客服知识库、海量文档问答),新增文档只需增量编码。树形索引 RAG 在多文档场景下扩展困难:为大量独立文档分别构建层级树的构建成本高、维护复杂,难以在”多文档、大规模”场景中保持经济性。
树形方案能给出”沿哪条目录路径定位到答案”的清晰线索,便于审计与人工核验;向量方案的相似度得分较难直观解释,需要额外的溯源机制辅助。
| 对比维度 | 向量 RAG | 树形索引 RAG(无向量) |
|---|---|---|
| 索引构建方式 | 嵌入模型编码切块 | 大模型递归构建层级目录树 |
| 构建成本与速度 | 低、快,可批量并行 | 高、慢,依赖大量推理 |
| 在线检索大模型调用 | 仅生成阶段一次 | 遍历定位 + 生成,两次 |
| 结构感知能力 | 较弱(扁平块级) | 强(保留章节层级) |
| 可解释性 | 相对抽象 | 路径清晰,易溯源 |
| 延迟 | 较低 | 较高 |
| 单位查询成本 | 较低 | 较高 |
| 多文档/大规模扩展 | 良好 | 困难 |
| 典型适配文档 | 海量独立文档 | 复杂结构化文档 |
需要强调,这些是”倾向性”判断而非绝对结论:当文档规模不大、结构又很强时,树形方案的额外成本也许可以接受;反之,若结构极弱且追求极致低延迟,向量方案通常更省心。
“代理指针”(Proxy-Pointer)式思路的目标是:在摄取阶段(成本可摊销)用大模型构建一次文档结构,并为每个块保存一个指向其结构位置的”指针/代理”;随后仍对各块做向量编码。检索时沿用快速的向量相似度召回,再通过指针回溯到对应的结构节点,把层级上下文一并带入生成。这样,结构感知被”编码”进索引,而在线阶段依旧只需一次相似度搜索加一次生成。
示意性伪代码(通用示例,非特定工具):
# 摄取阶段:一次性构建结构 + 编码def ingest(document):tree = build_hierarchy_with_llm(document) # 构建层级目录树items = []for node in traverse(tree):emb = embedding_model.encode(node.content)items.append({"vector": emb,"text": node.content,"pointer": node.path # 代理指针:记录结构位置})vector_index.add(items)# 检索阶段:一次相似度搜索 + 一次生成def query(question, top_k=5):q = embedding_model.encode(question)hits = vector_index.search(q, top_k) # 快速召回,无大模型参与context = [tree.resolve(h.pointer).section_with_contextfor h in hits] # 沿指针回溯层级上下文return llm.generate(question, context) # 仅一次生成
其核心价值在于:把树构建的高成本”前移”到离线摄取阶段,而在延迟敏感的在线检索阶段保留向量方案的轻量特性,从而在结构感知精度与规模、成本之间取得更好的平衡。
从一类方案切换到另一类,或引入融合方案时,需要关注:
向量 RAG 与树形索引 RAG 的差异,根源在于”如何组织文档”与”如何取回内容”两件事:前者以嵌入编码换取低成本、低延迟和强扩展性,代价是结构感知较弱;后者以大模型构建层级目录换取结构感知精度与可解释性,代价是更高的构建与在线成本、以及多文档扩展困难。选型时不必非此即彼——文档规模小、结构强时可偏树形方案,海量独立文档则偏向量方案;若两者需求并存,可借助”代理指针”式融合思路,把结构信息编码进向量索引,在离线付出可控代价、在线保持轻量检索,从而在精度、成本与规模之间找到更适合自身业务的落点。