简介:RAG 会不会消亡,取决于你把它理解成"某一种具体实现"还是"一类技术范式"。本文对比传统向量检索型 RAG(检索增强生成)与原文直索引型方案(可理解为 SAG 一类思路),从架构、建库成本、查询性能、增量更新、生态成熟度等维度拆解二者差异,帮助开发者、技术负责人和架构师理解各自适用边界,并给出条件化的选型建议与迁移注意事项。
自大模型进入工程化阶段以来,RAG 几乎是让模型”读懂企业知识”的默认答案。但 RAG 在实践中暴露出一类结构性问题:预处理成本随语料规模线性甚至超线性增长。
常见的实现方式会让大模型逐篇阅读资料,整理成知识页面(类似”LLM 预处理型 Wiki”),或对全部文档生成向量。资料只有几百上千份时,这种方式很顺手;可一旦语料膨胀到几十万份、上亿字级别,处理全部原文所花费的时间和 Token 费用就会成为瓶颈。修改一篇文档,往往还要触发相关知识页面的重写或重新嵌入。
于是有人提出另一种思路:直接索引原文,查询时再调用模型判断证据(即原文直索引型方案)。本文正是在这个背景下,把两类方案放在一起做对比,回答”区别是什么、该怎么选”。
两者都属于”检索 + 生成”家族,分歧点在于”理解和筛选的成本,到底放在建库时还是查询时”。
尽管实现路径不同,两类方案在目标和底层逻辑上有明显共性:
换句话说,”RAG 会不会消亡”这个问题本身要谨慎:作为范式,检索增强生成不会消失;会变化的是它内部成本分配的工程形态。
传统方案把重活放在建库端——需要分块、调用嵌入模型、维护向量库;原文直索引方案则把索引做得很”轻”,把”挑证据”的重活挪到查询端,靠一个判定模型实时筛选。示意如下(通用伪代码,不含任何具体工具):
# 传统向量检索型 RAGfor doc in documents:for c in chunk(doc):vec = embedding_model(c) # 入库即产生模型调用vector_store.add(c, vec)# 查询q_vec = embedding_model(query)topk = vector_store.search(q_vec, k)answer = llm.generate(query + join(topk))
# 原文直索引型方案for doc in documents:index.add(doc.original_text) # 仅建原文索引,无模型调用# 查询candidates = index.search(query) # 先粗召回候选evidence = judge_model.filter(query, candidates) # 查询时判定相关证据answer = llm.generate(query + evidence)
这是差异最悬殊的维度。向量检索型方案的建库成本随语料规模上升,大语料下时间和调用费用都不可忽视;而原文直索引方案建库阶段几乎不产生模型费用,只需完成文件清点与索引构建。
参考原文给出的某测试场景(数据为特定环境下的观测值,不同环境会有差异):在约 51 万份企业文档、约 24.65 亿字符的规模下,完成清点、建库与完整性检查约耗时 8 分 32 秒,平均每百万字符约 200 毫秒;而查询阶段每道题因调用判定模型,平均花费约 0.0063 美元。这些数字说明原文直索引方案”建库近乎零模型成本、查询成本小而可算”的取向,但具体数值强依赖于文档格式、索引结构、硬件与模型定价,不能当作通用承诺。
原文直索引方案把一部分成本转嫁到查询端:每次提问都要跑一次判定模型,因此查询延迟通常在秒级(原文观测为 1–3 秒),单次费用虽小但随查询量累积。传统向量检索在查询端主要是向量相似度检索,延迟通常很低、单次成本也低,更利于高频、低延迟的问答场景。
这一点常被低估。向量检索型方案里,文档一旦修改,往往需要重新分块、重新嵌入或重写知识页面;原文直索引方案因为只索引原文,文件改动后通常只需重建对应索引,不必再让大模型重写知识页面。此外,原文直索引方案可以把整个项目文件夹直接纳入,不必为省预处理费用而事先挑选一小部分文件,这对代码库、文档站等”全量纳管”需求更友好。
向量检索的天然优势在于语义泛化:对同义改写、跨语言表述更宽容。原文直索引方案的匹配更依赖字面检索 + 判定模型的智能程度,遇到强语义漂移的问法时,对判定模型要求更高。同时,向量检索型 RAG 的生态更成熟,组件、最佳实践、可观测性工具更丰富;原文直索引方案相对新兴,团队需要评估其检索质量在你语料上的稳定性。
| 维度 | 传统向量检索型 RAG | 原文直索引型方案(SAG 类思路) |
|---|---|---|
| 成本分配 | 前置到建库(嵌入/总结) | 后置到查询(判定模型) |
| 建库费用 | 随语料规模上升 | 近乎为零(仅索引) |
| 建库时间 | 大语料下较慢 | 快 |
| 查询成本 | 单次低 | 单次小但随查询量累积 |
| 查询延迟 | 通常较低 | 秒级(如原文观测 1–3 秒) |
| 增量更新 | 需重嵌/重写知识页面 | 一般只需重建对应索引 |
| 全量纳管 | 常需挑选子集以省成本 | 可整目录纳入 |
| 语义泛化 | 较强(向量相似度) | 依赖字面检索 + 判定模型 |
| 生态成熟度 | 成熟、工具丰富 | 相对新兴 |
不必在”二选一”里做绝对化判断,更合理的是按约束匹配:
若考虑从传统方案切换到原文直索引型方案,需要提前评估:
回到”RAG 会不会消亡”这个问题:作为”检索 + 生成”的技术范式,它不会消亡;真正在演化的是它内部的成本结构。传统向量检索型 RAG 把成本前置到建库,擅长低延迟与语义泛化、生态成熟;原文直索引型方案把判断后置到查询,建库近乎零成本、增量更新友好、适合海量且多变的语料。二者的优劣分别来自”成本放在建库还是查询””依赖向量语义还是判定模型”这些具体技术差异,而非简单的谁优谁劣。选型的正确姿势,是回到你的语料规模、更新频率、延迟要求与运维能力,做出条件化的取舍——必要时用混合架构把两种优势组合起来。