编译式知识库与向量RAG:区别、成本与选型

作者:rousong2026.11.16 11:00浏览量:0

简介:本文对比两类“让大模型回答私有知识问题”的技术路线:方案A是以Markdown工件为核心的编译式知识库(LLM持续把原始资料编译为可导航的wiki,由智能体自主检索阅读),方案B是切片—向量化—检索—拼装的向量检索增强生成(RAG)。文章从索引构建时机、检索主体、上下文装配、数据规模边界、成本与运维复杂度等维度拆解二者差异,给出对比表格、条件化选型规则与混合架构思路,并说明迁移中的数据、权限、成本与稳定性风险,帮助读者判断“哪个更适合我、怎么迁”。

一、对比背景与本文的对比对象

围绕大模型的工程讨论,注意力常常集中在模型本体的能力提升上。但越来越多实践表明,模型之外那层”脚手架”——业界常称为 Harness(承载智能体运行的框架)——同样决定了最终效果。它负责上下文装配、工具调用循环、状态持久化、权限确认、上下文压缩与失败重试。一种被广泛提及的观点是:把状态持续沉淀成工件(artifacts)、让人从”逐步操作”转为”设定目标、审阅结果”(on-the-loop),是 Harness 设计的关键特征。

本文的两个对比对象都建立在这一背景之上:

  • 方案A:编译式知识库。把文章、论文、仓库、数据集、图片等原始资料先归档到一个 raw 目录,再由模型逐步”编译”出一组按目录组织的 Markdown 文件(wiki):包含摘要、反向链接、概念条目与相互链接。问答阶段由智能体自己查找、阅读、组织答案,输出 Markdown、演示文稿或图表后再人工审阅。
  • 方案B:向量检索增强生成(RAG)。文档切块、向量化后写入向量索引;查询时按相似度召回若干片段,拼装进提示词交给模型生成答案。

二者要解决的是同一个问题——把模型训练语料之外的私有知识,塞进有限的上下文窗口——差别在于”检索”这件事由谁做、在什么时候做、产物是什么。

二、对象定义与各自的解决思路

方案A的核心是把知识整理的成本从”每次查询”前移到”一次编译”。原始资料只被摄取和归档一次,随后由模型持续维护一个结构化、人类可读的知识层。在这个体系里,Markdown 文件既是模型的上下文来源,也是人的审阅界面:内容由模型撰写维护,人主要定义主题、检查结构、提出问题。

方案B的核心是把知识表示交给向量空间。它的成熟度高、边界清晰,工程链路标准化:切块策略、嵌入模型、索引参数、召回数量、重排策略都是可调项,效果问题往往可以定位到具体环节。

值得强调的是,两种路线都依赖 Harness。方案A对 Harness 的要求更高也更集中:需要一套可靠的文件读写与检索工具、目录级上下文选择策略、编译任务的幂等性与增量更新机制,以及上下文接近上限时的分层摘要与压缩策略。方案B同样需要 Harness 承担工具调用与结果校验,只是上下文来源由”智能体自主阅读”变成了”程序化召回”。

三、相同点分析

  • 目标一致:都是在有限上下文约束下,让模型基于外部知识作答。
  • 都需要完整的数据摄取与清洗环节:格式归一化、编码统一、噪声剔除、图片等附件本地化。这一步做得糙,两条路线都会明显掉效果。
  • 都依赖”先定位、再生成”的基本范式,区别只在定位的主体是程序还是智能体。
  • 都需要引用与溯源机制来约束幻觉,都需要建立评测集做回归,避免改了提示词或换了模型后出现无法解释的效果回退。
  • 都能与云上通用能力结合:原始资料与工件适合放在对象存储,元数据与向量适合放在数据库类服务,运行时适合放在容器平台,行为留痕依赖日志服务与监控告警。

四、核心差异分析

4.1 索引构建的时机与产物

方案A是离线、显式的:编译产物是磁盘上的 Markdown 文件,可读、可 diff、可版本管理、可人工修订。方案B是离线但隐式的:产物是向量与元数据,除了少数存储格式外难以直接阅读。这决定了后续所有差异——一个把知识工程变成了”可审阅的代码仓库”,另一个把知识工程变成了”参数调优问题”。

4.2 检索主体与查询表达能力

方案B的检索是单轮相似度匹配,擅长”事实点查”:条款在哪、某个参数是多少。一旦问题需要跨多篇文档串联线索,top-k 召回很容易漏掉关键环节,且这种失败往往静默发生。方案A的智能体可以多轮探索:先读目录索引定位主题,再按反向链接跳转,用关键词检索补齐,最后深读相关文档。这种多跳能力对综述、对比、溯源类问题优势明显,代价是轮次增加带来的延迟与消耗波动。

4.3 上下文装配策略

方案B的上下文基本是”召回什么就拼什么”,模板固定、行为可预测。方案A由 Harness 决定读哪些文件、读全文还是读摘要,通常形成三层结构:目录索引层(决定去哪找)、摘要层(决定是否值得深读)、全文层(提供细节)。这套分层本身就是一种上下文预算管理机制,也是上下文接近上限时能优雅降级的关键。

4.4 数据规模边界

方案A的优势区间大致在百篇到千篇文档、数十万字量级。在这个规模内,模型维护的索引与摘要足以覆盖关键内容,读完全部相关材料并不困难。规模继续增长后,编译与维护成本、目录结构的组织难度、单次任务的上下文压力都会上升。方案B在十万级文档、GB 级语料场景下更稳,因为检索开销与语料总量近似解耦。

4.5 更新与增量维护

新增一篇资料,方案B只需切块与嵌入一次,代价低且局部。方案A需要考虑增量编译、链接一致性修复、被影响概念条目的重写,以及删除资料时的反向链接清理。若缺少幂等设计,重复编译会产生重复条目与结构腐化,这是该路线最常见的工程债。

4.6 成本结构与延迟特征

方案A的消耗集中在编译期与每次问答的多轮工具循环,单次成本方差大,但编译成果可被多次复用,且有天然的缓存效应——同一主题的后续提问往往读同一批文档。方案B的消耗集中在一次嵌入、一次检索、一次生成,单次成本可预测、易做容量规划与限流。需要注意,两者的实际数字高度依赖语料形态、模型选择与调用策略,应通过自建评测集实测,不宜依赖他人的经验值。

4.7 安全、权限与合规

方案A的知识库本质是文件系统,天然适配既有的文件权限、加密与备份体系,也容易做人工审计。但它的智能体通常拥有读写与终端类工具权限,权限边界必须收紧:外部网页等内容进入编译流程属于不可信输入,存在提示注入风险,应在编译阶段做来源标注与内容隔离,对写操作与破坏性操作设置确认环节。方案B的向量库与嵌入服务引入了新的数据驻留环节,需要考虑嵌入是否通过外部服务完成、删除请求如何级联到索引、多租户场景下的数据隔离与召回越权。

4.8 可解释性与结果稳定性

方案A的过程可完整回放:读了哪些文件、按什么顺序、写了什么,都能从工件与日志中还原,出问题便于定位到某个概念条目质量不佳。方案B的问题定位更依赖召回评测:需要判断是切块粒度不合适、嵌入模型不匹配,还是缺少重排。两条路线都具有非确定性,都需要固定评测集与回归流程。

4.9 对比表格

维度 方案A:编译式知识库 方案B:向量检索RAG
索引产物 Markdown 工件,人类可读可审阅 向量与元数据,通常不可直接阅读
索引时机 离线编译,可持续增量重建 离线切块与嵌入,增量成本低
检索主体 智能体自主多轮探索 程序化相似度召回
擅长问题 多跳、综述、对比、跨文档溯源 事实点查、条款定位、精确匹配
规模边界 百至千篇文档、数十万字级 十万级文档、GB 级语料
延迟特征 多轮循环,延迟与消耗方差较大 单轮,延迟稳定可预测
成本重心 编译期 + 每轮工具调用 嵌入 + 单次生成
新增数据成本 较高,需维护链接与条目一致性 较低,局部嵌入即可
删除与授权变更 需级联清理引用与条目 需级联清理向量与元数据
可审计性 强,工件与日志可回放 中,依赖召回与日志分析
主要工程风险 结构腐化、上下文膨胀、提示注入 召回不足、切块不当、静默漏检
上手难度 需设计工具集与编译流程 链路标准化,成熟方案较多

五、典型场景选择

  • 个人或小团队的研究型知识库,语料在百篇量级,查询以”帮我看懂并串联这些材料”为主:方案A更契合,产出物(报告、演示文稿、图表)也可直接复用。
  • 企业制度、法规条款、产品手册的事实型问答,要求稳定低延迟、答案可定位到具体条款:方案B更契合。
  • 代码仓库与工程文档问答,需要跨文件追踪调用关系与变更影响:方案A的多轮工具探索优势明显。
  • 语料规模大、更新频繁、并发要求高的对外服务:优先考虑方案B,并把智能体能力限制在结果加工环节。
  • 需要频繁生成结构化交付物(综述、幻灯片、可视化图):方案A的产物链更完整。

六、混合架构:多数生产场景的现实解

两条路线并非互斥。较常见的组合是”程序化召回做粗筛,智能体在候选集内做深读”:

  1. # 混合路由(伪代码,仅示意结构)
  2. def answer(question):
  3. candidates = index.search(embed(question), top_k=50) # 召回:宽
  4. scope = rerank(question, candidates)[:8] # 精排:窄
  5. # 深读:在候选范围内允许翻目录、查反向链接、按需扩展
  6. context = agent.read(scope, budget_tokens=20000)
  7. return generate(question, context)

同时保留一层编译工件,把高频主题的摘要与概念条目固化下来,作为召回之外的补充入口。这样既保留了向量检索的规模能力与稳定延迟,也获得了工件层的可审计性与多跳能力。

示意性地,编译阶段的结构可以这样组织:

  1. # 编译流程(伪代码,仅示意结构)
  2. for src in iter_files("raw/"):
  3. doc = normalize(src) # 统一为纯文本/Markdown,附件本地化
  4. summary = summarize(doc.body) # 生成摘要与关键词
  5. write_article(doc.slug, doc.body) # 写入概念/文档条目
  6. for concept in summary.keywords:
  7. append_backlink(concept, doc.slug) # 维护反向链接
  8. rebuild_index() # 重建目录索引,校验链接一致性

七、选型建议

建议按以下顺序做条件化判断,而不是先定技术后找理由:

  1. 语料规模与增长速度。十万级文档以上或高频新增,优先方案B或其变体。
  2. 查询类型占比。事实点查为主选 B;多跳、对比、综述为主选 A;两类并存走混合。
  3. 延迟与成本预算。有严格 P95 延迟约束或需精确成本预测的,B 更易达标。
  4. 可审计与合规要求。需要逐条追溯依据、留存审阅记录的,A 的工件形态更省事。
  5. 团队工程能力。运维力量有限时,优先选择标准化程度更高、可复用成熟组件的方案;具备平台工程能力且有明确知识整理诉求时,A 的长期收益更明显。
  6. 输出形态。若最终交付物是文档、演示文稿、图表而非对话答案,A 的产物链更短。

八、迁移与使用注意事项

  • 数据层:先做格式归一化与编码统一,图片等附件本地化并建立稳定引用路径;明确 raw 层不可变、编译层可重建的边界,避免手工修改被下一次编译覆盖。
  • 幂等与增量:编译任务必须可重复执行且结果一致,建议记录每份资料的版本指纹,仅重编译变更部分,并定期校验链接与孤立条目。
  • 权限与安全:智能体工具集遵循最小权限原则,写操作与破坏性操作需确认;外部抓取内容标注来源并视为不可信输入,防止提示注入污染知识库。
  • 成本与容量:分别核算编译成本与查询成本,对高频问题做结果缓存;为上下文设置预算上限与分层降级策略。
  • 稳定性:建立包含事实型与多跳型问题的评测集,模型或提示词变更后强制回归,监控召回命中率与回答引用完整率。
  • 兼容与解耦:以 Markdown 等开放格式作为知识交换层,避免知识资产与某一工具链强绑定;索引侧保持可替换。
  • 云上落地:可将上述结构映射到通用能力类目——原始资料与工件用对象存储,元数据与检索索引用数据库类服务,智能体运行时用容器平台,行为追踪用日志服务与监控告警,访问控制用身份认证与密钥管理能力。百度智能云提供此类通用云服务能力,具体组合与规格应结合自身数据规模、合规要求与成本预算评估确定,不宜直接套用他人配置。

九、总结

方案A与方案B的差异,本质不是”新旧”或”优劣”,而是把知识整理成本放在编译期还是查询期、把检索决策权交给程序还是交给智能体。前者换来人类可读的工件、更强的多跳能力和更完整的产物链,代价是规模上限、编译维护成本与更宽的权限面;后者换来规模能力、稳定延迟与可预测成本,代价是知识结构的不可读与静默漏检风险。回到 Harness 的视角:模型能力决定上限,Harness 设计决定这个上限能否稳定兑现——状态是否沉淀为可审阅的工件、上下文是否有分层与预算、工具权限是否受控,往往比选择哪条检索路线更能影响最终体验。多数团队的现实解是混合架构,并用自建评测集持续验证,而非一次性押注某条路线。