简介:对比编译式大模型知识库与检索增强生成(RAG)两类方案的相同点、架构差异、适用规模、维护成本和迁移风险,帮助读者判断在资料规模大小、更新频率和权限要求不同时,应优先评估哪一类方案。
让大模型基于私有资料回答问题,目前主要有两条路径。
第一条是检索增强生成(RAG)。系统把资料切片,计算向量并建立索引。用户提问时,系统先召回相关片段,再连同问题交给模型生成答案。
第二条是编译式知识库。模型先把原始资料逐步整理为一组 Markdown 页面,包括每份资料的摘要、概念条目、反向链接和总索引。用户提问时,智能体沿着索引和链接查找页面,阅读后组织答案。这类做法在个人研究主题中较为常见,知识的组织方式更接近人工编写的 wiki。
两者都在解决“模型如何用上外部资料”的问题,但工程形态、维护方式和适用边界差别明显。如果选型时只看“能不能答对”,容易忽略知识更新、可追溯性、权限控制和长期维护成本。
RAG 方案的核心是一条数据管线加一个检索服务。典型流程包括文档解析、文本切片、嵌入计算、向量索引写入,以及查询时的相似度召回和可选的重排序。召回结果进入生成环节,模型只看到与问题相关的片段。
示意性伪代码如下:
# 离线:构建索引for doc in 原始文档集合:chunks = 切片(解析(doc))for chunk in chunks:向量索引.写入(嵌入(chunk), 元数据=doc.来源)# 在线:问答query_vec = 嵌入(问题)candidates = 向量索引.检索(query_vec, top_k=N, 过滤=用户权限)答案 = 模型.生成(问题, candidates)
编译式知识库的核心是一组按目录组织的文件,加上一个由模型持续维护的索引层。原始资料放在只读目录中,模型负责生成摘要和概念页面,并维护页面之间的链接。问答时,智能体先读取索引,再决定打开哪些页面。
这类方案的“检索”主要依靠模型对索引和摘要的理解,而不是向量相似度。知识的组织结果是可以直接阅读和修改的文件。
两类方案在以下几个方面有共同基础。
RAG 的组件较多,包括解析器、切片器、嵌入模型、向量库、检索器、重排序模块和生成模块。各组件边界清晰,可以单独替换。例如,更换嵌入模型时,可以只重建索引而不改动生成环节。
编译式方案的组件较少,核心是文件系统、模型编译流程和智能体问答流程。它的系统边界主要由目录结构和维护规则决定。组件少意味着部署简单,但系统能力高度依赖编译流程的设计质量。
RAG 擅长在大规模、异构的文档集合中做语义召回。它可以结合元数据过滤,按部门、项目、时间范围或密级缩小检索范围,适合企业内部的文档检索和客服问答。
编译式方案擅长对单一主题做综合归纳。模型可以在编译阶段把分散的资料整理为概念条目,并建立跨文档的关联。这使它更适合生成综合报告、研究综述或结构化的分析材料。它的使用限制在于,单次问答能够有效读取的页面数量有限,主题规模过大时,智能体需要先通过索引缩小范围。
RAG 的接入成本主要在工程配置上。团队需要选择切片策略、嵌入模型和索引参数,并通过评测集调优召回质量。切片过大会引入无关内容,切片过小会丢失上下文,这些参数往往需要反复试验。
编译式方案的接入门槛较低。主要工作包括整理资料目录、设计编译指令、约定页面格式和链接规则。它的难点在于编译指令的质量,指令不清楚时,模型生成的摘要和概念划分会不稳定。
RAG 的查询链路相对固定,通常是一次向量检索加一次生成调用。检索耗时主要由索引规模和索引结构决定,在语料持续增长时,只要索引设计合理,延迟通常可以保持在可控范围内。
编译式方案在资料规模较小时,查询链路简单,智能体读取索引和若干页面即可完成回答。随着主题规模增长,索引本身变长,智能体需要读取的页面数量也会增加,查询的 token 消耗和响应时间随之上升。因此,它的性能曲线与资料规模的关系比 RAG 更敏感。
在稳定性方面,RAG 的主要风险在于召回不准,错误片段会直接影响答案。编译式方案的风险在于编译阶段出错。如果模型在生成摘要时误解了原文,错误会沉淀到知识页面中,并在之后的问答中反复被引用。
RAG 的横向扩展能力较好。语料增长时,可以对索引分片,按业务域拆分向量库,或采用增量写入方式更新索引。这些手段都有成熟的工程实践。
编译式方案的扩展依赖目录组织和摘要质量。规模变大后,需要设计分层索引,例如按主题划分子目录,为每个子目录建立独立的索引页。如果不做拆分,单个索引文件会超出模型一次能够可靠读取的范围,答案质量会下降。
RAG 可以在检索层做权限过滤。系统根据用户身份裁剪候选结果,只把有权限的片段交给模型。检索日志也能记录每次查询召回了哪些文档,便于审计。
编译式方案的权限通常以文件或目录为粒度。页面是模型生成的,如果摘要或概念条目混入了原始资料中的敏感信息,这些内容可能被放入权限较宽的公共页面。因此,这类方案需要在编译流程中加入敏感信息检查,并对页面的可见范围做明确划分。
RAG 的运维对象包括索引更新延迟、向量库容量、嵌入模型版本和召回质量。更换嵌入模型通常要求全量重建索引。召回质量需要通过定期回归测试监控,否则可能在不知不觉中下降。
编译式方案的运维对象是文件和流程。文件可以借助通用版本控制工具做备份和回滚。日常运维的重点是检查编译结果,修复失效链接,处理页面之间的冲突,并抽样核对摘要与原文是否一致。这些工作依赖人工或脚本,随着页面数量增加,工作量会上升。
RAG 的成本包括嵌入计算、向量存储、检索服务的资源占用,以及搭建和维护数据管线的工程人力。这部分成本中有相当一部分是固定的,与查询量关系不大。
编译式方案的主要成本是模型编译和问答时的推理消耗。资料变化后,受影响的页面需要重新编译,产生增量成本。人力投入主要集中在流程设计和质量抽检。若资料更新频率较低,这类方案的长期维护成本通常较为平稳。
| 对比维度 | RAG 方案 | 编译式知识库方案 |
|---|---|---|
| 核心机制 | 向量相似度召回片段后生成答案 | 模型维护索引和页面,智能体沿链接阅读后作答 |
| 系统组件 | 解析、切片、嵌入、向量库、检索、生成 | 文件目录、索引页、编译流程、问答流程 |
| 适合规模 | 大规模、异构、持续增长的语料 | 单一主题或中小规模的资料集合 |
| 综合归纳能力 | 依赖召回片段的完整度,跨文档综合较弱 | 编译阶段完成归纳,综合能力较强 |
| 接入门槛 | 需要调优切片和索引参数 | 需要设计编译指令和页面规范 |
| 权限控制 | 检索层可按身份过滤,粒度细 | 多以文件或目录为单位,粒度较粗 |
| 可追溯性 | 检索日志可记录召回来源 | 需在页面中维护原文引用 |
| 主要风险 | 召回不准,答案缺少上下文 | 编译错误沉淀,页面规模变大后读取成本上升 |
| 更新方式 | 增量写入索引,换模型需重建 | 重新编译受影响页面 |
| 主要成本 | 固定的基础设施和工程人力 | 与编译和问答量相关的推理消耗 |
个人或小团队的单一主题研究。 资料通常在几十到一百篇左右,更新频率不高,目标是形成可阅读、可修改的知识沉淀。此时编译式方案上手快,产物本身就是可以直接浏览的知识库,适合作为研究笔记的延伸。
企业内部的海量文档检索。 文档数量大、格式多样、更新频繁,并且存在部门和密级的权限划分。RAG 的分片索引和细粒度过滤更容易满足这些要求。
需要生成综合报告的分析工作。 问题往往需要跨多份资料归纳,例如梳理某个技术方向的发展脉络。编译式方案在编译阶段完成的概念整理,能够为综合输出提供较好的基础。
对审计要求严格的场景。 需要记录每次问答依据了哪些资料。RAG 的检索日志更容易满足审计需求。若选择编译式方案,需要额外设计引用机制,并保证页面中的来源信息完整。
混合场景。 可以用向量检索作为入口,先缩小候选文档范围,再由智能体读取相关文档并编译为临时的综合页面。这种方式结合了两类方案的优点,但架构复杂度也更高。
选型应基于资料规模、更新频率、权限要求和团队能力,以下是几个条件化的判断思路。
在做决定前,可以用以下问题自检:
从一种方案切换到另一种方案