简介:本文对比两条知识库技术路线:一是"文件式 Markdown 知识库 + Agent 直读维护",二是"切分向量化 + 检索增强生成(RAG)"管道。文章从数据组织、上下文获取方式、增量更新、可调试性、安全合规、运维与成本结构等维度拆解差异,给出规模阈值与条件化选型建议,并说明迁移中的数据、权限与兼容性注意事项,帮助读者判断自己的知识资产该走哪条路,或如何组合使用。
在长文本上下文能力持续提升之后,一个反复出现的技术选择是:面对一批结构化的文档资产,到底该让模型”直接读原文”,还是先建索引再”按需检索”。这两条路线在过去常被默认为后者更”工程化”,但随着上下文窗口扩大、Agent 具备多轮自主查找能力,前者在小到中等规模语料上的性价比明显上升。
本文对比的对象因此明确为两类方案:
需要说明的是,两者不是”新旧替代”关系,而是知识组织权放在谁手里的差异:方案 A 把知识结构化的工作前移到写入期并交给模型,方案 B 把结构化的工作后移到查询期并交给检索算法。
这套方案的本质是一组按目录组织的 Markdown 文件加一份模型维护的索引层。典型工作流如下:
raw/ 目录,正文中的图片一并下载到本地相对路径,避免外链失效,也让模型能稳定引用同一份素材。raw/ 下全部内容,为每份材料写摘要、提取实体与概念、建立反向链接,再把材料归类到概念条目之下,形成 concepts/、entities/ 等目录。这一步的关键特征是人类很少直接编辑 wiki 正文,维护责任在模型侧,人只做校验与方向修正。raw/ 原文核对,最终输出新的 Markdown 条目、演示文稿或绘图脚本生成的图片,再回到前端查看。其成立前提是:语料规模处于模型可反复扫读的量级,且索引文件本身足够可靠。原始实践给出的参照是一个约 100 篇、40 万字规模的研究主题库——在这个量级上,模型维护的索引与摘要已足以支撑多跳推理,无需引入额外检索设施。
方案 B 的经典链路是:文档解析 → 切分(chunking)→ 向量化 → 写入向量库与元数据库 → 查询向量化 → 相似度召回 Top-K → 重排序 → 上下文拼装 → 生成。它解决的核心问题是在千万级片段规模下,用亚线性代价找到”可能相关”的少数片段,从而绕开上下文长度限制。
其代价是引入了完整的离线管道与在线服务:切分策略、嵌入模型版本、索引参数、召回阈值、重排序模型都成为需要长期维护的工程参数,任一处变更都可能引发知识召回质量的隐性回归。
尽管形态不同,两类方案在以下层面高度一致,这也是它们可以互相替换的基础:
方案 A 是写入时结构化:知识被固化成人类可读、可 diff 的 Markdown 条目,概念之间的显式链接就是知识结构本身。方案 B 是查询时结构化:写入期只保留扁平片段,语义关系在每次查询时由向量距离临时近似。
这一差异带来的直接后果是:方案 A 的知识资产可被人工审阅、合并、纠错、纳入代码评审流程;方案 B 的知识”关系”难以直接检视,一旦召回不准,通常只能调参而非改结构。
方案 A 的 Agent 具备主动导航能力:可以先看索引目录,再按链接深入,发现线索不足时回读原始素材,属于多跳、可回溯的检索过程,适合需要跨文档交叉验证的复杂问题。方案 B 是单次或少数次并行召回:一跳之内难以完成”先确认概念 A 的定义,再据此检索概念 B”这类依赖式检索,通常要靠查询改写、多路召回、迭代检索等额外机制补足,而这些机制本质上是在向方案 A 的行为靠拢。
方案 A 的更新是局部重编译:新增或修改一份材料时,只需重写对应摘要并更新受影响的索引与链接;由于内容是自然语言,模型对局部变更有较好的容错与合并能力。方案 B 的更新涉及切分重算与索引重建:切分策略变更、嵌入模型升级往往需要全量重建,且删除操作需保证向量与元数据、原文件三者状态一致,否则会出现”召回到已删除内容”这类典型缺陷。
方案 A 的接入成本极低:一个目录、一套 Markdown 约定、一个可读写文件的 Agent 即可运行,几乎不需要新增服务组件。方案 B 需要额外部署向量库、嵌入服务与编排逻辑,涉及容量规划、索引选型、冷启动与扩缩容,团队需要具备相应的运维能力。
这是实践中容易被低估的差异。方案 A 的每一次回答都可以还原成一条清晰路径:读了哪些文件、跳转了哪些链接、在哪个条目上做了归纳,人类可以直接打开同一批文件复核。方案 B 的失败往往表现为”召回为空”或”召回噪声”,需要打开相似度分数分布、检查切分边界、验证嵌入模型是否匹配语料语言与领域,排查链条更长且更依赖工具支撑。
方案 A 天然契合文件级权限模型:目录即权限边界,可直接复用文件系统的访问控制,敏感材料放在受限目录即可;同时原始文件不出本地环境,数据边界清晰。方案 B 需要在向量库与元数据层单独实现权限过滤,且必须保证”检索前过滤”而非”检索后过滤”,否则存在通过召回结果泄露越权内容的路径;同时要考虑嵌入向量的残留风险与跨环境迁移时的数据副本管理。
方案 A 的成本主要落在推理侧:每次查询可能触发多轮读取,token 消耗与响应时间随 Agent 探索深度线性增长,且随语料增长而上升,因此必须依赖摘要层级做”降采样”。方案 B 的成本主要落在基础设施侧:检索本身开销小且相对稳定,但嵌入计算、索引存储与全量重建是持续投入,问答时延主要由召回规模与重排序决定。
因此两者的成本曲线形态不同:语料小、查询少、问题复杂时,方案 A 更经济;语料大、查询频繁、问题相对独立时,方案 B 的单位查询成本更可控。
方案 A 的边界由”索引层能否被模型稳定维护”决定,一旦语料进入数百万字以上量级,全量重编译的代价与索引漂移风险都会显著上升。方案 B 的边界由”切分与召回质量能否满足问题类型”决定,语料再大也可扩展,但跨文档全局归纳类问题(例如”总结整个知识库的主要分歧点”)始终是其相对薄弱环节。
| 对比维度 | 方案 A:文件式知识库直读 | 方案 B:向量检索 RAG |
|---|---|---|
| 知识形态 | 人类可读的 Markdown 条目与显式链接 | 扁平片段 + 向量与元数据 |
| 结构化时点 | 写入时,由模型编译并持续维护 | 查询时,由相似度临时近似 |
| 上下文获取 | 多跳主动导航,可回读原文 | 单跳/多路召回,需额外机制补强 |
| 适用语料规模 | 小到中等规模(十万至数十万字级可持续维护) | 大规模及以上(百万片段级仍可横向扩展) |
| 新增服务组件 | 基本不需要,文件系统即数据库 | 需要向量存储、嵌入服务与编排层 |
| 增量更新 | 局部重编译,改一份材料即可 | 常需重算切分、可能全量重建 |
| 调试与审计 | 路径透明,可直接打开文件复核 | 需查分数、切分与嵌入版本,链路较长 |
| 权限模型 | 复用文件系统目录级权限 | 需在检索层实现前置权限过滤 |
| 成本重心 | 推理 token 与探索轮次 | 基础设施、嵌入与索引重建 |
| 全局归纳能力 | 较强,可遍历后统一归纳 | 相对薄弱,易漏召回 |
| 主要风险 | 索引漂移、语料膨胀后不可维护 | 切分不当、召回噪声、权限过滤遗漏 |
更适合方案 A 的场景:
更适合方案 B 的场景:
选型不宜绝对化,建议按以下顺序判断:
实践中两条路线常常共存,典型形态是双层知识组织:
knowledge/├── raw/ # 原始素材,唯一事实来源├── summaries/ # 模型生成的条目摘要(降采样层)├── concepts/ # 概念条目与反向链接├── index.md # 全库导航索引└── evals/ # 回归问答集与期望答案
在这个结构上,方案 A 负责跨文档推理与知识编译,方案 B 只承担”从百万级语料中快速缩小候选集”的职责,即先用向量检索把范围从全库收敛到若干目录,再交由 Agent 在这些目录内做精确导航与回读。这种分工既保留了文件式方案的可审计性,又获得了检索式方案的横向扩展能力,是目前较为主流的折中形态。
两类方案的核心差异不在”是否使用向量”,而在于知识结构的归属:方案 A 把结构写在文件里、由模型持续编译,优势是可读、可审计、支持多跳推理,代价是随语料增长维护压力上升;方案 B 把结构隐式编码在向量空间中、由检索算法在查询时重建,优势是规模扩展性与查询成本可控,代价是调试链条长、权限与一致性设计复杂。决策时应以语料规模、问题类型、团队运维能力和合规要求为输入,而非以技术新旧为依据;在多数真实项目中,让检索负责”缩小范围”、让文件式知识库负责”深度推理”,是风险与收益较为平衡的选择。