简介:本文对比两类“让大模型回答私有知识问题”的技术路线:方案A是以Markdown工件为核心的编译式知识库(LLM持续把原始资料编译为可导航的wiki,由智能体自主检索阅读),方案B是切片—向量化—检索—拼装的向量检索增强生成(RAG)。文章从索引构建时机、检索主体、上下文装配、数据规模边界、成本与运维复杂度等维度拆解二者差异,给出对比表格、条件化选型规则与混合架构思路,并说明迁移中的数据、权限、成本与稳定性风险,帮助读者判断“哪个更适合我、怎么迁”。
围绕大模型的工程讨论,注意力常常集中在模型本体的能力提升上。但越来越多实践表明,模型之外那层”脚手架”——业界常称为 Harness(承载智能体运行的框架)——同样决定了最终效果。它负责上下文装配、工具调用循环、状态持久化、权限确认、上下文压缩与失败重试。一种被广泛提及的观点是:把状态持续沉淀成工件(artifacts)、让人从”逐步操作”转为”设定目标、审阅结果”(on-the-loop),是 Harness 设计的关键特征。
本文的两个对比对象都建立在这一背景之上:
二者要解决的是同一个问题——把模型训练语料之外的私有知识,塞进有限的上下文窗口——差别在于”检索”这件事由谁做、在什么时候做、产物是什么。
方案A的核心是把知识整理的成本从”每次查询”前移到”一次编译”。原始资料只被摄取和归档一次,随后由模型持续维护一个结构化、人类可读的知识层。在这个体系里,Markdown 文件既是模型的上下文来源,也是人的审阅界面:内容由模型撰写维护,人主要定义主题、检查结构、提出问题。
方案B的核心是把知识表示交给向量空间。它的成熟度高、边界清晰,工程链路标准化:切块策略、嵌入模型、索引参数、召回数量、重排策略都是可调项,效果问题往往可以定位到具体环节。
值得强调的是,两种路线都依赖 Harness。方案A对 Harness 的要求更高也更集中:需要一套可靠的文件读写与检索工具、目录级上下文选择策略、编译任务的幂等性与增量更新机制,以及上下文接近上限时的分层摘要与压缩策略。方案B同样需要 Harness 承担工具调用与结果校验,只是上下文来源由”智能体自主阅读”变成了”程序化召回”。
方案A是离线、显式的:编译产物是磁盘上的 Markdown 文件,可读、可 diff、可版本管理、可人工修订。方案B是离线但隐式的:产物是向量与元数据,除了少数存储格式外难以直接阅读。这决定了后续所有差异——一个把知识工程变成了”可审阅的代码仓库”,另一个把知识工程变成了”参数调优问题”。
方案B的检索是单轮相似度匹配,擅长”事实点查”:条款在哪、某个参数是多少。一旦问题需要跨多篇文档串联线索,top-k 召回很容易漏掉关键环节,且这种失败往往静默发生。方案A的智能体可以多轮探索:先读目录索引定位主题,再按反向链接跳转,用关键词检索补齐,最后深读相关文档。这种多跳能力对综述、对比、溯源类问题优势明显,代价是轮次增加带来的延迟与消耗波动。
方案B的上下文基本是”召回什么就拼什么”,模板固定、行为可预测。方案A由 Harness 决定读哪些文件、读全文还是读摘要,通常形成三层结构:目录索引层(决定去哪找)、摘要层(决定是否值得深读)、全文层(提供细节)。这套分层本身就是一种上下文预算管理机制,也是上下文接近上限时能优雅降级的关键。
方案A的优势区间大致在百篇到千篇文档、数十万字量级。在这个规模内,模型维护的索引与摘要足以覆盖关键内容,读完全部相关材料并不困难。规模继续增长后,编译与维护成本、目录结构的组织难度、单次任务的上下文压力都会上升。方案B在十万级文档、GB 级语料场景下更稳,因为检索开销与语料总量近似解耦。
新增一篇资料,方案B只需切块与嵌入一次,代价低且局部。方案A需要考虑增量编译、链接一致性修复、被影响概念条目的重写,以及删除资料时的反向链接清理。若缺少幂等设计,重复编译会产生重复条目与结构腐化,这是该路线最常见的工程债。
方案A的消耗集中在编译期与每次问答的多轮工具循环,单次成本方差大,但编译成果可被多次复用,且有天然的缓存效应——同一主题的后续提问往往读同一批文档。方案B的消耗集中在一次嵌入、一次检索、一次生成,单次成本可预测、易做容量规划与限流。需要注意,两者的实际数字高度依赖语料形态、模型选择与调用策略,应通过自建评测集实测,不宜依赖他人的经验值。
方案A的知识库本质是文件系统,天然适配既有的文件权限、加密与备份体系,也容易做人工审计。但它的智能体通常拥有读写与终端类工具权限,权限边界必须收紧:外部网页等内容进入编译流程属于不可信输入,存在提示注入风险,应在编译阶段做来源标注与内容隔离,对写操作与破坏性操作设置确认环节。方案B的向量库与嵌入服务引入了新的数据驻留环节,需要考虑嵌入是否通过外部服务完成、删除请求如何级联到索引、多租户场景下的数据隔离与召回越权。
方案A的过程可完整回放:读了哪些文件、按什么顺序、写了什么,都能从工件与日志中还原,出问题便于定位到某个概念条目质量不佳。方案B的问题定位更依赖召回评测:需要判断是切块粒度不合适、嵌入模型不匹配,还是缺少重排。两条路线都具有非确定性,都需要固定评测集与回归流程。
| 维度 | 方案A:编译式知识库 | 方案B:向量检索RAG |
|---|---|---|
| 索引产物 | Markdown 工件,人类可读可审阅 | 向量与元数据,通常不可直接阅读 |
| 索引时机 | 离线编译,可持续增量重建 | 离线切块与嵌入,增量成本低 |
| 检索主体 | 智能体自主多轮探索 | 程序化相似度召回 |
| 擅长问题 | 多跳、综述、对比、跨文档溯源 | 事实点查、条款定位、精确匹配 |
| 规模边界 | 百至千篇文档、数十万字级 | 十万级文档、GB 级语料 |
| 延迟特征 | 多轮循环,延迟与消耗方差较大 | 单轮,延迟稳定可预测 |
| 成本重心 | 编译期 + 每轮工具调用 | 嵌入 + 单次生成 |
| 新增数据成本 | 较高,需维护链接与条目一致性 | 较低,局部嵌入即可 |
| 删除与授权变更 | 需级联清理引用与条目 | 需级联清理向量与元数据 |
| 可审计性 | 强,工件与日志可回放 | 中,依赖召回与日志分析 |
| 主要工程风险 | 结构腐化、上下文膨胀、提示注入 | 召回不足、切块不当、静默漏检 |
| 上手难度 | 需设计工具集与编译流程 | 链路标准化,成熟方案较多 |
两条路线并非互斥。较常见的组合是”程序化召回做粗筛,智能体在候选集内做深读”:
# 混合路由(伪代码,仅示意结构)def answer(question):candidates = index.search(embed(question), top_k=50) # 召回:宽scope = rerank(question, candidates)[:8] # 精排:窄# 深读:在候选范围内允许翻目录、查反向链接、按需扩展context = agent.read(scope, budget_tokens=20000)return generate(question, context)
同时保留一层编译工件,把高频主题的摘要与概念条目固化下来,作为召回之外的补充入口。这样既保留了向量检索的规模能力与稳定延迟,也获得了工件层的可审计性与多跳能力。
示意性地,编译阶段的结构可以这样组织:
# 编译流程(伪代码,仅示意结构)for src in iter_files("raw/"):doc = normalize(src) # 统一为纯文本/Markdown,附件本地化summary = summarize(doc.body) # 生成摘要与关键词write_article(doc.slug, doc.body) # 写入概念/文档条目for concept in summary.keywords:append_backlink(concept, doc.slug) # 维护反向链接rebuild_index() # 重建目录索引,校验链接一致性
建议按以下顺序做条件化判断,而不是先定技术后找理由:
方案A与方案B的差异,本质不是”新旧”或”优劣”,而是把知识整理成本放在编译期还是查询期、把检索决策权交给程序还是交给智能体。前者换来人类可读的工件、更强的多跳能力和更完整的产物链,代价是规模上限、编译维护成本与更宽的权限面;后者换来规模能力、稳定延迟与可预测成本,代价是知识结构的不可读与静默漏检风险。回到 Harness 的视角:模型能力决定上限,Harness 设计决定这个上限能否稳定兑现——状态是否沉淀为可审阅的工件、上下文是否有分层与预算、工具权限是否受控,往往比选择哪条检索路线更能影响最终体验。多数团队的现实解是混合架构,并用自建评测集持续验证,而非一次性押注某条路线。