简介:本文对比Agent场景中确定性文本检索与向量语义RAG的差异,从架构、精准度、可维护性、成本与适用边界展开,帮助技术读者理解为何在代码排障、多文件定位等任务中确定性检索常被优先使用,并给出条件化选型与迁移注意事项。
在 Agent 从“对话问答”走向“任务执行”的过程中,检索能力成为决定系统效果的关键环节。早期阶段,很多团队默认采用一条通用流水线:先把文档、代码、工单或业务资料切分成较小片段,再将其转换为向量,存入向量检索系统,最后在用户提问或 Agent 规划任务时,根据相似度召回若干片段,交给大模型生成答案。这种方案被称为向量语义检索,也常与检索增强生成,即 RAG,联系在一起。
但在真实工程环境中,尤其是代码助手、日志排障、配置定位、多文件修改、权限校验、业务规则追踪等场景里,团队逐渐发现一个问题:语义相近并不等于业务命中。用户问“这个报错为什么发生”,系统召回的可能是主题相似的段落,而不是真正包含错误码、函数名、接口路径、配置项或文件位置的上下文。于是,确定性文本检索重新进入视野。它通常包括关键词匹配、正则匹配、路径匹配、文件名匹配、符号匹配、全文索引匹配,以及基于代码结构或文档结构的定位方式。
本文并不简单讨论“向量检索不好”或“关键词检索更好”,而是围绕两类检索方案的适用边界展开对比:一类是确定性文本检索,强调字面、结构和规则的精确匹配;另一类是向量语义检索,强调语义相近和模糊理解。文章将说明它们各自解决什么问题,在哪些场景下会产生明显差异,以及 Agent 系统应该如何组合使用。
确定性文本检索的核心特点是:输入查询后,系统按照明确的规则返回匹配结果。这些规则可以包括关键词包含、正则表达式、文件路径、目录结构、代码符号、函数名、类名、变量名、错误码、日志标识、配置键、版本号等。
它的优势在于结果可解释、命中路径清晰、对精确标识敏感。例如,当用户或 Agent 需要查找某个函数定义、某个配置文件项、某段错误日志,或者定位一次具体修改涉及哪些文件时,确定性检索通常能给出更直接的结果。它不一定理解“这句话是什么意思”,但它非常擅长回答“这个字符串、这个符号、这个路径出现在哪里”。
在 Agent 工程中,确定性检索的价值不只是搜索本身,更重要的是它能提供可验证、可追踪、可复现的上下文。对于需要多步骤执行的任务来说,Agent 需要知道当前操作依赖哪些文件、哪些规则、哪些历史版本,而不是只拿到一段“看起来相关”的文本。
向量语义检索的基本思路是:将文本转换为向量表示,再根据向量之间的距离或相似度判断内容是否相关。它适合处理自然语言中的模糊表达、同义表达、概念联想和非结构化知识问答。
例如,用户可能说不清具体术语,只能描述“去年某个报销规则变化”“系统最近总是超时”“订单状态突然卡住”。在这种情况下,向量语义检索可以帮助系统从大量文档中找到语义接近的内容,而不要求用户必须知道准确关键词。
在 RAG 架构中,向量检索通常负责第一阶段召回,随后大模型根据召回片段生成回答。它的优势是能够扩展知识边界,把外部资料注入模型上下文;但它也带来了新的问题:切分是否破坏语义?向量是否准确?召回片段是否真正相关?多个片段之间是否存在冲突?模型是否会基于不相关片段产生错误推断?
因此,向量语义检索适合“模糊理解”,但 Agent 任务执行往往需要“精确命中”。这正是两类方案产生分歧的根本原因。
虽然确定性文本检索和向量语义检索在技术路径上不同,但它们在 Agent 系统中承担的目标具有共同点。
第一,二者都是为了给 Agent 提供上下文。无论是关键词命中还是语义召回,最终都要把与任务相关的信息交给模型或执行器,帮助其做出下一步判断。
第二,二者都需要处理数据接入和更新问题。文档、代码、日志、配置和知识库都会持续变化,检索系统必须考虑增量更新、版本管理、删除同步和权限变化。如果索引过期,向量检索会召回错误内容,关键词检索也可能命中旧版本。
第三,二者都需要考虑权限和安全。企业场景下,检索不能绕开用户权限。无论是向量片段还是文本片段,都必须附带来源、权限、租户、部门或项目标签,否则可能造成越权访问。
第四,二者都可以作为混合检索系统的一部分。成熟方案通常不是单一路径,而是让确定性检索负责精确定位,让向量检索负责模糊扩展,再通过排序、过滤和重排组合最终结果。
第五,二者都需要评测和监控。检索系统上线后,不能只看“是否能回答”,还要看召回率、误召回率、空召回率、响应时延、更新延迟、用户反馈和任务完成率。没有评测体系的检索方案,很容易在工程落地中失控。
向量检索的核心是语义相似度。它擅长回答“意思接近的内容在哪里”,但 Agent 执行任务时经常需要“精确对象在哪里”。例如,定位一个接口报错,真正重要的可能是接口名、请求参数、错误码、调用链和配置文件中的具体键值。这些信息对字面匹配非常敏感。
如果用户或 Agent 查询的是一个函数名、文件路径、错误码或配置项,向量检索可能召回大量语义相关但实际无关的内容。系统看起来“找到了很多资料”,却没有找到执行下一步所需的关键证据。确定性检索虽然不够“聪明”,但能快速定位到具体字符串和具体位置。
向量 RAG 通常需要将原始内容切分为较小片段,以便嵌入和召回。但代码、配置文件和复杂业务文档往往具有强结构依赖。一个函数可能依赖另一个函数,一个配置项可能关联多个环境变量,一个业务规则可能分散在多个章节中。
如果切分粒度不合理,模型拿到的上下文就会残缺。它可能看到了一个结论,却看不到前置条件;看到了一个报错,却看不到调用栈;看到了一段说明,却看不到适用范围。确定性检索可以返回完整文件、完整目录、完整符号定义或完整配置块,减少上下文断裂带来的误判。
Agent 系统在关键业务场景中往往需要审计。为什么系统修改了这个文件?为什么它读取了这段配置?为什么它判断某个规则适用?这些问题的答案不能只依赖“向量相似度较高”。
确定性检索的命中理由更清晰:关键词匹配、路径匹配、符号匹配或结构匹配。即使最终决策仍由模型完成,检索阶段也可以提供明确证据。向量检索的相似度分数往往难以直接解释,尤其在多片段混合召回时,很难判断哪个片段真正影响了结果。
代码库、配置中心和日志系统变化频繁。文件新增、函数重命名、接口调整、版本升级都会影响检索结果。向量索引通常需要重新计算向量或增量写入,如果更新链路设计不足,就可能出现索引滞后。
确定性检索在文件系统、代码仓库或日志系统上通常更容易实现增量更新。文件变化后,可以按路径、时间戳、版本号或变更记录刷新索引。对于需要跟随代码提交实时变化的 Agent 场景,这种轻量更新机制往往更稳定。
向量检索链路通常包括文本切分、向量化、向量存储、相似度计算、结果重排等多个步骤。如果涉及远程模型服务,还可能引入额外网络延迟。对于需要频繁调用的 Agent 工具链来说,检索延迟会直接影响任务完成效率。
确定性检索如果只面向关键词、路径或全文索引,通常可以实现较低延迟。当然,复杂正则、海量日志扫描和高并发查询也会带来性能压力,但整体上其依赖链更短,更容易做缓存和局部优化。
确定性检索并非万能。它很难理解用户表达不清晰的情况。例如用户说“那个报销流程好像改了”,但不知道具体文档名称、政策编号或关键词,此时关键词检索可能无法命中。向量检索可以根据语义关系找到相近内容,再配合摘要、问答或重排,帮助用户逐步逼近目标。
因此,在知识库问答、客服辅助、制度查询、产品手册理解等场景中,向量检索仍然有明确价值。问题不在于它是否应该存在,而在于是否应该被当成所有任务的第一默认方案。
向量检索系统通常需要多个组件协同:数据接入、切分服务、向量化服务、向量存储、索引构建、召回服务、过滤服务、重排服务和监控体系。任何一个环节异常,都可能影响最终效果。例如,切分策略变化会导致召回不稳定,向量化模型升级会导致历史索引失效,过滤条件配置错误会导致权限问题。
确定性检索的组件相对更少,但也不是没有复杂度。正则规则设计、索引更新、并发查询、日志扫描优化都需要工程投入。相比向量链路,它的故障点更少,行为更容易预测,因此在任务执行型 Agent 中常被优先考虑。
| 对比维度 | 确定性文本检索 | 向量语义检索 |
|---|---|---|
| 核心依据 | 关键词、正则、路径、符号、结构、规则 | 语义相似度、向量距离、概念相关性 |
| 擅长问题 | 精确查找、错误码定位、代码定位、配置查找 | 模糊表达、同义理解、非结构化知识问答 |
| 结果可解释性 | 较高,命中规则清晰 | 相对较低,相似度原因不易解释 |
| 上下文完整性 | 可返回完整文件、函数、配置块 | 受切分策略影响,容易上下文断裂 |
| 对代码任务支持 | 较强,适合多文件修改与排障 | 可作为补充,但精确性依赖重排与过滤 |
| 对模糊提问支持 | 较弱,依赖关键词或同义词扩展 | 较强,能理解自然语言意图 |
| 更新机制 | 通常更易增量更新 | 需要同步更新向量索引,链路较长 |
| 延迟表现 | 通常更轻,适合高频调用 | 依赖向量化、存储和召回链路 |
| 权限控制 | 可继承文件或目录权限 | 需在片段级增加权限标签和过滤 |
| 可审计性 | 较高 | 需要额外记录召回依据和来源 |
| 运维复杂度 | 中低,依赖索引和规则质量 | 中高,涉及多组件协同 |
| 典型风险 | 规则不完善、同义词覆盖不足 | 语义误召回、索引滞后、切分不合理 |
代码任务通常涉及函数、类、变量、接口、配置文件、测试文件和构建脚本。Agent 需要准确定位符号、理解调用关系,并判断修改影响范围。此类场景更适合以确定性检索为主。先通过路径、符号、关键词和代码结构定位候选文件,再按需引入向量检索辅助理解自然语言描述。
故障排查依赖错误码、堆栈信息、服务名、实例标识、时间窗口和请求链路。用户描述可能模糊,但系统内部通常有明确的日志字段。确定性检索可以直接匹配错误码、请求标识或服务名,快速缩小范围。向量检索可以用于关联相近故障描述,但不应该替代精确日志检索。
制度、流程、产品手册、合同条款等内容通常是非结构化文本,用户提问也较为口语化。此类场景更适合向量语义检索。它可以帮助用户从模糊描述中找到相关制度条款。但为了避免答案错误,通常仍需要关键词召回作为补充,并加入引用来源和版本信息。
配置文件、环境变量、权限策略和发布记录通常具有明确键值。用户可能问“某个开关在哪里配置”“哪个版本修改了超时时间”。这类查询更适合确定性检索,因为配置项名称、版本号和路径就是关键证据。向量检索可以帮助理解“为什么要改”,但定位“改了什么”仍需要精确匹配。
金融、政务、医疗等企业应用通常要求检索过程可追溯。确定性检索更容易记录命中原因和来源路径。向量检索也可以参与,但需要额外记录召回片段、相似度依据、权限标签和模型输入摘要,否则审计难度会上升。
第一类情况:如果 Agent 的主要任务是代码修改、故障定位、配置查询、日志分析和权限审计,可优先考虑确定性检索作为主检索路径。向量检索可作为补充,用于理解用户模糊描述或关联业务背景。
第二类情况:如果系统面向普通业务用户,主要提供知识问答、制度查询、客服辅助和内容总结,向量语义检索更有价值。此时仍建议保留关键词召回,用于提升专有名词、产品名、错误码和编号类查询的准确率。
第三类情况:如果系统同时存在代码库、文档库、工单库和日志库,建议采用分层混合检索。第一层根据任务类型选择检索源;第二层同时执行关键词和结构检索;第三层再按场景启用向量召回;第四层通过统一排序模块输出上下文。
第四类情况:如果团队运维能力有限,且任务强调稳定性和低延迟,应优先选择依赖组件少、更新链路短的方案。确定性检索更容易做缓存、限流和降级,在高频 Agent 调用中更可控。
第五类情况:如果数据规模大、语义表达复杂,且已有成熟的权限过滤、索引更新和评测体系,可以扩大向量检索比例。但必须配套监控误召回、空召回、索引延迟和权限异常。
无论使用哪类检索,都应保留原始文件路径、版本号、创建时间、更新时间、责任人、权限标签和租户信息。向量检索不能只保存片段文本,还要保存来源和元数据,否则无法做权限过滤和结果溯源。
如果继续使用向量检索,应优先按自然结构切分,例如按标题、段落、函数、类、测试用例或配置块切分。切分时保留前后文关系,并为每个片段记录父节点和相邻节点,避免 Agent 只拿到孤立片段。
检索系统不能先召回全部内容,再在模型输出阶段补救。权限过滤应发生在召回阶段,至少包括用户身份、角色、部门、项目、数据敏感级别等维度。向量片段和文本片段都应继承源数据的权限规则。
为了降低迁移成本,建议将关键词检索、正则检索、向量检索封装为统一接口。接口输入包括查询文本、任务类型、数据范围、权限上下文和返回数量;输出包括内容片段、来源路径、命中原因、版本号、权限标签和可选的相似度信息。
Agent 系统需要面对依赖不可用的情况。如果向量化服务异常,应能降级到关键词检索;如果向量库延迟过高,应能返回基于路径或文件名的候选结果;如果权限服务异常,应拒绝高风险检索请求,而不是默认放行。
迁移前需要准备评测集,覆盖精确查询、模糊查询、跨文件查询、权限查询和空结果查询。上线后需要监控召回命中率、误召回率、空召回率、平均延迟、更新延迟、缓存命中率、用户反馈和任务完成率。没有评测指标,很难判断检索路线调整是否真的有效。
成本不只是存储和计算成本,也包括人力维护成本。向量链路的成本通常来自向量化、向量存储、索引重建、模型调用和复杂排障;确定性检索的成本更多来自规则维护、索引更新和高并发查询优化。选型时应综合评估资源成本、开发成本、运维成本和迁移成本。
即使决定提高确定性检索优先级,也不建议直接删除向量检索能力。更稳妥的方式是调整主路径和补充路径,将向量检索从“默认入口”改为“辅助召回”或“语义扩展”。这样既能提升稳定性,也能保留对模糊问题的理解能力。
确定性文本检索和向量语义检索并不是简单的替代关系,而是解决不同问题的两类能力。确定性检索的优势在于精确、可解释、低延迟和易维护,适合代码定位、日志排障、配置查询、规则追踪和多文件修改;向量语义检索的优势在于理解模糊表达、召回同义内容和支持非结构化知识问答,适合面向业务用户的语义搜索。
Agent 工程进入任务执行深水区后,检索系统的评价标准也从“能否找到相关内容”变成“能否提供足够准确、足够完整、足够可审计的上下文”。在这个标准下,确定性检索重新受到重视,并不是技术倒退,而是工程理性回归。更合理的方向通常是以任务类型为入口,以确定性检索保证精确命中,以向量检索补足语义理解,再通过统一排序、权限过滤、缓存和监控形成稳定的混合检索架构。