简介:本文对比向量语义检索与基于关键词、路径匹配和语法结构分析的确定性检索,解释二者在代码理解、故障排查、多文件修改和企业知识库中的差异。文章将从准确性、延迟、成本、可解释性、安全性及适用边界等方面分析,并给出组合使用与技术选型建议。
在Agent系统中,检索通常承担一个核心任务:从代码仓库、业务文档、配置文件、日志和数据库中,找到当前任务真正需要的上下文。
目前常见的方案大致分为两类:
向量语义检索,也就是通常所说的RAG
确定性检索
两类方式并不是互相排斥的替代关系。真正成熟的Agent系统,往往需要根据任务类型,在语义检索和确定性检索之间进行动态选择,而不是固定地“先做RAG”。
向量检索解决的是传统关键词检索难以处理的问题。
例如,用户可能不会准确记得文档中的正式术语,只能提出类似这样的自然语言问题:
如果文档内容和问题使用了不同表达方式,单纯依赖关键词可能无法召回相关内容。向量检索则会尝试从语义层面判断文本之间的接近程度,因此更适合处理:
从架构角度看,RAG也比较容易形成标准化流水线。数据导入、切分、向量化、索引、召回和生成,都可以被封装成相对独立的模块。因此,在企业知识库、客服问答和内部文档搜索中,RAG具有较强的普适性。
但问题在于,Agent的任务并不总是“找到语义相近的内容”。很多时候,它需要找到唯一正确、位置明确、上下文完整且能够直接操作的对象。这正是向量检索容易失效的地方。
向量检索返回的是“相似内容”,而不是“满足约束的内容”。
假设Agent需要修改名为timeout的配置项,系统中可能同时存在以下内容:
这些内容在语义上都可能非常接近,但真正需要修改的往往只有其中一个。向量相似度无法天然理解以下约束:
确定性检索则可以通过路径、文件类型、符号名称和上下文条件逐层缩小范围。例如:
限定目录:配置目录/限定文件类型:配置文件限定字段:timeout限定上下文:服务名称、环境名称、配置段名称限定结果:只允许修改一个有效定义
这种方式不一定更“智能”,但更接近工程任务所要求的精确性。
代码不是普通文章。它包含作用域、继承、调用关系、类型关系、模块边界和运行时依赖。
如果采用固定长度切分,可能出现以下问题:
向量索引可以召回“看起来相关”的代码片段,却未必能恢复完整的程序结构。Agent因此可能理解局部逻辑,却遗漏真正影响行为的依赖。
确定性方法可以结合语法树和符号索引,识别:
对于“查找某函数的所有调用方”“定位某字段的定义”“分析某接口的实现”等任务,结构化检索通常比纯向量召回更可靠。
故障排查通常要求Agent回答:
这是一条具有顺序关系的证据链。仅仅召回几段相似日志或相似代码,并不能保证证据链完整。
例如,日志中的错误信息可能出现在多个模块中。向量检索会倾向于返回语义相似的日志片段,但排错更需要:
确定性检索的优势在于结果更容易验证。工程人员可以查看具体文件、行号、版本和上下文,判断Agent的推理是否建立在正确证据之上。
| 对比维度 | 向量语义检索 | 确定性检索 |
|---|---|---|
| 核心机制 | 计算文本或代码片段的语义相似度 | 依据关键词、路径、结构和规则精确查找 |
| 主要优势 | 能理解模糊表达和同义表达 | 结果稳定、可解释、可复现 |
| 适合内容 | 非结构化文档、制度说明、知识问答 | 代码、配置、日志、明确字段和符号 |
| 结果特征 | 可能返回多个近似候选 | 通常定位到明确对象或固定范围 |
| 对上下文的依赖 | 依赖切分质量和召回数量 | 依赖索引、规则和结构信息 |
| 延迟表现 | 包含向量化、索引查询和重排等环节 | 简单匹配通常延迟较低 |
| 运维成本 | 需要维护切分、嵌入、索引和更新流程 | 主要维护索引、规则及文件变更检测 |
| 可解释性 | 需要解释相似度和召回原因 | 可直接展示匹配路径、行号和规则 |
| 主要风险 | 召回不准、上下文缺失、结果漂移 | 关键词不完整、规则维护成本较高 |
| 典型任务 | 文档问答、模糊检索、主题归纳 | 精确定位、代码修改、日志排查 |
需要注意的是,确定性检索并不意味着只能使用简单字符串搜索。它可以构成多层检索体系:
这种方式的关键不是拒绝模型,而是先用确定性手段控制搜索空间,再让模型处理真正需要推理的部分。
普通问答系统即使偶尔召回一段不完全相关的内容,用户也可能通过追问进行修正。但Agent经常需要直接执行动作,例如:
一旦上下文错误,后续动作可能产生连锁影响。因此,Agent的检索标准不能只看“答案是否大致相关”,还要看:
Agent调用文件编辑、构建、测试或部署工具时,输入通常具有明确格式。比如修改某个字段,需要知道:
向量召回的文本片段可能缺乏这些信息。确定性检索则可以直接输出结构化结果:
{"file": "配置目录/服务配置文件","symbol": "目标配置项","line": 128,"references": ["模块A", "模块B"],"scope": "生产环境"}
这种结构更适合进入后续规划、编辑和验证流程。
生产环境中的Agent需要支持审计、回滚和问题复盘。如果每次检索结果都可能因向量索引更新、嵌入模型变化或相似度排序波动而改变,就会增加调试难度。
确定性检索更容易做到:
这并不意味着确定性检索永远正确,而是它的错误通常更容易发现和定位。
如果任务本身是开放式的,用户无法提供精确关键词,或者知识以自然语言为主,那么向量检索仍然非常有用。
例如,用户询问“员工出差期间的住宿标准怎么计算”,可能不清楚制度文件名称和章节位置。此时,语义检索可以帮助系统从多个文档中发现相关内容。
实际系统可以采用分阶段策略:
第一步:识别任务类型第二步:判断是否存在明确实体、路径、编号或符号第三步:优先使用确定性条件缩小范围第四步:对剩余候选内容进行语义排序第五步:让模型基于完整证据进行规划第六步:执行后再次通过确定性规则验证
例如,用户说“修复订单超时问题”,系统可以先通过语义检索理解“订单超时”可能涉及哪些业务模块,再通过关键词、错误编号、配置路径和调用关系,锁定真正需要修改的代码。这里,向量检索负责扩大理解范围,确定性检索负责完成最终定位。
向量方案通常需要经历文档切分、向量生成、索引写入和失效数据清理。代码频繁变更时,索引更新可能存在延迟,导致Agent看到的内容不是最新版本。
确定性检索通常直接面向当前文件或近实时索引,更新链路相对短。但如果引入语法树、符号表和依赖图,也需要处理增量解析和索引一致性问题。
向量方案的成本不仅是索引存储,还包括:
确定性方案可能减少向量化和召回基础设施,但会增加规则、解析器和索引维护成本。对于结构稳定、任务明确的代码库,后者往往更容易控制;对于文档类型复杂、表达方式多样的知识库,前者可能更具效率。
无论采用哪种方式,都必须关注权限边界。检索系统不能因为相似度较高,就把用户无权访问的内容召回给模型。
需要重点考虑:
确定性检索更容易按路径、目录和权限标签进行过滤;向量检索则需要保证权限信息与向量片段绑定,并在召回前完成过滤,而不能只在生成阶段补救。
如果团队已经建立了较重的向量检索链路,不建议一次性完全替换。更稳妥的方式是分阶段演进。
先为代码、配置和日志增加:
观察确定性结果能否减少无效上下文和错误修改。
根据用户请求判断:
不同任务进入不同检索流程,而不是所有请求都统一走向量召回。
对Agent输出增加自动检查,例如:
不能只关注模型回答是否流畅,还要评估:
这些指标才能帮助团队判断,某种检索方式是否真正改善了Agent的任务完成效果。
可以按照以下问题进行判断:
Agent重新重视确定性检索,并不是对语义检索的否定,而是对任务类型进行重新区分。
向量RAG擅长回答“哪些内容可能与这个问题有关”,适合开放式知识发现和模糊语义理解;确定性检索擅长回答“这个目标具体在哪里、哪些内容确实满足条件”,更适合代码修改、故障排查、配置定位和生产操作。
对于企业级Agent,最重要的不是在两者之间做绝对选择,而是建立分层检索策略:
当任务需要执行而不仅是回答时,准确、稳定、可解释和可验证往往比单纯的语义相关性更重要。也正因为如此,确定性检索正在从传统工具重新成为Agent工程体系中的基础能力。