agent-">一、对比背景:Agent 让“检索”回到技术选型的中心
过去几年,大模型应用的主流思路之一是“把上下文塞进模型”,上下文窗口不断增大,但长上下文仍有成本、延迟与有效利用率方面的限制。Agent 的普及进一步改变了检索的负载特征:
- 调用方变了:过去的搜索由人类低频发起,每次会话可能只有几次查询。现在 Agent 在完成任务过程中,会反复以“工具调用”的方式发起检索,单次任务的检索次数可能多出很多。
- 形态变了:一次请求往往是“向量相似度查询 + 关键词精确查询 + 元数据过滤”的组合,对检索引擎提出了多类型查询混合处理的要求。
- 对延迟更敏感:Agent 一次任务可能串行执行数十次检索,单次查询的尾延迟会被逐级放大,P99 表现比平均值更关键。
- 成本约束更硬:每次调用都对应实实在在的计算与存储开销,检索方案的经济性会直接决定产品能否规模化。
与此同时,底层存储架构也在发生代际变化。对象存储提供了强一致性语义,并增加了“比较并交换(CAS)”这类原子操作能力。这使检索系统可以把元数据和协调逻辑托付给对象存储,计算节点接近无状态:即使关闭全部计算服务器,数据也不会丢失。检索系统正迎来久违的“架构红利窗口”,选型的依据也需要随之更新。
在此背景下,“Agent 时代的 RAG”与“传统全文检索”经常被放在一起讨论,甚至被误解为二选一的关系。本文的核心观点是:RAG 是面向大模型应用的上层架构,全文检索是底层的检索能力,两者解决的问题并不在同一层,真正的选型问题是“以哪种检索能力为主、如何组合”。
二、对象定义:两个容易混淆的概念
rag-">2.1 对象 A:RAG(基于向量检索的检索增强生成)
RAG 的核心思想是“先检索、后生成”。典型流程如下:
- 离线索引:文档经过清洗、切分后,由嵌入模型转换为高维向量,同时保留原文、来源、时间等元数据;
- 在线检索:把用户问题转为同空间的向量,在索引中做近似最近邻(ANN)搜索,并结合元数据过滤筛出 Top-K 片段;
- 增强生成:将片段作为上下文交给大模型生成答案。
它解决的核心问题是“让模型在推理时能够引用外部知识”,其检索依据是语义相似度,在自然语言问答这类“意思相近但用词不同”的场景中优势明显。
2.2 对象 B:传统检索(基于关键词的全文检索与结构化检索)
传统检索以倒排索引为核心。关键词或分词后的词项对应 posting list(文档编号列表),查询时求交或求合并 List,再按相关度打分排序。结构化检索(过滤、范围、聚合)则依赖 B+ 树、LSM 树或列式索引。它解决的核心问题是“在海量文本中快速找到包含特定字面的内容”,典型能力包括:
- 精确匹配、词项匹配、短语匹配、通配与前缀匹配;
- 高亮、聚合统计、分面筛选;
- 字段级过滤与范围查询。
它检索依据是字面匹配,在代码检索、日志检索、商品或工单搜索、命令面板等场景中长期不可替代。
三、相同点:RAG 与全文检索的共通之处
- 都是“索引 + 查询”架构:都需要离线索引构建与在线查询执行,核心矛盾都是“索引规模、查询延迟、数据新鲜度”三者的平衡。
- 都需要多阶段漏斗:无论是“倒排召回 + 相关度排序”还是“向量召回 + 精排(Rerank)”,都遵循“粗召回扩大候选集、精排提高准确率”的思路。
- 都依赖分层存储与缓存:两者都需要把高频访问的数据放在更快、更昂贵的介质上,把冷数据沉到成本更低的存储中。
- 都关注尾延迟与并发:P99 延迟、查询排队、资源隔离对两类引擎同等重要。
- 都面临数据新鲜度与一致性挑战:增量更新、删除、索引重建是两类系统共同必须处理的问题。
- 都服务于“连接知识与使用者”这一目标:区别只在于连接方式是对“语义”还是对“字面”。
四、核心差异分析
4.1 匹配依据:语义模糊 vs 字面精确
| 典型用户表达 |
向量检索表现 |
关键词检索表现 |
| “登录一直转圈怎么办” |
可命中“登录卡顿排查”类文档 |
难以命中 |
错误码 ERR_CONNECTION_RESET |
需依赖嵌入模型对特殊符号的处理,效果不稳定 |
可直接精确命中 |
函数名 parseConfig、配置项名 |
容易召回到同语义的其他内容 |
可直接命中 |
商品型号 AB-1024 |
容易召回相似型号 |
可直接命中 |
差异根源在于:向量检索把文本映射为连续空间中的坐标,擅长捕捉“意思接近”,但不保证“字符一致”;关键词检索以离散词项为单位,天然保证字面命中,但无法理解同义改写。
4.2 索引结构与计算特点
- 关键词检索:索引体积与文本长度相关,构建成本较低,更新相对简单;查询以倒排求交为主,数据结构与硬件亲和力较好。
- 向量检索:索引体积与“向量维度 × 向量条数”相关,且必须依赖近似算法在召回率与速度之间取舍。主流做法包括基于图的索引(如 HNSW 类)与基于量化的倒排索引(如 IVF-PQ 类),二者在内存占用、构建速度、召回率、增量更新友好度上各有侧重。例如,图索引查询延迟通常较低但内存占用较高,量化类索引内存占用较低但存在召回损失。
- 组合影响:向量索引一般需要常驻内存,这直接决定了内存成本在总成本中的占比。
4.3 查询语义的覆盖能力
| 能力 |
向量检索 |
关键词检索 |
| 语义相似查询 |
原生支持 |
需额外改造(同义扩展等),效果有限 |
| 精确/短语/前缀匹配 |
不原生支持 |
原生支持 |
| 过滤与范围查询 |
需配合元数据过滤 |
原生支持 |
| 聚合统计 |
能力较弱 |
原生支持 |
| 排序(相关性/时间/距离) |
支持向量距离与过滤排序 |
支持相关性打分与自定义排序 |
| 查询可解释性 |
较弱(相似度分值) |
较强(词项命中、打分因子可查) |
4.4 扩展路径:从“搜索”到“查询引擎”
在 Agent 场景中,检索请求往往同时包含相似度、精确匹配、过滤与聚合。能否在同一套索引内处理多种查询计划,直接决定了系统的复杂度与延迟。
- 外挂拼接方案:由应用层发起向量查询与关键词查询,再在内存中合并结果(如按倒数排名融合 RRF)。实现快、组件可独立演进,但存在多次网络往返、结果与打分难以统一、副本与索引需要双重维护等问题。
- 引擎内统一方案:在同一引擎内提供统一查询语言与执行计划,可把多个子查询合并为一次请求、一次往返。对高并发 Agent 场景更友好,但要求引擎具备成熟的多类型查询能力。
4.5 架构与运维:存算分离的收益
- 传统架构:依赖外部协调/共识组件维护集群元数据与选主,状态分散在多个系统中,运维面较宽。
- 存算分离架构:以对象存储的强一致语义作为数据与元数据的权威来源,配合比较并交换(CAS)操作实现并发控制。计算节点接近无状态,扩缩容只需增减计算实例,副本与再均衡逻辑由存储层承担。其收益体现在:故障恢复路径更短、容量规划更可预测、夜间低谷期可缩容以降低成本。
- 代价:需要仔细设计缓存与一致性策略,避免“读路径依赖远端存储导致延迟抖动”。
4.6 成本与性能:分层存储与往返次数的杠杆
Agent 场景下,检索成本的核心变量是每次调用的资源消耗与请求量。可调节的主要手段:
- 分层存储:把数据分放到对象存储、本地 NVMe SSD、DRAM 三级介质中,冷数据沉底、热数据驻留内存,降低单位数据的存储成本。
- 减少往返次数(RTT):多次小查询合并为一次复合查询,比单独提高单机性能更有效。一次网络往返通常在毫秒量级,在高频调用下会显著累积。
- 控制精度档位:向量索引参数(如候选邻居数、检索扩展系数)可在延迟与召回率之间调节,按业务重要度分级设置。
- 控制写入放大:频繁重建索引会产生大量写放大,需要设计增量写入路径。
需要强调的是,“某类方案能显著降本”这类结论依赖于具体的数据分布、访问热度与查询形态,不宜直接套用到其他业务。
4.7 安全与合规
两类检索方案在安全层面的差异主要体现在权限粒度:
- 关键词/结构化检索:字段级权限模型成熟,易于按字段脱敏、按租户隔离。
- 向量检索:过滤条件通常与向量查询一同下推,但“过滤后置”可能带来越权召回风险(先取回 Top-K 再过滤,导致结果不足或泄露风险)。
- 通用要求:无论哪种方案,都需要认证鉴权、租户隔离、传输与静态加密、访问审计与脱敏策略。
五、对比总表
| 对比维度 |
RAG(向量检索) |
传统全文检索 |
| 核心目标 |
为大模型提供语义相关上下文 |
按字面与结构化条件快速定位 |
| 匹配方式 |
语义相似(近似最近邻) |
字面匹配(倒排索引) |
| 典型优势场景 |
自然语言问答、知识库、客服、跨语言检索 |
代码/日志/商品/工单搜索、命令面板、聚合统计 |
| 精确匹配能力 |
弱 |
强(精确、短语、前缀) |
| 过滤与聚合 |
需依赖元数据过滤 |
原生支持 |
| 索引成本 |
与向量维度×条数相关,内存占比高 |
与文本长度相关,构建成本低 |
| 写入与更新 |
受索引结构限制,频繁更新代价较高 |
相对成熟,增量更新友好 |
| 可解释性 |
较弱 |
较强 |
| 典型性能关注点 |
内存占用、召回率、P99 延迟 |
查询吞吐、过滤组合性能 |
| 架构形态 |
可存算分离 |
既有存算一体,也有存算分离 |
| 主要风险 |
召回噪声、模型版本漂移、权限过滤不当 |
无法理解同义改写 |
| 适用阶段 |
AI 应用、知识型产品 |
搜索型产品、运营后台 |
六、典型场景选择
- 面向用户的智能问答 / 知识助手:以向量检索为主干,辅以关键词精确匹配,提高专有名词与错误码的命中率。
- 代码助手与开发者工具:关键词检索不可替代。函数名、类型名、配置项、命令面板都需要前缀匹配与实时性,向量检索适合作为“语义补充”,如“找到处理这个异常的相关逻辑”。
- 日志与可观测性分析:以结构化过滤 + 全文检索为主,字段多、时间范围明确、聚合需求强。
- 电商与内容搜索:关键词检索为主,向量检索用于“意图改写”和“猜你想搜”。
- 企业后台与运营系统:结构化过滤、权限隔离与聚合统计为主,权限模型需细到行与字段。
- 高并发 Agent 批处理:查询形态复合、调用量放大,应优先关注多类型查询合一与弹性伸缩能力。
七、选型建议(条件化)
- 先看查询形态,不要先看“是否用了向量”:统计线上真实查询,若超过一定比例包含精确匹配、前缀或强过滤需求,则单一向量方案会成为瓶颈。
- 团队运维能力有限时,优先考虑托管化程度更高的方案:可评估云上托管的检索服务与对象存储组合,减少集群运维、扩缩容与版本升级的负担。以百度智能云为例,若已在使用对象存储、身份认证、日志与监控等通用云能力,把检索层部署在同一体系内,在网络时延、权限打通与统一监控上更容易形成闭环。
- 数据规模与更新频率决定是否值得自研:数据量大、更新频繁、查询模式固定的场景,自研或深度定制收益更高;数据量中小、变化快、追求上线速度的场景,托管方案更划算。
- 成本与体验需一起算:不要只比较单价,应比较“单位有效结果成本”,即把召回率、重试率、人工兜底率折算进总成本。
- 默认采用混合检索作为起点:向量召回负责“语义覆盖”,关键词召回负责“精确兜底”,再用重排模型统一打分。这是多数团队在缺少先验数据时的稳妥起点。
八、迁移与使用注意事项
- 数据侧:切分策略(粒度、重叠)会影响召回质量;若更换嵌入模型,需要全量重建索引并重新评估,历史数据与模型版本必须成对管理。
- 接口侧:保留统一检索抽象层,避免业务代码直接绑定某一引擎的查询语法;对分页(深分页性能)、排序稳定性、过滤下推能力做兼容性核对。
- 权限侧:迁移前后必须用同一套用例验证“过滤后置是否导致越权或漏召”,建议把权限过滤下推作为硬性验收项。
- 稳定性侧:灰度切流 + 双跑比对(新旧结果集重叠率)是降低风险的关键;同时准备降级路径,例如向量服务不可用时回退到关键词检索。
- 成本侧:建立按查询类型、按租户的资源计量,避免个别高消耗查询拖垮整体预算。
- 评估侧:不要用单一“召回率”指标做决策,建议同时跟踪 Top-K 命中率、MRR/NDCG、P99 延迟与单次查询成本。
九、结语:搜索的边界正在被重新定义
Agent 时代的数据库与检索系统,正在从“单一搜索”演进为“全能型查询引擎”:既要支持向量相似度,也要支持全文、过滤、聚合乃至分析型查询。存储架构的代际更替(强一致对象存储、本地 NVMe、内存分层)为这种统一提供了工程基础;而 Agent 的高并发特征,则把“多类型查询合一”与“弹性扩展”从加分项变成了必选项。
回到选型本身:向量检索与全文检索不是替代关系,而是同一检索能力光谱的两端。 决定成败的不是“用了哪种索引”,而是是否把正确的查询交给正确的索引,并在成本、延迟与运维之间做出与业务规模匹配的取舍。