简介:本文围绕基础向量检索与混合检索加二次重排的工程化RAG展开对比,分析两者在召回质量、精确匹配、延迟成本、可运维性和适用场景上的差异,帮助读者理解面试回答与生产选型时应关注的判断依据。
在围绕大模型应用的面试中,RAG(检索增强生成)经常被用来判断候选人是否真正理解工程细节。很多候选人能够说明使用了向量数据库、文档切分和生成接口,但一旦追问检索策略、切分参数、相似度选择、重排序必要性、检索正确但模型仍编造等问题,就容易暴露出对方案边界缺乏理解。本文不比较某个具体产品,也不讨论某个具体平台,而是围绕两种常见技术路线展开对比:基础向量检索式RAG,以及混合检索加重排序的工程化RAG。
RAG的基本目标是为大模型提供外部知识,减少模型凭空生成的问题。但不同团队对RAG的理解差异很大。一类方案认为,只要把文档切分、向量化、存入向量数据库,并在问答时召回相似片段,再交给大模型生成答案,就完成了RAG。这类方案通常能够快速跑通,适合验证想法。
另一类方案则把RAG视为一条完整的检索与生成链路。它不仅要考虑向量召回,还会考虑关键词检索、候选融合、重排序、上下文组装、引用约束、权限控制、评估指标和线上监控。这类方案的目标不是“能生成”,而是“尽量稳定地生成有依据的答案”。
面试中常见的问题,例如相似度如何选择、切分大小如何影响效果、混合检索为什么必要、重排序为什么不能省略、检索命中但模型仍编造如何处理,本质上都在区分上述两类方案。候选人如果只是描述“调用了某框架、接了某向量库、调用了某模型接口”,通常只能说明曾把流程跑通;如果能进一步解释每个环节的风险、取舍和验证方式,才说明具备工程化能力。
因此,本文对比的对象可以明确为:
基础向量检索式RAG的典型流程是:
这类方案的核心假设是:语义相似度能够较好代表相关性。对于开放式问答、概念解释、相似问题推荐、非强精确匹配场景,这个假设通常能够成立。
它的优势在于链路清晰、接入成本较低、开发周期短。对于原型验证、内部知识问答初版、低风险辅助场景,方案A往往足以满足基本需求。
工程化RAG通常不会只依赖向量检索,而是采用两阶段甚至多阶段策略:
这类方案的核心目标是提升检索精度和答案可验证性。它特别适合术语多、编号多、制度文件多、精确匹配要求高的企业知识库场景。
方案B的复杂度更高,延迟和计算成本通常也更高,但它能够更好地处理“语义相近但不精确”“关键词低频但必须命中”“召回结果多但排序不准”等问题。
虽然复杂度不同,但两种方案并不是完全割裂的技术,它们共享RAG的基本构成。
第一,都需要外部知识源。无论是产品手册、制度文档、工单记录、知识库条目还是内部 wiki,都需要经过整理后进入检索系统。
第二,都需要文本切分。文档不能直接以超长文本进入检索,切分粒度会影响召回质量、上下文长度和生成成本。
第三,都需要向量化能力。将文本映射为向量,是语义检索的基础。不同切分策略、不同嵌入模型、不同归一化方式,都会影响后续召回效果。
第四,都需要生成阶段。检索结果最终要拼接进提示词,由大模型生成答案。检索质量再高,如果提示词组织不当,也可能无法充分利用上下文。
第五,都需要评估机制。至少应能回答:问题是否召回正确文档?召回内容是否进入最终答案?答案是否编造?响应延迟是否可接受?没有评估,就无法判断优化是否有效。
因此,方案A不是“错误方案”,方案B也不是“唯一正确方案”。关键差异在于,它们对复杂场景的覆盖能力不同。
方案A通常只使用向量检索。向量检索擅长发现语义相近的内容,例如用户问“如何重置密码”,文档中写“密码忘记后如何找回”,两者字面不同但语义接近,向量检索可以较好命中。
但在精确匹配场景中,纯向量检索容易出现偏差。例如用户询问某个具体编号、某个规范条目、某个产品型号、某个人名、某个缩写、某个表格字段时,向量检索可能返回语义相近的文档,而不是用户真正需要的那一条。原因是向量模型关注的是整体语义相似性,而不是字面精确一致性。
方案B通常采用混合检索,即同时使用向量检索和关键词检索。向量检索负责语义泛化,关键词检索负责精确命中。两路结果可以通过倒数排名融合等方法进行合并。这类方法的好处是避免为不同业务强行设置固定权重,因为不同问题的最佳权重差异很大:有的问题更依赖语义,有的问题更依赖关键词。
从工程角度看,混合检索的价值不是“增加一个模块”,而是补足纯向量检索的短板。对于制度编号、法律条款、产品参数、故障码、专有名词等场景,关键词检索往往能显著提升召回稳定性。
面试中经常问到的相似度问题,本质是在考察候选人是否理解向量距离与业务目标的关系。
常见相似度包括余弦相似度、点积、欧氏距离等。余弦相似度关注向量方向,适合衡量文本语义方向的一致性;欧氏距离关注向量空间中的绝对距离,受向量尺度影响较大。若向量未做归一化处理,直接比较欧氏距离可能不如归一化后的余弦或点积稳定。
这里不存在绝对最优的距离度量,而要结合嵌入模型输出、数据分布、归一化策略和召回目标判断。工程上常见做法包括:
基础向量检索方案如果忽略这些细节,只写“用了向量检索”,往往难以说明为什么选择当前相似度。工程化方案则通常会在评估阶段比较不同距离度量和归一化方式对召回率、命中位置、上下文质量的影响。
文档切分是RAG中最容易被低估的环节。很多方案只设置一个固定块大小,但真实文档形态差异很大:制度文件、技术手册、常见问题、表格、代码、日志、工单记录,各自适合不同切分方式。
方案A如果只采用简单固定长度切分,可能在原型阶段够用,但在复杂文档中会暴露问题。
切分过大时,单个上下文块包含的信息较多,但噪声也会增加。模型需要从大量文本中定位关键句,容易出现注意力分散。同时,过大的块会增加提示词长度,提高调用成本,也可能挤占多个高价值片段的空间。
切分过小时,每个块更聚焦,但语义可能碎片化。例如一个段落被切成多个小块后,指代关系、因果关系、上下文前提可能丢失。用户问题需要多个相邻块拼接才能回答时,检索结果可能只命中其中一部分,导致生成不完整。
工程化方案通常会根据文档类型设计切分策略:
因此,切分策略不是简单参数问题,而是数据治理和检索质量的基础设计。
基础向量检索方案通常只返回一次相似度最高的若干结果。这种做法在候选文档质量高、问题简单、文档规模不大时可行。
但在真实业务中,第一阶段检索往往只能做到“大概率包含答案”,不一定能把最相关片段排在前面。例如召回结果中可能有一个高度相关片段,但被多个弱相关片段包围。如果直接截取前几条进入生成,模型可能看到足够但不精准的上下文。
工程化RAG通常引入重排序阶段。第一阶段检索注重召回率,尽可能不漏掉候选;第二阶段重排序注重精确率,从候选集中挑出最相关片段。
两者在技术实现上的差异可以概括为:
工程化方案会控制重排序输入规模,例如只从第一阶段召回的几十到上百个候选中重排,最终只保留少量高相关片段。这种设计既保证精度,也避免延迟失控。
如果业务对答案准确性要求高,重排序往往不是可选项,而是必要模块。如果只是低风险的语义问答或内容辅助,重排序可以作为后续优化项。
RAG并不是只要检索到内容就一定不会编造。真实场景中常见的问题是:检索片段正确,但模型没有严格依据片段生成,而是结合参数记忆输出答案;或者多个片段互相冲突,模型没有识别冲突,随意选择一个版本;或者用户问题超出知识范围,模型仍然强行回答。
基础方案如果只依赖提示词“请根据以下资料回答”,控制能力有限。工程化方案通常会加入更多约束:
这些问题在面试中经常被概括为“检索到了正确内容,模型还是编造了信息,你怎么处理”。真正有经验的回答,不会只谈提示词,而会说明检索、生成、校验、监控多个环节如何共同降低风险。
方案A的链路较短,通常只需要向量检索和一次生成调用,响应时间相对可控,资源消耗也较低。适合快速上线、低成本验证或低风险场景。
方案B增加了关键词检索、候选融合、重排序和更复杂的上下文组装。它会带来额外计算和延迟,尤其是在候选集较大、重排模型较重、文档块较长时更明显。
工程化优化通常包括以下方向:
需要注意,不能简单认为方案B一定成本更高就一定不适合。如果业务对错误答案的容忍度低,返工、人工核查和信任损失的成本可能远高于检索和重排成本。因此,选型应看整体成本,而不是只看单次调用成本。
基础方案如果缺少评估机制,线上问题很难定位。例如用户反馈回答不准,团队可能不知道是切分问题、召回问题、排序问题、提示词问题,还是模型生成问题。
工程化方案通常会更重视可观测性,包括:
这些指标能帮助团队建立离线评估和线上回归机制。没有这些机制,RAG系统很难持续优化。
| 对比维度 | 基础向量检索式RAG | 混合检索加重排序的工程化RAG | 选型提示 |
|---|---|---|---|
| 检索方式 | 以向量相似度为主 | 向量检索、关键词检索、候选融合 | 精确匹配需求高时优先考虑混合检索 |
| 召回能力 | 擅长语义相近问题 | 兼顾语义相似与字面精确 | 术语、编号、缩写多的场景更需要混合检索 |
| 排序能力 | 依赖第一阶段相似度 | 增加重排序,提升候选精度 | 对答案准确性要求高时考虑重排序 |
| 切分策略 | 常为固定长度切分 | 可按结构、标题、表格、元数据切分 | 文档类型复杂时需要更细粒度策略 |
| 生成控制 | 主要依赖提示词 | 可加入引用、拒答、校验、追溯 | 低幻觉要求场景需要更强约束 |
| 性能表现 | 链路短,延迟通常较低 | 链路更长,延迟和资源开销更高 | 实时性要求高时需做候选控制和缓存 |
| 实现复杂度 | 较低 | 较高 | 原型阶段可用基础方案,生产阶段逐步增强 |
| 运维能力 | 较简单,但问题定位有限 | 指标更完整,便于持续评估 | 企业级系统建议建设监控和评估 |
| 成本结构 | 开发和资源成本较低 | 开发、计算、维护成本更高 | 需结合错误成本与业务价值判断 |
| 适用场景 | 原型验证、语义问答、低风险辅助 | 企业知识库、客服、制度问答、高准确场景 | 按业务风险选择,不必一步到位 |
第一,快速验证场景。团队需要验证某个业务问题是否可以由大模型辅助回答,此时可以先搭建基础向量检索链路,快速获得反馈。
第二,语义问答场景。如果用户问题多为开放式表达,不依赖精确编号或强规则匹配,基础向量检索通常能够满足主要需求。
第三,知识内容相对简单。文档规模不大、结构统一、冲突较少时,纯向量检索的不足不明显。
第四,容错率较高的辅助场景。例如内容推荐、创作辅助、摘要提示、初稿生成等,即使检索不够精准,人工仍可进行二次修正。
第一,企业制度与合规知识库。制度、流程、条款通常包含编号、版本、适用范围、例外条件,需要精确命中并保留引用。
第二,产品与技术支持知识库。产品型号、故障码、参数、接口字段等精确匹配要求高,混合检索和重排序更有必要。
第三,客服与工单场景。客服回答通常需要可追溯、可解释、低幻觉,工程化RAG更适合。
第四,多文档冲突场景。当同一问题可能涉及多个版本、多个部门、多个制度时,需要重排序、引用和冲突处理机制。
第五,权限敏感场景。如果知识库包含不同权限文档,检索系统需要在召回、重排和生成前完成权限过滤,并保留审计能力。
从技术上看,方案B比方案A更复杂,但复杂本身不是目的。选型应围绕以下问题展开。
第一,业务是否要求精确命中。如果用户问题大量包含编号、缩写、条款、型号、日期、金额等,混合检索的价值更明显。
第二,业务是否要求答案可追溯。如果最终回答需要展示来源、引用或审计记录,工程化方案更合适。
第三,业务是否允许较高延迟。如果系统要求毫秒级或秒级内返回,且候选文档很多,需要评估重排序和复杂链路是否会影响响应时间。
第四,团队是否具备持续运维能力。工程化RAG需要评估集、日志、监控、索引更新、切分调整和模型迭代。如果团队没有持续运营能力,过复杂方案可能增加负担。
第五,错误成本是否高。如果错误答案会导致合规风险、业务损失或用户投诉,就不能只追求开发速度,需要更完整的检索和生成控制。
更稳妥的策略往往是渐进式建设:先上线基础向量检索,建立问题集和反馈机制;当发现精确匹配不足时,再引入关键词检索;当发现排序不准时,再加入重排序;当发现模型仍可能编造时,再增强引用、拒答和校验机制。
如果团队已经有一个基础向量检索系统,准备升级为工程化方案,不能只增加一个检索模块,还要考虑整体链路改造。
第一,数据与切分需要重新评估。原有固定切分可能不适合新场景,需要根据文档类型重新设计切分规则,并保留标题、章节、版本、权限等元数据。
第二,索引需要扩展。除了向量索引,还要建设关键词索引,并明确更新频率、删除策略和版本回滚方式。
第三,候选融合需要规则化。两路召回结果如何合并、如何去重、如何处理分数不可比,需要统一规范。
第四,重排序需要控制资源。应设置候选数量上限、超时时间、降级策略。当重排服务不可用时,是否能回退到普通召回排序,也是稳定性设计的一部分。
第五,生成阶段需要更强的上下文组织。不同片段应编号,提示词应明确引用要求,避免模型把多个片段混淆。
第六,权限必须前置。不能假设生成模型会遵守权限要求。权限控制应在检索、召回或上下文组装阶段落实,避免越权内容进入模型上下文。
第七,评估集必须同步建设。迁移前需要准备典型问题集,包括简单问题、精确问题、跨文档问题、无答案问题、冲突问题、权限问题等,否则无法判断升级是否有效。
第八,灰度上线和回滚机制不能省略。新链路应逐步放量,观察命中率、延迟、答案正确率和用户反馈。若关键指标下降,应能快速切回旧链路。
回到面试中的那个问题:你们的RAG怎么做的。真正能区分候选人能力的,并不是是否说过“使用了向量数据库”和“调用了大模型接口”,而是能否说明检索为何这样设计、切分为何这样设置、排序为何需要重排、模型编造如何控制、指标如何评估、风险如何兜底。
基础向量检索式RAG的优势是简单、快速、易于落地,适合原型验证和语义问答场景。它的局限在于精确匹配能力不足,面对复杂文档和高可靠要求时,容易暴露召回、排序和生成控制问题。
混合检索加重排序的工程化RAG更复杂,但能够更好地处理术语精确匹配、候选排序、引用追溯和风险控制。它适合企业知识库、客服、制度问答、技术支持等对准确性和可解释性要求更高的场景。
选型时不应简单判断“哪个更先进”,而应结合业务问题类型、错误成本、延迟要求、运维能力和数据治理水平综合决定。对于多数生产系统而言,较合理的路径不是一步追求复杂架构,而是从基础方案开始,通过评估指标发现问题,再逐步引入混合检索、重排序、引用约束和监控体系。这样既能控制建设成本,也能让RAG从“可运行的演示”走向“可维护、可评估、可演进的工程系统”。