简介:当向量检索与大语言模型结合后,很多人只把它理解为“把检索结果包装成对话形式”。本文从“纯向量检索返回 Top-N 片段”与“检索增强大模型生成答案”两条技术路线切入,系统对比二者在架构、功能、接入、运维与成本上的差异,重点厘清大模型在系统中承担的理解、生成、抑制幻觉与归因支撑等核心角色,并给出可落地的选型判断与使用注意事项。
在知识问答、企业文档助手、智能客服等场景中,越来越多方案采用”向量检索 + 大语言模型”的组合。但很多团队在评估时会有一个朴素疑问:既然向量检索已经能返回与问题最相关的 Top-N 片段,为什么还要接入大模型?大模型在这里到底做了检索做不到的事,还是只是把结果”换个说法”?
要回答这个问题,需要先明确本文的两个对比对象:
两者的差异并非”要不要大模型”这么简单,而是系统能力边界、责任归属和使用方式的根本不同。
尽管形态不同,两类方案在底层有大量重叠,理解这些相同点有助于避免选型时的误判。
这是本文的重点。大模型在方案B中承担的角色,恰恰是纯向量检索无法提供的,主要体现在以下几个方面。
纯向量检索的输出是片段集合,它解决的是”哪些内容相关”,但不解决”如何组织成答案”。当召回 5 段甚至更多文本、且它们之间存在重复、冲突或互补关系时,向量检索本身不会做归纳。
大模型在这里承担的是阅读—理解—合成的职责:它综合多段上下文,去重、对齐、排序要点,用连贯自然语言组织出直接可用的回答。这一步是”加工”的关键,而不仅仅是”换一种说法”——当输入是多片段、含冲突信息时,加工过程本身就在进行信息取舍与推理。
示意性流程对比:
# 方案A:纯向量检索query_vec = embed(query)top_k = vector_index.search(query_vec, k=N)return top_k # 直接返回片段,答案组装交给调用方# 方案B:检索增强大模型(RAG)query_vec = embed(query)retrieved = vector_index.search(query_vec, k=N)prompt = build_prompt(instruction, retrieved, query)answer = llm.generate(prompt)return answer, citations # 返回加工后的答案与来源
大模型的一个固有问题是幻觉——缺少现实世界知识时会”一本正经地胡编”。参数化知识是静态、封闭、难以追溯的,模型并不总能准确知道自己”不知道”。
检索的核心价值,正是在生成时把可验证的外部上下文注入模型,让答案有据可依,从而降低凭空编造的概率。这是”检索 + 大模型”相比”纯大模型问答”的关键增益,也是相比”纯检索”多出来的能力:检索负责提供事实,大模型负责在事实约束下组织语言。
大模型能承接的任务远不止问答,还包括实体抽取、翻译、代码/证据生成、常识推理、知识拓展、多轮对话等。方案B相当于给这些通用任务接上了一个”动态知识源”:任务由模型执行,知识由检索供给。而纯向量检索更接近一个”素材库”,它本身不执行任务,只提供素材。
在企业、法律、医疗等对可解释性要求高的场景中,”答案是否有依据”往往比”答案是否流畅”更重要。方案B可以让大模型在输出答案的同时引用来源片段,回答两个关键问题:
这类归因可以先验检索(生成后再检索证据校验),也可以后验检索(生成中/后动态补充证据),并可用自然语言推理(NLI)类模型自动化评估”文本是否被证据蕴含”。纯向量检索通常只能给出片段,难以直接产出”带出处的结论”。
| 对比维度 | 方案A:纯向量检索 | 方案B:检索增强大模型 |
|---|---|---|
| 核心输出 | Top-N 相关片段 | 自然语言答案 + 来源引用 |
| 谁做语义整合 | 调用方/用户 | 大模型 |
| 幻觉抑制 | 不涉及生成,无幻觉但可能”信息堆砌” | 靠上下文约束生成,降低幻觉但不能完全消除 |
| 任务覆盖 | 素材供给 | 问答、抽取、翻译、推理、代码等通用任务 |
| 可解释性 | 天然给出原始片段 | 可输出带归因的结论 |
| 接入复杂度 | 低,主要维护索引与检索 | 较高,需维护模型服务、提示工程、上下文长度管理 |
| 运维成本 | 集中在索引与向量库 | 额外包含推理服务、GPU 资源、延迟与吞吐治理 |
| 成本结构 | 主要为存储与检索算力 | 额外增加模型推理成本,但可能让小模型逼近大模型效果 |
| 典型风险 | 用户需自行判断片段相关性 | 提示注入、上下文超长、检索噪声放大错误 |
在方案B内部,”大模型与检索如何结合”还有多条技术路线,直接影响系统改造量和效果上限,值得单独对比。
微调式融合(Fine-tuning):在领域数据上继续训练,让模型适配业务。常见做法包括联合微调文档编码器、查询编码器与语言模型;也有只微调语言模型、或只微调查询侧(查询编码器 + 语言模型)的策略。差异在于改动范围与效果:全量微调上限更高但成本高、易过拟合;只微调查询侧往往性价比更好。此外还有检索增强预训练类方案,通过异步更新索引来让检索与生成协同优化。适合有大量领域标注数据、追求稳定效果的生产场景。
强化学习式融合(Reinforcement Learning):用领域数据与人类反馈强化生成质量,典型如基于人类反馈的强化学习(RLHF)。其特点是索引可保持不变,通过让模型生成、人类过滤正负反馈、训练奖励模型或直接用监督信号来优化行为。适合对”回答风格/正确性偏好”有明确要求、且能持续获取反馈的场景。
提示式融合(Prompting):冻结模型参数,只在提示中引入额外知识。又分两类:
适合数据/需求快速变化、团队希望低成本快速上线的场景。
一句话概括:微调追求效果上限,强化学习追求行为对齐,提示式追求迭代速度,选择取决于数据积累、团队能力和迭代节奏。
除了”检索 vs 检索+大模型”,还要回答”为什么要选基于检索的方案而不是纯靠模型参数”,几个典型动因:
选型判断(条件化):
迁移与落地注意事项:
回到最初的问题——大模型在”向量检索 + 大模型”中究竟发挥什么作用?它绝不是”把检索结果换个说法”,而是承担了语义理解、多片段合成、幻觉抑制、通用任务执行与归因支撑等一系列检索本身无法完成的工作:检索负责”提供事实”,大模型负责”在事实约束下把事实变成可用的答案与推理”。
方案A(纯检索)胜在轻量、透明、可追溯,适合把加工交给下游的场景;方案B(检索增强大模型)胜在能直接产出可用答案并缓解幻觉,适合对生成质量与可解释性有要求的场景。而在方案B内部,提示式、微调式、强化学习式各有取舍,应结合数据积累、团队能力与迭代节奏做条件化选择,而非追求单一”最优”路线。