行业垂直大模型怎么建:检索增强与微调实战

作者:沙与沫2026.11.18 11:19浏览量:0

简介:构建行业垂直大模型,关键不是在检索增强与微调之间二选一,而是区分知识更新、任务能力与行为约束。本教程从需求拆解、数据治理和评测集建设出发,讲解如何搭建检索增强基线、开展参数高效微调,并通过对照实验确定组合方案,同时覆盖部署验证、权限控制、成本优化及常见问题排查。

一、教程目标:先定位问题,再选择技术

本教程面向开发者、运维人员、技术负责人,以及准备落地行业智能应用的企业技术团队,帮助读者完成以下任务:

  1. 判断业务问题主要来自知识缺失、检索失败,还是模型执行能力不足。
  2. 建立包含文档治理、检索、生成和引用校验的检索增强系统。
  3. 在确有必要时,通过参数高效微调改善领域术语理解、任务执行和输出格式。
  4. 使用同一套评测集比较不同方案,并形成可持续维护的上线流程。

贯穿全文的示例是“企业内部制度问答助手”:系统需要回答报销、采购和审批相关问题,依据最新制度说明适用条件,给出来源,并在信息不足时追问或拒答。

先明确一个核心结论:

经常变化、需要引用和权限约束的知识,优先放在外部知识系统中;需要稳定学习的任务模式、输出结构和业务表达,可以考虑微调。两者可以结合,但应由评测结果决定是否增加复杂度。

私有化部署则是另一个维度的问题。检索增强和微调都可以采用私有化部署,也都可能使用托管服务,不能将“选择微调”等同于“实现数据私有化”。

二、理解两类方案分别解决什么问题

1. 检索增强:让回答获得可验证的知识依据

检索增强生成,简称 RAG,其基本流程是:

用户问题 → 查询处理 → 检索授权资料 → 筛选与排序 → 组织上下文 → 模型生成 → 引用校验。

它通常不修改生成模型的权重,而是在回答时提供相关材料,适合:

  • 知识频繁更新,例如制度、产品手册、操作规程。
  • 回答必须给出文档依据。
  • 不同用户具有不同的数据访问权限。
  • 知识规模较大,不适合全部放进提示上下文。

需要注意:检索增强能够降低部分幻觉风险,但不保证回答必然正确。文档过期、召回错误、条件遗漏和模型误读,都可能导致错误答案。

2. 微调:让模型更稳定地执行特定任务

微调通过训练样本更新全部或部分模型参数,使模型更适应目标任务,适合:

  • 领域术语在固定语境下有特殊含义。
  • 输出必须满足明确结构。
  • 通用模型反复误解业务指令。
  • 已有大量高质量、稳定且可复用的任务示例。

例如,模型已经拿到了正确的采购制度,却总是遗漏“适用对象”或“例外条件”,可以先尝试优化提示与输出校验;如果问题仍稳定存在,再考虑微调。

微调不是可靠的事实数据库。 它难以提供精确的知识版本管理,也不适合承担细粒度权限控制,更不能保证训练过的事实总能被准确复现。

3. 用决策表完成初步选型

业务诉求 优先方向 主要原因
回答最新制度内容 检索增强 可更新、可追溯
输出结构长期不稳定 结构约束与校验,必要时微调 先使用成本更低的控制手段
术语理解反复出错 提示补充、领域检索,必要时微调 需要区分知识不足与语义理解不足
不同人员只能查不同资料 权限系统与授权检索 权限不能依赖模型自觉遵守
既要最新知识,又要稳定执行流程 检索增强与微调组合 分别处理知识与行为问题
简单任务且调用量不高 直接提示基线 避免过早引入复杂系统

三、前置准备:先准备数据和评测,而不是先训练

1. 明确任务边界

为示例助手写出一份任务说明:

  • 可以回答哪些制度问题。
  • 哪些问题必须追问,例如缺少申请日期、人员类别或费用类型。
  • 哪些问题必须拒答,例如查询无权访问的个人材料。
  • 输出需要包含哪些字段,例如结论、适用条件、依据和不确定性。
  • 当新旧制度冲突时,应依据什么规则处理。

如果这些要求尚未明确,无论检索增强还是微调,都难以获得稳定结果。

2. 准备基础环境

通常需要:

  • 可调用的基础语言模型,以及明确的使用和部署许可。
  • 文档解析、文本检索、语义检索和结果排序组件。
  • 文档存储、元数据存储与权限管理能力。
  • 日志、监控和评测运行环境。
  • 若计划训练,还需要支持梯度计算的训练框架及足够的计算资源。

显存需求与模型规模、输入长度、训练精度、批量大小、优化器状态等因素有关。参数高效微调可以降低训练开销,但不能据此承诺任意模型都能在单张显卡上完成训练。

3. 建立独立评测集

评测集应覆盖:

  • 可以从单份资料直接回答的问题。
  • 需要跨章节或跨文档整合的问题。
  • 带有适用日期、地区、岗位等条件的问题。
  • 缺少必要信息的问题。
  • 无答案、越权访问和恶意诱导问题。
  • 新旧版本存在冲突的问题。

每条样本至少记录:问题、用户权限范围、参考答案、必要依据、预期行为和评分规则。

训练集与评测集应按文档来源、时间或业务实体进行隔离,避免同一问题的近似改写同时出现在两边。否则,评测结果可能只反映样本记忆,而非真实泛化能力。

四、步骤一:先建立不训练的基线

先使用基础模型配合清晰提示,完成一轮评测。提示中明确:

  • 只根据给定材料作答。
  • 不得补造金额、日期、适用对象和审批条件。
  • 信息不足时说明缺口。
  • 引用只能指向实际提供的材料。

随后记录失败类型,例如:

  • 没有相关知识。
  • 有资料但没有找到。
  • 找到了正确资料却理解错误。
  • 结论正确,但格式不符合要求。
  • 应拒答却给出了猜测。

这一步的价值在于识别真正瓶颈。如果大部分错误来自资料缺失,立即微调通常不是最有效的投入方向。

五、步骤二:构建可维护的检索知识库

1. 清洗文档并保留版本信息

对原始文件进行去重、纠错、脱敏和结构恢复,重点处理扫描识别错误、表格错位、重复页眉页脚以及附件缺失。

每份文档建议保留以下元数据:

  • 文档标识与标题。
  • 版本号、生效时间和失效时间。
  • 所属部门与适用范围。
  • 访问权限标签。
  • 原文定位信息。
  • 数据责任人及更新时间。

对于金额、比例和日期等高风险字段,应设置抽检或人工复核。错误源数据进入知识库后,检索系统可能只是更高效地传播错误。

2. 按语义结构切分,而非机械截断

优先按标题、条款和业务语义边界切分,尽量让“规则—条件—例外”保持完整。

例如,一条报销规定同时包含适用对象、金额上限和特殊审批条件。如果切成三个互不关联的片段,模型可能只看到金额,遗漏限制条件。

分块大小没有适用于所有业务的固定值。可以从数百个词元量级的片段开始实验,再依据文档结构、检索命中率和回答完整性调整。相邻片段允许适度重叠,但重叠过大会增加重复召回和上下文成本。

对于表格,保留列名、单位及相关注释;对于较短条款,可以附带父级标题帮助理解。

3. 组合关键词检索与语义检索

关键词检索适合制度编号、专有术语、日期等精确匹配;语义检索适合口语化表达和同义改写。

通常可以并行获取候选片段,再进行去重和相关性排序。但组合检索并非一定优于单一检索,应通过评测验证收益。

所有进入生成上下文的内容,都必须先通过权限校验。 如果底层检索能力不支持充分的权限过滤,应在候选结果返回后立即进行服务端鉴权,再进行后续排序与生成;不能把无权限材料交给模型后,指望模型“不说出来”。

六、步骤三:组织上下文并控制回答行为

检索结果不能直接无序拼接。应优先保留相关、有效且不重复的材料,并显式提供版本与定位信息。

以下为流程伪代码,仅表达架构逻辑,不对应任何具体接口:

  1. 用户身份 = 校验登录身份()
  2. 允许范围 = 查询用户数据权限(用户身份)
  3. 候选片段 = 检索候选资料(用户问题, 允许范围)
  4. 授权片段 = 再次校验权限(候选片段, 允许范围)
  5. 有效片段 = 按版本与生效日期筛选(授权片段)
  6. 排序片段 = 按相关性排序并去重(用户问题, 有效片段)
  7. 如果没有足够依据:
  8. 返回追问或说明无法确认
  9. 否则:
  10. 上下文 = 组织材料及来源标识(排序片段)
  11. 草稿 = 根据材料生成回答(用户问题, 上下文)
  12. 校验结果 = 检查引用、格式和关键字段(草稿, 上下文)
  13. 返回通过校验的回答或转人工处理

这里的“足够依据”不能只依靠一个未经校准的相似度分数判断。还应考虑是否覆盖必要条件、是否存在版本冲突,以及问题是否需要多个条款共同支持。

此外,检索到的文档属于数据,不是系统指令。文档内即使出现“忽略原有规则”等内容,也不应改变助手的权限边界或执行规则。

七、步骤四:通过实验判断是否需要微调

当检索增强基线已经建立,按以下顺序定位问题:

  1. 人工把正确材料交给模型,回答是否正确?
    如果正确,优先优化检索、排序和上下文组织。

  2. 正确材料充分时,模型是否仍经常误读条件?
    先改进提示、示例和任务拆解,再评估微调。

  3. 主要问题是否仅为格式不稳定?
    先尝试结构约束、字段校验及有限次数的修复重试。

  4. 问题是否来自基础模型能力不足?
    应比较更合适的基础模型与微调方案,而不是默认训练能解决所有问题。

只有确认存在可学习、可复现的任务能力缺口,并且有足够高质量样本时,才进入微调阶段。

八、步骤五:实施参数高效微调

1. 构造与线上任务一致的训练样本

训练数据应尽量接近真实输入:

  • 用户问题。
  • 必要的对话背景。
  • 检索得到的材料。
  • 期望回答。
  • 引用与拒答要求。

如果线上使用检索上下文,训练时却只有孤立的问答对,可能造成训练与使用条件不一致。

样本既要包含正确回答,也要覆盖信息不足、材料冲突、无关材料和越权请求。对合成样本,应检查来源、事实一致性及答案是否确实受到材料支持,不能把生成数量当作数据质量。

2. 选择适配方式

低秩适配通过训练较小的增量参数来调整模型行为,通常比全量微调更节省训练资源,适合作为初始尝试。

关键设置包括:

设置 作用与注意事项
学习率 过高可能破坏原有能力,过低可能学习不足,应依据验证集调整
适配秩 影响可训练参数量和表达能力,并非越大越好
训练轮数 需要结合验证集监控,避免反复记忆有限样本
最大序列长度 应覆盖实际输入分布,过度截断可能丢失关键依据
有效批量大小 影响优化稳定性,可通过梯度累积调整
损失计算范围 指令微调中常只对目标回复计算损失,具体应匹配训练目标

训练过程中同时观察训练损失、验证损失和业务指标。训练损失持续降低,并不意味着回答更可靠。

3. 仅在需要时增加偏好对齐

如果模型已经能够完成任务,但经常出现过度推断、回答冗长或不恰当拒答,可考虑基于偏好样本进一步优化。

偏好样本应在相同问题和上下文下,提供更优与较差的回答,并保持明确一致的标注标准。

偏好对齐不能修复缺失的知识,也不能替代权限校验。若标注者总是偏好措辞自信、内容更长的回答,反而可能强化不可靠表达。

九、步骤六:开展公平的对照评测

建议比较四种方案:

  • 基础模型。
  • 基础模型加检索增强。
  • 微调模型。
  • 微调模型加检索增强。

在相同问题、权限条件和尽量一致的推理设置下,检查:

  • 检索覆盖情况:必要依据是否进入候选结果和最终上下文。
  • 答案正确性:结论、金额、日期与条件是否准确。
  • 依据一致性:回答中的事实性主张是否受到引用支持。
  • 拒答合理性:无依据时是否停止推断,有依据时是否过度拒答。
  • 结构合规性:字段是否完整,是否便于下游处理。
  • 运行表现:端到端延迟、吞吐、资源占用与调用成本。
  • 安全性:是否存在越权泄露、敏感信息输出及提示注入风险。

检索指标与回答指标必须分开看。正确资料被召回,不代表模型一定理解正确;答案看似正确,也可能来自猜测而非提供的证据。

关键业务样本应由领域人员复核。自动评分可以辅助筛查,但不宜作为高风险上线的唯一依据。

十、常见问题与排查顺序

问题一:知识库里有答案,但系统说不知道

先检查文档是否成功解析和入库,再检查权限、版本过滤、查询表达以及候选数量。随后查看重排序是否移除了正确片段,最后确认上下文是否因长度限制被截断。

不要一开始就通过微调“让模型记住答案”。

问题二:回答有引用,但引用不能证明结论

常见原因是模型把局部规则推广成一般结论,或者引用片段缺少例外条件。应补充相邻条款、逐项校验关键主张,并要求区分“材料明确说明”和“无法确认”。

问题三:微调后领域任务变好,其他能力下降

可能存在数据过窄、重复样本过多或训练过强。可减少训练强度、提高数据多样性,并增加通用能力回归测试。必要时保留多个任务适配器,由业务路由选择,而不是让一个适配器承担所有任务。

问题四:系统延迟明显升高

分别测量查询处理、检索、排序和生成耗时,再定位瓶颈。可尝试减少重复候选、压缩无关上下文、限制不必要的输出长度。

缓存必须绑定权限范围和知识版本,避免把某个用户的授权结果返回给其他用户。

十一、部署与持续维护

上线前,应固定并记录基础模型、适配器、知识库、提示模板和评测集的版本,保证问题可以复现和回滚。

量化可以降低部分推理资源需求,但可能影响精度,尤其需要复测数字、术语和长上下文任务。适配器是否能够合并、合并后是否保持足够接近的数值表现,取决于适配方法、模型结构和部署精度,不能笼统视为完全无损。

生产阶段还应建立:

  • 文档更新、失效与索引重建流程。
  • 用户反馈和错误样本回收机制。
  • 敏感日志脱敏与访问审计。
  • 小范围灰度发布和回滚机制。
  • 按任务类型统计的质量与成本看板。

成本比较也应覆盖完整链路:检索、排序、生成、训练、标注、硬件利用率与运维都应计入,不能只比较单次生成费用。

十二、总结:推荐的落地顺序

构建行业垂直大模型,建议遵循:

定义任务与权限边界 → 建立独立评测集 → 测试提示基线 → 建设检索增强 → 分析剩余错误 → 按需微调 → 对照评测 → 灰度上线。

检索增强负责让模型获得适时、可授权、可追溯的知识;微调负责让模型更稳定地使用这些知识并执行任务。真正可靠的行业应用,来自数据治理、模型能力、权限控制、工程校验和持续评测的共同作用,而不是单独采用某一种技术。