简介:构建行业垂直大模型,关键不是在检索增强与微调之间二选一,而是区分知识更新、任务能力与行为约束。本教程从需求拆解、数据治理和评测集建设出发,讲解如何搭建检索增强基线、开展参数高效微调,并通过对照实验确定组合方案,同时覆盖部署验证、权限控制、成本优化及常见问题排查。
本教程面向开发者、运维人员、技术负责人,以及准备落地行业智能应用的企业技术团队,帮助读者完成以下任务:
贯穿全文的示例是“企业内部制度问答助手”:系统需要回答报销、采购和审批相关问题,依据最新制度说明适用条件,给出来源,并在信息不足时追问或拒答。
先明确一个核心结论:
经常变化、需要引用和权限约束的知识,优先放在外部知识系统中;需要稳定学习的任务模式、输出结构和业务表达,可以考虑微调。两者可以结合,但应由评测结果决定是否增加复杂度。
私有化部署则是另一个维度的问题。检索增强和微调都可以采用私有化部署,也都可能使用托管服务,不能将“选择微调”等同于“实现数据私有化”。
检索增强生成,简称 RAG,其基本流程是:
用户问题 → 查询处理 → 检索授权资料 → 筛选与排序 → 组织上下文 → 模型生成 → 引用校验。
它通常不修改生成模型的权重,而是在回答时提供相关材料,适合:
需要注意:检索增强能够降低部分幻觉风险,但不保证回答必然正确。文档过期、召回错误、条件遗漏和模型误读,都可能导致错误答案。
微调通过训练样本更新全部或部分模型参数,使模型更适应目标任务,适合:
例如,模型已经拿到了正确的采购制度,却总是遗漏“适用对象”或“例外条件”,可以先尝试优化提示与输出校验;如果问题仍稳定存在,再考虑微调。
微调不是可靠的事实数据库。 它难以提供精确的知识版本管理,也不适合承担细粒度权限控制,更不能保证训练过的事实总能被准确复现。
| 业务诉求 | 优先方向 | 主要原因 |
|---|---|---|
| 回答最新制度内容 | 检索增强 | 可更新、可追溯 |
| 输出结构长期不稳定 | 结构约束与校验,必要时微调 | 先使用成本更低的控制手段 |
| 术语理解反复出错 | 提示补充、领域检索,必要时微调 | 需要区分知识不足与语义理解不足 |
| 不同人员只能查不同资料 | 权限系统与授权检索 | 权限不能依赖模型自觉遵守 |
| 既要最新知识,又要稳定执行流程 | 检索增强与微调组合 | 分别处理知识与行为问题 |
| 简单任务且调用量不高 | 直接提示基线 | 避免过早引入复杂系统 |
为示例助手写出一份任务说明:
如果这些要求尚未明确,无论检索增强还是微调,都难以获得稳定结果。
通常需要:
显存需求与模型规模、输入长度、训练精度、批量大小、优化器状态等因素有关。参数高效微调可以降低训练开销,但不能据此承诺任意模型都能在单张显卡上完成训练。
评测集应覆盖:
每条样本至少记录:问题、用户权限范围、参考答案、必要依据、预期行为和评分规则。
训练集与评测集应按文档来源、时间或业务实体进行隔离,避免同一问题的近似改写同时出现在两边。否则,评测结果可能只反映样本记忆,而非真实泛化能力。
先使用基础模型配合清晰提示,完成一轮评测。提示中明确:
随后记录失败类型,例如:
这一步的价值在于识别真正瓶颈。如果大部分错误来自资料缺失,立即微调通常不是最有效的投入方向。
对原始文件进行去重、纠错、脱敏和结构恢复,重点处理扫描识别错误、表格错位、重复页眉页脚以及附件缺失。
每份文档建议保留以下元数据:
对于金额、比例和日期等高风险字段,应设置抽检或人工复核。错误源数据进入知识库后,检索系统可能只是更高效地传播错误。
优先按标题、条款和业务语义边界切分,尽量让“规则—条件—例外”保持完整。
例如,一条报销规定同时包含适用对象、金额上限和特殊审批条件。如果切成三个互不关联的片段,模型可能只看到金额,遗漏限制条件。
分块大小没有适用于所有业务的固定值。可以从数百个词元量级的片段开始实验,再依据文档结构、检索命中率和回答完整性调整。相邻片段允许适度重叠,但重叠过大会增加重复召回和上下文成本。
对于表格,保留列名、单位及相关注释;对于较短条款,可以附带父级标题帮助理解。
关键词检索适合制度编号、专有术语、日期等精确匹配;语义检索适合口语化表达和同义改写。
通常可以并行获取候选片段,再进行去重和相关性排序。但组合检索并非一定优于单一检索,应通过评测验证收益。
所有进入生成上下文的内容,都必须先通过权限校验。 如果底层检索能力不支持充分的权限过滤,应在候选结果返回后立即进行服务端鉴权,再进行后续排序与生成;不能把无权限材料交给模型后,指望模型“不说出来”。
检索结果不能直接无序拼接。应优先保留相关、有效且不重复的材料,并显式提供版本与定位信息。
以下为流程伪代码,仅表达架构逻辑,不对应任何具体接口:
用户身份 = 校验登录身份()允许范围 = 查询用户数据权限(用户身份)候选片段 = 检索候选资料(用户问题, 允许范围)授权片段 = 再次校验权限(候选片段, 允许范围)有效片段 = 按版本与生效日期筛选(授权片段)排序片段 = 按相关性排序并去重(用户问题, 有效片段)如果没有足够依据:返回追问或说明无法确认否则:上下文 = 组织材料及来源标识(排序片段)草稿 = 根据材料生成回答(用户问题, 上下文)校验结果 = 检查引用、格式和关键字段(草稿, 上下文)返回通过校验的回答或转人工处理
这里的“足够依据”不能只依靠一个未经校准的相似度分数判断。还应考虑是否覆盖必要条件、是否存在版本冲突,以及问题是否需要多个条款共同支持。
此外,检索到的文档属于数据,不是系统指令。文档内即使出现“忽略原有规则”等内容,也不应改变助手的权限边界或执行规则。
当检索增强基线已经建立,按以下顺序定位问题:
人工把正确材料交给模型,回答是否正确?
如果正确,优先优化检索、排序和上下文组织。
正确材料充分时,模型是否仍经常误读条件?
先改进提示、示例和任务拆解,再评估微调。
主要问题是否仅为格式不稳定?
先尝试结构约束、字段校验及有限次数的修复重试。
问题是否来自基础模型能力不足?
应比较更合适的基础模型与微调方案,而不是默认训练能解决所有问题。
只有确认存在可学习、可复现的任务能力缺口,并且有足够高质量样本时,才进入微调阶段。
训练数据应尽量接近真实输入:
如果线上使用检索上下文,训练时却只有孤立的问答对,可能造成训练与使用条件不一致。
样本既要包含正确回答,也要覆盖信息不足、材料冲突、无关材料和越权请求。对合成样本,应检查来源、事实一致性及答案是否确实受到材料支持,不能把生成数量当作数据质量。
低秩适配通过训练较小的增量参数来调整模型行为,通常比全量微调更节省训练资源,适合作为初始尝试。
关键设置包括:
| 设置 | 作用与注意事项 |
|---|---|
| 学习率 | 过高可能破坏原有能力,过低可能学习不足,应依据验证集调整 |
| 适配秩 | 影响可训练参数量和表达能力,并非越大越好 |
| 训练轮数 | 需要结合验证集监控,避免反复记忆有限样本 |
| 最大序列长度 | 应覆盖实际输入分布,过度截断可能丢失关键依据 |
| 有效批量大小 | 影响优化稳定性,可通过梯度累积调整 |
| 损失计算范围 | 指令微调中常只对目标回复计算损失,具体应匹配训练目标 |
训练过程中同时观察训练损失、验证损失和业务指标。训练损失持续降低,并不意味着回答更可靠。
如果模型已经能够完成任务,但经常出现过度推断、回答冗长或不恰当拒答,可考虑基于偏好样本进一步优化。
偏好样本应在相同问题和上下文下,提供更优与较差的回答,并保持明确一致的标注标准。
偏好对齐不能修复缺失的知识,也不能替代权限校验。若标注者总是偏好措辞自信、内容更长的回答,反而可能强化不可靠表达。
建议比较四种方案:
在相同问题、权限条件和尽量一致的推理设置下,检查:
检索指标与回答指标必须分开看。正确资料被召回,不代表模型一定理解正确;答案看似正确,也可能来自猜测而非提供的证据。
关键业务样本应由领域人员复核。自动评分可以辅助筛查,但不宜作为高风险上线的唯一依据。
先检查文档是否成功解析和入库,再检查权限、版本过滤、查询表达以及候选数量。随后查看重排序是否移除了正确片段,最后确认上下文是否因长度限制被截断。
不要一开始就通过微调“让模型记住答案”。
常见原因是模型把局部规则推广成一般结论,或者引用片段缺少例外条件。应补充相邻条款、逐项校验关键主张,并要求区分“材料明确说明”和“无法确认”。
可能存在数据过窄、重复样本过多或训练过强。可减少训练强度、提高数据多样性,并增加通用能力回归测试。必要时保留多个任务适配器,由业务路由选择,而不是让一个适配器承担所有任务。
分别测量查询处理、检索、排序和生成耗时,再定位瓶颈。可尝试减少重复候选、压缩无关上下文、限制不必要的输出长度。
缓存必须绑定权限范围和知识版本,避免把某个用户的授权结果返回给其他用户。
上线前,应固定并记录基础模型、适配器、知识库、提示模板和评测集的版本,保证问题可以复现和回滚。
量化可以降低部分推理资源需求,但可能影响精度,尤其需要复测数字、术语和长上下文任务。适配器是否能够合并、合并后是否保持足够接近的数值表现,取决于适配方法、模型结构和部署精度,不能笼统视为完全无损。
生产阶段还应建立:
成本比较也应覆盖完整链路:检索、排序、生成、训练、标注、硬件利用率与运维都应计入,不能只比较单次生成费用。
构建行业垂直大模型,建议遵循:
定义任务与权限边界 → 建立独立评测集 → 测试提示基线 → 建设检索增强 → 分析剩余错误 → 按需微调 → 对照评测 → 灰度上线。
检索增强负责让模型获得适时、可授权、可追溯的知识;微调负责让模型更稳定地使用这些知识并执行任务。真正可靠的行业应用,来自数据治理、模型能力、权限控制、工程校验和持续评测的共同作用,而不是单独采用某一种技术。