简介:本教程面向开发者、运维人员、技术负责人与企业用户,围绕行业垂直大模型建设中“用RAG还是微调”的核心选型问题,给出可落地的判断方法、实施步骤、配置示例、验证指标与排查思路。读完可建立“先基线、再分层、后混合”的工程化闭环,降低幻觉、控制成本并提升迭代效率。
本教程要帮助读者完成一个明确任务:在构建行业垂直大模型时,判断某个业务场景应优先采用检索增强生成(RAG)、监督微调,还是“微调+检索”的混合方案,并完成从数据准备、基线搭建、训练配置、服务化到评测迭代的最小闭环。
适合阅读的人群包括:需要做技术选型的开发者、负责训练与推理服务的运维人员、关注成本与合规的技术负责人,以及希望把大模型落到业务中的企业用户。教程不绑定具体平台,所给配置为通用工程参数,实际取值需结合数据规模、硬件资源和业务指标调整。
行业垂直大模型常见误区是把RAG和微调当成互斥路线。更合理的工程判断是:
选型时不要只问“哪个效果更好”,而要同时问:知识更新周期多长、错误代价多大、是否需要引用、推理成本能否接受、标注数据是否可持续、权限边界是否复杂。
先不要直接训练。把业务问题拆成三类:事实查询类、格式任务类、开放生成类。事实查询类优先走RAG;格式任务类如固定报告、术语改写、结构化抽取优先评估微调;开放生成类采用混合路由。路由设计要可解释,例如按意图分类、置信度阈值和权限标签决定调用链。
通用伪代码示意:
function answer(query, user):intent = classify(query)if intent in ["实时政策", "工单状态", "库存查询"]:docs = hybrid_retrieve(query, top_k=20, filters=user.permissions)docs = rerank(query, docs, keep=5)return generate_with_citation(query, docs)if intent in ["固定格式报告", "术语改写", "字段抽取"]:return tuned_model.generate(query)docs = hybrid_retrieve(query, top_k=20, filters=user.permissions)return tuned_model.generate(query, docs, citation=true)
为什么这样做:RAG擅长把可更新知识注入上下文,微调擅长把稳定模式写入参数。路由能把两类能力放在合适位置,避免所有问题都堆给一个模型。
RAG链路包括文档解析、清洗、分块、索引、召回、重排、上下文组装和引用生成。分块要兼顾语义完整与检索粒度;召回可采用关键词与向量混合检索;重排用于压缩上下文并提升相关性;生成阶段要求模型在证据不足时拒答或标注不确定。
配置说明:top_k不宜过大,否则上下文噪声和延迟上升;重排保留数建议从3到8条起步;分块长度按文档结构设置,制度类可保留标题层级,问答类可按问答对切分。注意权限过滤必须在召回前或召回时完成,不能只在生成后过滤。
微调适合稳定任务模式,而不是替代知识库。判断标准包括:提示工程和RAG基线是否已稳定;错误是否集中在格式、语气、术语和任务步骤;是否有足够高质量样本;微调后是否能用评测集证明收益。若错误主要是事实缺失或知识过期,应优先优化检索与数据源,而不是盲目微调。
微调数据要统一模板,包含指令、输入、期望输出、来源、版本和权限标签。知识型样本与风格型样本分开管理;对隐私字段脱敏;对合成数据做蒸馏、去重、沙箱过滤和人工抽检。训练时使用损失掩码,只对需要学习的输出部分计算损失,避免模型被无关上下文干扰。
通用数据示意:
{"instruction": "按行业规范生成巡检结论","input": "设备状态、告警记录、历史处置摘要","output": "结构化结论与建议","source": "脱敏业务样本","version": "v1","permission": "internal"}
优先采用低秩适配等参数高效微调方法,降低显存与存储成本。低秩矩阵的本质是用较小参数量学习任务增量,适合单基座服务多个业务适配器。训练循环可采用带预热的余弦学习率调度、梯度裁剪、验证集早停和动态监控。关键配置包括学习率、批大小、低秩秩、训练轮数、早停耐心值;学习率过大易破坏基座能力,过小则收敛慢。
通用伪代码示意:
for batch in train_loader:output = model(batch.input, labels=batch.labels, loss_mask=batch.mask)loss = output.lossloss.backward()clip_grad_norm()optimizer.step()scheduler.step()log(loss, lr, grad_norm, val_metric)if early_stop(val_metric, patience):break
在监督微调后,可根据业务偏好数据做直接偏好优化,让输出更符合规范、拒答策略和表达风格。多模态场景可扩展视觉语言模型的双塔适配、去噪网络交叉注意力引导和主体定制,但需保留先验能力,避免过拟合小样本。部署前可评估激活感知量化与跨平台量化分发格式,重点验证量化后的准确率、延迟和内存占用是否满足要求。
服务化建议支持单基座多适配器并发、连续批处理和适配器权重无损折叠。上线先灰度小流量,对比基线、RAG、微调、混合四组方案。验证指标包括:事实准确率、引用命中率、格式合规率、拒答正确率、首字延迟、吞吐、单次成本、人工复核率。若混合方案在准确率和可追溯性上更优且成本可控,再逐步放量。
从性能看,采用缓存、混合检索、重排压缩和连续批处理;从安全看,落实权限过滤、脱敏、审计日志与拒答策略;从稳定性看,建立评测集版本化、灰度发布、监控告警与回滚机制;从成本看,优先参数高效微调、按需量化、冷热数据分层;从可维护性看,把知识更新、提示模板、适配器权重和数据版本纳入统一配置管理。最终形成“数据飞轮”:线上问题回流评测集,检索优化与微调样本同步迭代。
构建行业垂直大模型时,RAG与微调应按任务分层选择:RAG解决可更新知识与可追溯问题,微调解决稳定风格、格式和任务模式问题,混合方案兼顾二者。按“定义指标—建立RAG基线—验证微调收益—混合路由—评测灰度—监控迭代”的步骤推进,可显著降低选型风险,并让系统在准确性、成本、延迟和合规之间取得平衡。