简介:本文面向想选型的小团队和开发者,比较从零预训练与基于已有权重的微调两条路线。文章给出五维对比表、按数据、显存、多卡、评估和回退拆解的选型清单,以及一棵决策树。读完后,你可以判断自己的资源条件适合哪条路线,并知道上线前需要检查哪些风险。
近两年,开源社区出现了大量参数规模较小的语言模型实现和训练示例。这些示例把训练流程拆成预训练、监督微调、低秩适配和偏好优化几个阶段,方便读者逐个学习和复现。但能跑通一个训练脚本,只是第一步。业务模型还需要稳定的数据来源、可复现的评估方法和可控的部署方式。
团队常遇到的问题是:要让模型在某个领域表现更好,应该从零训练一个小模型,还是在已有权重上做微调与对齐?两条路线的成本结构、可控程度和风险分布都不同。
本文先给出结论:如果目标是业务效果,默认优先选择基于已有权重的微调。从零预训练只在三类情况下值得考虑:教学与研究、模型结构或词表需要根本改动,以及具备长期的数据与算力投入,并能接受较长的验证周期。
全文按以下顺序展开。第二节定义两条路线。第三节用五个维度做对比。第四节给出按资源条件选型的清单。第五节提供决策树。第六节讨论评估、风险和常见错误。
路线一:从零预训练(Training from scratch)
模型结构和参数全部随机初始化,用大规模无标注文本做下一个词预测训练,直到模型学会语言的基本统计规律。之后可以再接入指令数据和偏好数据做后训练。这条路线的核心价值在于完全掌握模型结构与数据分布,适合教学、研究,以及对结构有特殊需求的场景。代价是数据、算力和工程投入都高,且出错后排查成本大。
路线二:基于已有权重的微调与对齐
以一个已经预训练好的模型为起点,通过相对少量的数据调整其行为。常见做法有三种。
这条路线的核心价值是以较小投入获得可用效果。关键在于数据质量和评估体系,而不是训练脚本本身。
下表从五个维度比较两条路线。表中的描述是定性判断,具体数值要以团队自己的基座、数据和硬件为准。
| 维度 | 从零预训练 | 基于已有权重的微调 |
|---|---|---|
| 架构 | 层数、隐藏维度、注意力头数和词表都需要自行确定 | 沿用基座结构,可改动范围有限,扩展词表会增加对齐成本 |
| 接入成本 | 需要搭建数据管线、分布式训练和检查点管理 | 主要是构造指令或偏好数据、编写训练脚本和固定评测集 |
| 数据与算力需求 | 需要大规模无标注文本,训练周期长,常以多卡为前提 | 需要高质量的小规模标注数据,单次训练通常以小时到天计 |
| 运维复杂度 | 需要维护训练集群、故障恢复和版本管理 | 需要管理基座版本、适配器文件和数据版本 |
| 适用场景 | 教学、研究、特殊结构或特殊数据分布 | 领域问答、输出格式约束、风格对齐、特定指令遵循 |
两条路线的共同点也值得记住。两者都依赖分词器、Transformer或其变体结构、优化器、学习率调度、检查点保存和推理脚本。数据的清洗、去重、格式统一和分布覆盖都会直接限制最终效果。两者都需要独立的验证集和固定的评测样本,否则很难判断某次改动是否真正有效。显存容量、显存带宽和多卡通信效率也会限制可训练的模型规模和批大小。
下表给出各方法的启动门槛。数据量级和显存数字只是工程上的粗略起点,不是性能承诺。
| 方法 | 启动门槛 | 数据量级(起步参考) | 显存与多卡(粗略) | 评估成本 | 回退方案 |
|---|---|---|---|---|---|
| 全参SFT | 已有合适的开源基座和指令数据 | 常见起步规模在数千条量级,数据质量比数量更关键 | 全参微调时,混合精度配合Adam优化器,每个参数的权重、梯度和优化器状态合计需要十几字节。1B参数量级已接近多数消费级显卡的上限。参数较大时需要数据并行或参数切分 | 需要固定验证集和人工抽检 | 保留基座权重,效果不达标时回到基座 |
| LoRA | 同全参SFT | 与全参SFT相近,可略少 | 基座仍需整体装载,但梯度和优化器状态只针对适配器,显存需求明显低于全参。单卡通常可以完成 | 同全参SFT | 卸载适配器即可恢复基座行为 |
| DPO | 必须先有可用的SFT模型作为参考 | 需要成对偏好数据,并做标注一致性检查 | 需要同时计算策略模型和参考模型,显存高于同规模SFT,常需多卡 | 需要偏好评测、长度统计和人工抽检,防止过度迎合 | 回到SFT检查点 |
| 从零预训练 | 数据管线、训练集群和有经验的训练团队 | 通常需要大规模无标注文本。一种常见的经验比例是每个参数对应约二十个训练token,只作参考 | 全部参数参与训练,多卡为必需 | 需要稳定的基准集和长期的指标跟踪 | 从最近的检查点恢复,训练曲线异常时及时停止 |
按资源条件,可以这样理解选型。只有一张消费级显卡时,优先考虑LoRA,并使用已有的开源基座。有多卡且有一定量的指令数据时,可以做全参SFT,再视偏好数据情况决定是否做DPO。没有合适基座、又确实需要改动结构时,才进入从零预训练的讨论,并先确认数据和算力是否能支撑完整周期。
下面的决策树按顺序提问。每个分支都给出下一步动作。
目标是否要求模型结构或词表发生根本改变?├─ 否│ ├─ 是否已有合适的开源基座?│ │ ├─ 否:先确定基座的许可、语言能力和规模,再回到本树│ │ └─ 是:是否已有指令数据?│ │ ├─ 否:先整理数据并做去重和格式统一,暂不训练│ │ └─ 是:从SFT开始│ │ ├─ 显存紧张,或需要挂载多个领域适配器 → 使用LoRA│ │ ├─ 显存充足 → 使用全参SFT│ │ └─ SFT完成后仍需对齐偏好,且有成对数据 → 追加DPO└─ 是├─ 是否具备教学、研究或长期预训练的能力?│ ├─ 是:从零预训练,并保留完整的基线记录│ └─ 否:重新评估需求,尝试结构改动较小的基座或放弃改动
评估方法
需要检查的风险
常见错误