简介：本文系统梳理多模态大模型从预训练、持续训练、指令微调到强化学习的完整训练阶段，深入解析各阶段的核心目标、关键技术与常见误区，帮助开发者建立对模型训练全流程的清晰认知，为实际工程实践提供参考框架。
多模态大模型训练是指通过分阶段、有策略的优化过程，使模型获得处理文本、图像、音频等多种模态数据能力的技术体系。与传统单模态模型不同，多模态大模型的训练并非一次性的端到端过程，而是由多个目标各异、数据分布不同、优化策略相异的阶段串联而成的系统工程。
从工程视角看，多模态大模型训练可被理解为一条流水线：每个阶段解决特定问题，前一阶段的输出作为后一阶段的输入，最终产出一个具备综合能力的可用模型。这条流水线通常包含四个核心阶段：预训练（Pre-training）、持续训练（CPT，Continual Pre-Training）、指令微调（SFT，Supervised Fine-Tuning）和强化学习（RL，Reinforcement Learning）。
需要特别指出的是，这四阶段并非简单的线性堆叠。每个阶段都有其独特的收益空间、饱和点与副作用，阶段之间还存在着复杂的相互作用——例如，过度进行预训练可能损害后续微调的效果，而强化学习阶段的设计不当则可能抹去指令微调阶段习得的良好行为模式。
理解多模态大模型训练的分阶段设计，首先要回答一个根本问题：为什么不能用一个统一的训练目标一次性完成所有优化？
答案在于不同能力目标的优化信号在本质上存在冲突。预训练阶段的目标是让模型掌握语言规律、世界知识和模态对齐能力，这需要海量无标注数据上的自监督学习；指令微调阶段的目标是让模型学会遵循人类指令、完成任务对话，这需要高质量的人工标注数据；而强化学习阶段的目标则是让模型行为与人类偏好对齐，这需要基于奖励模型的反馈优化。
将这三类目标混合在一次训练中，会导致梯度信号相互干扰，模型难以在所有维度上同时收敛。分阶段训练的核心价值在于：每个阶段专注于特定的优化目标，使用专门设计的数据集和损失函数，从而在可控的成本下逐步塑造模型能力。
另一个重要原因是工程可行性。预训练阶段需要消耗大量计算资源处理百亿级token，而指令微调阶段的计算需求相对较小但数据质量要求极高。分阶段设计允许团队在不同的时间窗口内灵活调配资源，也便于在任一步骤发现问题时及时回退调整，而不必从头开始。
预训练是多模态大模型训练的第一阶段，其核心目标是通过海量无标注数据学习通用的表示能力。在这一阶段，模型主要完成三件事：理解文本语义与语法结构、建立图像视觉特征与文本语义的对齐关系、学习跨模态的推理模式。
从技术实现看，预训练阶段通常采用自监督学习范式，常见的训练目标包括：掩码语言建模（Masked Language Modeling）、图文对比学习（Contrastive Learning）、图像文本匹配（Image-Text Matching）等。多模态模型的预训练数据通常来自互联网的大规模图文对、视频字幕、OCR文档等，数据规模通常在数十亿到数百亿量级。
预训练阶段的收益曲线呈现出明显的边际递减特征。在训练初期，模型能力提升迅速，每增加一个数量级的训练数据都能带来显著的性能增益；但随着训练量增加，收益逐渐趋于饱和。这一现象在业内被称为”预训练饱和点”，是决定训练预算分配的关键参考指标。
值得注意的是，预训练阶段的”过度训练”会带来一个微妙的问题——遗忘效应（Forgetting Effect）。当模型在预训练数据上花费过多时间，其参数空间会过度适配预训练数据的分布特征，导致后续阶段适应新任务的能力下降。这类似于人类学习中的”思维定势”，需要在训练规划时予以权衡。
持续训练介于预训练和指令微调之间，是一个容易被人忽视但极为重要的阶段。它的核心目标是在不破坏预训练已有能力的前提下，让模型获取特定领域的新知识或新能力。
为什么需要持续训练？因为通用预训练数据往往存在领域覆盖不均的问题。例如，预训练数据中的医学文献比例可能不足千分之一，导致模型在医学领域的表现远低于平均水平。持续训练通过在特定领域数据上进行低学习率的增量训练，可以有效地为模型”补课”。
持续训练的设计需要特别关注两个问题：灾难性遗忘和知识融合。灾难性遗忘指的是模型在新数据上学习时，会逐渐遗忘旧知识；知识融合则关注如何将新知识无缝嵌入已有的知识体系中。工程实践中，持续训练通常采用较低的学习率、较小的batch size，并混合一定比例的原始预训练数据来缓解遗忘问题。
从收益角度看，持续训练的性价比往往高于同等计算量的预训练——它用相对少量的数据解决了模型在特定领域的短板，起到了”四两拨千斤”的效果。
指令微调是赋予模型”使用知识”能力的关键阶段。预训练和持续训练让模型理解了世界是什么，但尚未教会它如何回应用户的请求。指令微调通过大量的人工标注指令-响应对，让模型学习遵循指令、组织回答、控制输出格式等行为模式。
指令微调的数据质量直接决定模型的行为上限。一条高质量的微调样本不仅包含正确的回答，还要体现合理的推理过程、恰当的详细程度、合适的语气风格。这也是为什么指令微调数据集的建设成本远高于预训练数据——它需要人类专家的深度参与。
在技术层面，指令微调通常采用生成式语言建模损失，即让模型最大化给定指令条件下正确回答的概率。微调过程中的学习率通常低于预训练阶段，以防止对预训练知识造成过大扰动。训练轮数也需要严格控制：轮数过少则模型未能充分学会指令遵循能力，轮数过多则可能导致过拟合，模型在未见过的指令上表现退化。
指令微调阶段的一个关键观念是”能力唤醒”而非”知识灌输”。模型在预训练阶段已经学习了海量知识，指令微调所做的更多是唤醒这些知识，并教会模型在适当的场景下调用它们。这意味着微调数据不需要覆盖所有知识领域，而应该重点覆盖指令类型和交互模式的多样性。
强化学习是训练链路的最后一环，也是近年来大模型能力提升的关键驱动力。它的核心目标是通过奖励信号的引导，让模型输出更加符合人类偏好——不仅是”正确”，更是”有用、无害、诚实”。
强化学习的基本框架包含四个要素：策略模型（即待训练的大模型本身）、奖励模型（对人类偏好进行打分）、参考模型（用于约束策略更新幅度）和优化算法（如策略梯度方法）。训练过程中，策略模型生成输出，奖励模型对输出打分，优化算法根据分数调整策略模型的参数，使其逐渐倾向于生成高奖励的输出。
强化学习阶段面临的主要挑战是奖励黑客（Reward Hacking）问题——模型可能找到一种在奖励函数上得分很高但实际质量很差的输出方式。例如，奖励模型偏好更长更详细的回答，模型可能学会在回答中堆砌无关信息来提升得分。为缓解这一问题，工程实践中引入了多种策略：KL散度约束防止策略偏离参考模型太远、奖励模型集成降低单模型偏差、基于规则的奖励项保证硬性约束等。
从收益特征看，强化学习阶段能显著提升模型的可控性和交互体验，但其收益上限受限于奖励模型的质量和行为空间的探索效率。一个常见的误区是期望强化学习能弥补预训练或指令微调阶段的不足——事实证明，如果模型在前序阶段的基础能力不扎实，强化学习的效果会大打折扣。
理解四个训练阶段的内在关系，是设计高效训练方案的前提。尽管各阶段在目标、数据和算法上截然不同，但它们并非独立运作——阶段之间存在紧密的”交接”关系，也存在微妙的”对抗”关系。
交接关系体现为能力的层层递进。预训练提供了知识底座和表示能力；持续训练定向补强了特定领域的知识短板；指令微调将这些知识转化为可交互的应答能力；强化学习则在应答能力之上叠加了价值对齐和偏好优化。每一个阶段都建立在上一阶段的成果之上，前序阶段的质量上限决定了后续阶段的效果天花板。
对抗关系则表现为各阶段优化目标之间的张力。预训练追求表示覆盖的广度，指令微调追求任务执行的准确度，强化学习追求人类偏好的对齐度。当某一阶段的训练强度过大，模型可能会在另一个维度上产生退化。例如，过度的强化学习可能导致模型输出变得保守而缺乏创造性，过度的指令微调则可能损害模型的通用知识保持能力。
这种协同与制衡的关系，使得训练多模态大模型成为一门”平衡的艺术”。先进的训练方案通常不是简单地依次执行四个阶段，而是通过精细的时机控制、数据混合策略和超参调优来在多个目标之间寻求最优平衡点。例如，在指令微调阶段混合部分预训练数据可以有效防止知识遗忘，在强化学习阶段引入多样性奖励可以在对齐和创造性之间取得平衡。
图像问答、视频理解、图文联合生成等场景依赖完整的四阶段训练链路。预训练阶段提供的跨模态对齐能力是基础，指令微调阶段教会模型如何以自然语言描述视觉内容，强化学习阶段则优化了输出内容的组织逻辑和可读性。
在此类场景中，持续训练往往作用于垂直领域视觉数据，如医学影像、卫星图像、工业质检图片等，帮助模型识别预训练阶段未曾充分覆盖的特殊视觉模式。
智能客服、虚拟助手等交互密集型场景更加依赖指令微调和强化学习的质量。这些场景中，模型不仅需要理解多模态输入，还需要遵循复杂的对话规则、管理对话状态、选择合适的回复策略。
工程实践中的关键考量包括：对话数据的覆盖多样性、冲突指令的消解策略、安全边界的设定方式以及多轮对话的一致性维护。强化学习阶段在对话类场景中尤为重要，因为对话质量的评价高度主观，仅靠监督式微调难以覆盖所有偏好维度。
法律、医疗、金融等专业领域的模型部署通常需要在持续训练阶段投入较多资源。这一阶段决定了模型能否准确理解领域术语、掌握领域知识结构并遵循领域规范。垂直领域的持续训练数据需要经过严格筛选和清洗，避免引入错误信息，同时需混合领域特有的多模态数据（如医疗影像报告对、法律文书扫描件等）。
在多模态大模型训练领域，有几个概念经常被混用，需要明确区分：
预训练与迁移学习：预训练是在大规模通用数据上学习通用表示的过程，本身并不针对特定下游任务；迁移学习更广泛地指将某个任务上学到的知识应用于另一相关任务的过程。预训练可以看作迁移学习的一种特殊实现方式，但迁移学习还包括其他形式，如特征提取器复用、模型微调等。
指令微调与提示工程：两者都涉及如何引导模型生成期望输出，但层次完全不同。指令微调通过修改模型参数来改变其行为模式；提示工程则是在参数不变的情况下，通过设计输入提示来激发模型已有能力。指令微调是”治本”，提示工程是”治标”，两者在实际应用中通常互补。
强化学习与对抗训练：强化学习通过奖励信号引导模型行为优化，是单模型的自我迭代过程；对抗训练则通过引入对抗者（如判别器或对抗样本）来增强模型的鲁棒性，通常涉及多个模型的博弈。两者虽有相似的外在形式，但优化目标和数学框架完全不同。
尤其对于指令微调和持续训练阶段，数据质量的重要性远高于数据数量。一万条高质量的人工标注数据，其效果往往优于百万条自动收集的低质量数据。低质量数据不仅训练效率低下，还会向模型注入错误的行为模式，后期纠正成本极高。
每一阶段的训练轮数都需要通过验证集上的表现来动态确定。一个实用的经验法则是：在训练过程中监控验证集损失，当验证集损失开始上升时即停止训练。这个”早停”策略在指令微调和持续训练阶段尤为重要，可以有效防止过拟合和灾难性遗忘。
很多团队在训练过程中过度依赖自动评估指标（如BLEU、ROUGE等），但这些指标与人类感知之间的相关性有限。建议在关键阶段采用人工抽样评估的方式，让真实的体验者判断模型输出的质量、风格和可用性，以此作为训练调优的最终依据。
四个阶段的计算资源需求差异悬殊。预训练阶段通常消耗全部预算的80%以上，持续训练约10%，指令微调和强化学习合计约10%。这一分配比例并非绝对，需要根据模型规模、数据量和场景需求动态调整。从收益角度看，在预算有限的情况下，优先保证预训练的数据量基础，然后依次优化后续阶段的质量。
训练过程中，每个阶段结束时都应保存完整的模型检查点。这不仅便于回溯和对比，也为后续阶段训练失败时提供了合理的恢复起点。建议建立标准化的检查点评估流程，在每个阶段完成后立即进行多维度的能力基准测试，记录该阶段的收益与副作用。
多模态大模型的分阶段训练体系，本质上是对”模型能力如何形成”这一问题的工程化回答。预训练提供了知识和表示的土壤，持续训练为特定领域播撒了专用知识的种子，指令微调教会模型如何使用这些知识回应人类需求，强化学习则让模型的行为更加贴合人类的价值判断。
理解这条训练链路的深层逻辑，比记住任何具体参数或技巧都更为重要。它帮助我们建立起一个重要的认知框架：大模型的能力不是单一训练过程中”涌现”出来的，而是在多阶段的精心设计、数据配比、超参调优和评估反馈中逐步搭建起来的。每一个阶段的投入产出比、饱和点、副作用及其与相邻阶段的交互方式，共同决定了最终交付的模型质量。
从更宏观的视角看，多模态大模型的训练范式仍在快速演化。近期研究表明，不同阶段之间的界限正在变得模糊——混合训练策略、动态数据切换、端到端的统一优化等新方法不断涌现。然而，无论训练方案如何演进，”在哪些维度上优化、以什么顺序优化、如何平衡相互冲突的目标”这些核心问题始终存在，而理解四阶段训练链路为解决这些问题提供了最基本、最可靠的思维框架。