简介：本文系统拆解大模型训练的完整生命周期，对比预训练与对齐阶段在目标、数据、算力与风险上的核心差异，并分析数据处理、Tokenization、监督微调、强化学习对齐与部署推理之间的衔接关系。读者可据此理解各阶段的使用边界、常见难点与选型依据，为训练方案设计与迁移决策提供参考。
大模型从原始语料到一个可用的推理服务，并不是一次训练完成的，而是一条包含数据获取、数据处理、Tokenization、预训练、监督微调、强化学习对齐、评估、部署推理以及持续迭代的完整链路。很多团队在评估训练方案时，容易把“训练”当成一个笼统的动作，结果在资源规划、数据准备和风险控制上出现偏差。
本文对比的核心对象是预训练阶段与对齐阶段（包含监督微调与强化学习对齐）。这两类阶段经常被混为一谈，但它们解决的问题、所需的数据形态、算力结构和失败代价完全不同。理解二者的区别，是判断“该自建还是调用现成能力”“该投入多少算力”“该重点治理哪类数据”的前提。
预训练（Pre-training）：在大规模通用语料上，通过自监督学习目标让模型学习语言规律、世界知识和基础推理能力。它的产物是一个“基座模型”，具备补全和生成能力，但不一定听得懂指令，也不保证输出符合人类偏好。
对齐（Alignment）：在基座模型之上，通过监督微调（SFT）和强化学习对齐（如 RLHF/DPO 这类偏好优化方法），让模型的输出更符合指令意图、更安全、更有用。它的产物是“可用模型”，可以直接面向业务场景提供推理服务。
两者的关系是串行的：预训练决定能力上限，对齐决定能力能否被稳定调用。缺少预训练，对齐没有基础；缺少对齐，预训练成果难以直接交付。
尽管定位不同，两类阶段在工程逻辑上有明显共性：
这些共性意味着，训练平台化的能力（数据管道、实验管理、监控告警）对两个阶段都适用，可以复用。
预训练使用自监督目标，通常是预测下一个 token，损失函数与语料分布强相关；对齐阶段使用指令—回答配对数据做监督学习，或使用偏好数据做相对优化，目标从“拟合语料”转为“拟合人类偏好”。这决定了对齐阶段更依赖标注体系设计，而预训练更依赖语料覆盖面。
预训练数据以万亿 token 级别的通用文本为主，强调多样性与去重；对齐数据量级小得多，但每条样本的构造成本高，需要指令设计、答案撰写、偏好排序。换句话说，预训练是“广度优先”，对齐是“精度优先”。
预训练是算力密集型，主要成本在 GPU 时长与集群利用率，对并行策略、通信优化、断点续训要求极高；对齐阶段算力需求相对低，但人力与标注成本占比上升，且需要多轮迭代评估。两者在成本曲线上呈现“重资源”与“重运营”的差别。
预训练失败往往表现为能力不足或训练不稳定，代价高、周期长，回滚成本大；对齐失败更多表现为指令遵循差、拒答不当、风格偏移或安全边界不清，可通过调整数据配比和小步迭代快速修正。因此对齐阶段更适合高频实验，预训练阶段更需要前置评审。
预训练评估偏客观基准与困惑度，难以完全反映业务价值；对齐评估高度依赖人工评分、对抗测试与场景化评测集。二者不能共用一套评估结论，否则容易误判模型可用性。
| 维度 | 预训练阶段 | 对齐阶段（SFT/偏好优化） |
|---|---|---|
| 核心目标 | 学习通用语言与知识 | 让输出符合指令与偏好 |
| 数据形态 | 大规模无标注语料 | 指令—回答对、偏好数据 |
| 数据规模 | 极大 | 相对小但构造成本高 |
| 算力特征 | 资源密集、集群调度关键 | 资源需求较低、迭代频繁 |
| 主要成本 | 算力与基础设施 | 标注、人力与评估 |
| 失败代价 | 高，回滚成本大 | 较低，可快速调整 |
| 评估方式 | 客观基准为主 | 人工与场景化评测为主 |
| 迭代节奏 | 低频、长周期 | 高频、小步快跑 |
选型时应先回答三个问题：现有基座模型是否已覆盖目标能力？数据是否足以支撑该阶段的训练？团队是否具备对应阶段的运维与评估能力？如果基座能力足够，优先做对齐；如果领域知识缺口明显且数据充足，再评估继续预训练。
迁移与衔接注意事项包括：对齐数据要与预训练语料分布保持一致性，避免风格突变；版本升级时需重新评估对齐效果，防止基座更新导致偏好偏移；部署推理阶段要保留评估基线，便于回归比对；持续迭代应建立数据飞轮，把线上反馈回流到对齐数据中，而非盲目扩大预训练规模。
预训练与对齐不是替代关系，而是能力上限与可用性的分工。预训练决定模型“会不会”，对齐决定模型“好不好用”。判断训练方案时，应围绕数据形态、算力结构、失败代价和评估方式四个维度展开，而不是简单比较训练时长或参数规模。清晰的阶段划分，才能让资源投入与业务目标真正对齐。