大模型预训练与后训练:能力上限与能力释放

作者:渣渣辉2026.11.16 10:25浏览量:0

简介:从网上下载一个刚"出厂"的大模型文件,双击打开,它什么都不会——不会写代码、不会读图、不会聊天,因为里面只是一堆在某个小区间里随机取值的浮点数。要让这些随机参数变成能读合同、能解报错的智能体,模型必须经历预训练与后训练两大核心阶段。本文系统解析这两个概念的定义、分工与工作原理,讲清预训练如何决定模型的能力上限、后训练如何把上限真正释放出来,以及二者背后那条从预训练一路延伸到端侧部署的完整加工流水线。

一、它是什么:预训练与后训练的定义

预训练(Pre-training)与后训练(Post-training),是大语言模型从”一堆随机数字”走向”可对话助手”的两个核心加工阶段。

所谓预训练,是指模型在海量无标注文本上做一件看似简单的事——预测下一个词。输入一段文本的前 n 个 token,模型输出对第 n+1 个 token 的预测,预测错了就把误差反向传播回去,微调内部成千上万乃至数十亿个参数。这个过程不需要任何人工标注,把公开文本喂进去即可。经过数周甚至数月的迭代,语言规律、世界知识、基础推理模式,都被”压缩”进了模型的权重之中。

所谓后训练,则是在预训练这个”通才底座”之上,通过监督微调(Supervised Fine-Tuning,简称 SFT)与强化学习(Reinforcement Learning)等手段,把模型笼统的通用能力,对齐到人类真正想要的任务形态和行为规范上——让它学会按指令作答、按指定格式输出、在必要时拒绝不当请求。

一句话概括二者的分工:预训练决定模型的能力上限,后训练决定这个上限能不能被真正用出来。

二、为什么需要两个阶段:从”填数字游戏”说起

要理解这两个阶段的必要性,先要理解今天大模型的一个基本事实:主流模型的架构其实高度趋同。无论是某开源模型还是某闭源模型,底层几乎都是 Transformer。既然骨架相似,模型之间的差距从何而来?答案是参数的数量与质量。

所谓训练,本质上是一场规模空前的”填数字游戏”:你拿到一堆随机初始化的数字,用数据把它们一个个”算”成合适的值。填得恰到好处,模型就好用;填得不好,模型就不行。至于这些数字给不给你看——只让你用不给看是闭源,能下载能查看是开源。

但”填数字”不是一次成型的,而是一条流水线。这里有一条必须记住的铁律:训练时的目标是什么,模型用的时候就只能做什么,不会多干也不会少干。预训练的目标只是”预测下一个词”,所以一个纯预训练模型天生擅长续写、补全,却未必擅长回答指令。要让它从”会说话”变成”会办事”,就需要后训练来重塑行为。这正是两个阶段缺一不可的根源。

三、核心组成:一条五步加工流水线

一个模型从随机参数到可用产品,通常要经历五个步骤。前三个塑造模型的”心智”,后两个改造它的”肉体”。

  1. 预训练(Pre-training):上文所述的下一词预测学习,决定能力上限,是整个流水线的地基。
  2. 监督微调(SFT):用人工编写或筛选的”指令—回答”样本,教模型理解”该以对话形式回应”。
  3. 强化学习(RL):借助人类偏好或可自动判定的奖励信号,进一步优化输出质量,让回答更有用、更符合规范。
  4. 量化与蒸馏:在尽量保留能力的前提下,压缩参数精度或体积,降低算力与存储开销。
  5. 端侧部署:把处理后的模型落到具体运行环境中,使其能在资源受限的条件下稳定服务。

前两步和后两步之间,构成了”能力塑造”与”工程改造”的清晰分界。

四、工作原理:两种截然不同的学习方式

预训练与后训练的根本差异,在于学习信号的来源。

预训练是”自监督”的。 它不需要人类告诉模型什么是对的,而是从文本自身构造监督信号——把一句话遮住最后一个词,让模型去猜,猜错就调整。互联网文本量足够大,这种”自我出题、自我批改”的方式能覆盖海量知识,因此预训练是能力的主要来源。它教会模型的是”世界大概是什么样”。

后训练是”被指导”的。 SFT 阶段用大量高质量的示范样本,告诉模型”面对这种输入,期望的输出长这样”,这是一种模仿学习;强化学习阶段则更进一步,用奖励信号告诉模型”这样的回答更好”,让它在自己生成的众多候选里,逐渐学会选择更符合人类偏好的那一个。它教会模型的是”面对用户,应该怎么表现”。

五、二者区别与联系:一条不可逾越的分界线

理解这两个概念,关键要抓住那条分界线:

  • 来源不同:预训练能力主要来自海量无标注数据的自监督学习;后训练能力来自人工示范与偏好信号。
  • 目标不同:预训练追求”能力的广度与深度”,后训练追求”行为的对齐与可用性”。
  • 约束关系不同:后训练再强,也无法凭空创造预训练中根本不存在的能力。如果底座模型没学过某种语言、不懂某类逻辑,后训练很难凭空”变”出这种能力,顶多是把它更好地激发和引导出来。

因此业界存在两种声音:一种认为后训练才是智能的真正来源,另一种认为预训练仍是唯一护城河。更贴近事实的看法是——预训练提供原材料,后训练负责精加工,二者是上下游关系而非替代关系。判断一项能力的边界,要同时看这两个阶段。

六、适用场景与选型关注点

  • 关注能力上限时:评估预训练阶段的数据规模、质量与覆盖度,这是决定模型”能走多远”的天花板。
  • 关注任务可用性时:评估后训练是否充分,尤其是 SFT 数据的多样性和强化学习对齐的效果,这决定模型”能不能落地”。
  • 成本权衡时:后训练通常在更小的数据、更短的周期、更低的算力上完成,是性价比更高的能力释放手段;但一旦触碰预训练的能力盲区,投入后训练往往收效有限。

在云平台的实际落地中,完整的模型加工往往还会配合对象存储、消息队列、容器平台、日志服务、监控告警、数据库等通用基础设施能力,以保证训练数据的高效读写、流水线各环节的稳定调度与全过程的可观测性。

七、总结

预训练与后训练,是大模型”从随机参数到可用智能体”的两大核心阶段。预训练通过海量文本上的下一词预测,决定模型的能力上限;后训练通过监督微调与强化学习,把这个上限对齐、引导、释放为真正可用的行为。二者是”提供原材料”与”负责精加工”的上下游关系,构成了一条从预训练、SFT、强化学习到量化蒸馏与端侧部署的完整流水线。理解这条分界线,也就理解了今天所有大模型的成长逻辑:上限由预训练决定,价值由后训练释放。