简介:从网上下载一个刚"出厂"的大模型文件,双击打开,它什么都不会——不会写代码、不会读图、不会聊天,因为里面只是一堆在某个小区间里随机取值的浮点数。要让这些随机参数变成能读合同、能解报错的智能体,模型必须经历预训练与后训练两大核心阶段。本文系统解析这两个概念的定义、分工与工作原理,讲清预训练如何决定模型的能力上限、后训练如何把上限真正释放出来,以及二者背后那条从预训练一路延伸到端侧部署的完整加工流水线。
预训练(Pre-training)与后训练(Post-training),是大语言模型从”一堆随机数字”走向”可对话助手”的两个核心加工阶段。
所谓预训练,是指模型在海量无标注文本上做一件看似简单的事——预测下一个词。输入一段文本的前 n 个 token,模型输出对第 n+1 个 token 的预测,预测错了就把误差反向传播回去,微调内部成千上万乃至数十亿个参数。这个过程不需要任何人工标注,把公开文本喂进去即可。经过数周甚至数月的迭代,语言规律、世界知识、基础推理模式,都被”压缩”进了模型的权重之中。
所谓后训练,则是在预训练这个”通才底座”之上,通过监督微调(Supervised Fine-Tuning,简称 SFT)与强化学习(Reinforcement Learning)等手段,把模型笼统的通用能力,对齐到人类真正想要的任务形态和行为规范上——让它学会按指令作答、按指定格式输出、在必要时拒绝不当请求。
一句话概括二者的分工:预训练决定模型的能力上限,后训练决定这个上限能不能被真正用出来。
要理解这两个阶段的必要性,先要理解今天大模型的一个基本事实:主流模型的架构其实高度趋同。无论是某开源模型还是某闭源模型,底层几乎都是 Transformer。既然骨架相似,模型之间的差距从何而来?答案是参数的数量与质量。
所谓训练,本质上是一场规模空前的”填数字游戏”:你拿到一堆随机初始化的数字,用数据把它们一个个”算”成合适的值。填得恰到好处,模型就好用;填得不好,模型就不行。至于这些数字给不给你看——只让你用不给看是闭源,能下载能查看是开源。
但”填数字”不是一次成型的,而是一条流水线。这里有一条必须记住的铁律:训练时的目标是什么,模型用的时候就只能做什么,不会多干也不会少干。预训练的目标只是”预测下一个词”,所以一个纯预训练模型天生擅长续写、补全,却未必擅长回答指令。要让它从”会说话”变成”会办事”,就需要后训练来重塑行为。这正是两个阶段缺一不可的根源。
一个模型从随机参数到可用产品,通常要经历五个步骤。前三个塑造模型的”心智”,后两个改造它的”肉体”。
前两步和后两步之间,构成了”能力塑造”与”工程改造”的清晰分界。
预训练与后训练的根本差异,在于学习信号的来源。
预训练是”自监督”的。 它不需要人类告诉模型什么是对的,而是从文本自身构造监督信号——把一句话遮住最后一个词,让模型去猜,猜错就调整。互联网文本量足够大,这种”自我出题、自我批改”的方式能覆盖海量知识,因此预训练是能力的主要来源。它教会模型的是”世界大概是什么样”。
后训练是”被指导”的。 SFT 阶段用大量高质量的示范样本,告诉模型”面对这种输入,期望的输出长这样”,这是一种模仿学习;强化学习阶段则更进一步,用奖励信号告诉模型”这样的回答更好”,让它在自己生成的众多候选里,逐渐学会选择更符合人类偏好的那一个。它教会模型的是”面对用户,应该怎么表现”。
理解这两个概念,关键要抓住那条分界线:
因此业界存在两种声音:一种认为后训练才是智能的真正来源,另一种认为预训练仍是唯一护城河。更贴近事实的看法是——预训练提供原材料,后训练负责精加工,二者是上下游关系而非替代关系。判断一项能力的边界,要同时看这两个阶段。
在云平台的实际落地中,完整的模型加工往往还会配合对象存储、消息队列、容器平台、日志服务、监控告警、数据库等通用基础设施能力,以保证训练数据的高效读写、流水线各环节的稳定调度与全过程的可观测性。
预训练与后训练,是大模型”从随机参数到可用智能体”的两大核心阶段。预训练通过海量文本上的下一词预测,决定模型的能力上限;后训练通过监督微调与强化学习,把这个上限对齐、引导、释放为真正可用的行为。二者是”提供原材料”与”负责精加工”的上下游关系,构成了一条从预训练、SFT、强化学习到量化蒸馏与端侧部署的完整流水线。理解这条分界线,也就理解了今天所有大模型的成长逻辑:上限由预训练决定,价值由后训练释放。