简介:本文系统解析大模型能力提升的两条核心路线:基于"预测下一个词"的预训练Scaling,与基于结果监督强化学习(RLVR)的后训练Scaling。读者将理解二者为何互补、可验证奖励如何设计、数据与状态如何流转,以及在复杂智能体训练中的技术边界与实践要点。
本文讨论的技术原理,是大模型能力”跃迁”背后的两条 Scaling(规模化)路线:
二者不是替代关系,而是底座 + 增强的分层协作关系。理解本文,需要回答三个核心问题:预训练为什么能建立强基础能力?RLVR 为什么能构成”另一条”Scaling 路线?两者如何在训练流程中衔接,并支撑复杂智能体环境?
预训练 Scaling 的历史经验是:参数、数据、算力同步扩大,损失持续下降,能力持续提升。但工程实践中会出现两类问题:
这就带来一个关键缺口:模型可能”说得很像对的”,却”做得不对”。要跨越这道缺口,就需要后训练阶段引入结果导向的监督信号,这正是 RLVR 的用武之地。
可将训练体系拆解为三个协作层次:
| 层次 | 输入 | 处理逻辑 | 输出/状态变化 |
|---|---|---|---|
| 预训练层 | 海量无标注语料 | 最大化下一词预测概率 | 具备语言与世界知识的底座模型 |
| 监督微调层 | 高质量指令样本 | 模仿学习,对齐任务格式 | 可交互、遵循指令的模型 |
| 强化学习层(RLVR) | 可验证任务 + 采样回答 | 用结果奖励优化策略 | 推理与任务完成能力增强的模型 |
机制一:next-token prediction 为何能建立强底座。
语言中下一个词的概率分布,隐含了语法、事实、常识乃至简单推理的约束。要在海量语料上持续降低预测损失,模型被迫学习长程依赖与内部表征。因此这一自监督目标虽简单,却能在无需标注的前提下规模化,成为能力的”底座”。
机制二:RLVR 为何是”另一条”Scaling 路线。
RLVR 的奖励是可验证的,这意味着信号客观、无需训练单独的奖励模型、也不易被”奖励欺骗”。它绕过了”预测下一个词”的监督目标,转而直接优化”任务是否完成”。因此其规模化方向不是”堆更多语料拟合语言”,而是”用更多可验证任务与更充分的探索—检验循环提升策略质量”,构成了区别于预训练的独立增长维度。
机制三:数据与奖励的闭环流转。
可验证奖励的可用性,决定了 RLVR 能覆盖的任务范围。数学、代码、形式化逻辑天然可验证;而开放式写作、主观审美类任务难以自动判定,需要额外的偏好建模或人工评估,这也是它的适用边界。
示意性伪代码(通用逻辑,非任何具体实现):
# 预训练:语言建模for batch in corpus:loss = cross_entropy(model(tokens[:-1]), tokens[1:])update(model, loss)# RLVR 后训练:结果监督强化学习for task in verifiable_tasks:samples = model.sample(prompt=task.input, n=K)rewards = [verifier(sample, task.answer) for sample in samples]model.update_policy(task.input, samples, rewards) # 奖励高者提升概率
优势
限制
大模型能力的跃迁,本质是两条 Scaling 路线的叠加:预训练以 next-token prediction 在规模上建立通用底座,后训练以 RLVR 用可验证结果把策略推向”任务真正完成”。理解其原理的关键在于三点:预训练目标是语言拟合、RLVR 目标是结果正确、二者在采样—验证—更新的闭环中协作。掌握”底座—增强”的分层逻辑、可验证奖励的适用边界,以及推理阶段计算与后训练的耦合关系,就能在实践中判断何时该扩底座、何时该加后训练,从而在成本与能力之间做出合理取舍。