大模型能力跃迁:预训练与RLVR后训练的Scaling原理

作者:渣渣辉2026.11.18 11:35浏览量:0

简介:本文系统解析大模型能力提升的两条核心路线:基于"预测下一个词"的预训练Scaling,与基于结果监督强化学习(RLVR)的后训练Scaling。读者将理解二者为何互补、可验证奖励如何设计、数据与状态如何流转,以及在复杂智能体训练中的技术边界与实践要点。

一、原理概述

本文讨论的技术原理,是大模型能力”跃迁”背后的两条 Scaling(规模化)路线:

  • 路线一:基于”预测下一个词”的预训练。它通过海量语料的自监督学习,让模型建立语言建模与基础世界知识能力。
  • 路线二:基于结果监督的强化学习(RLVR,Reinforcement Learning from Verifiable Results/Reward)。它通过可验证的结果信号,在预训练底座之上进一步激发推理、规划、代码、工具调用等能力。

二者不是替代关系,而是底座 + 增强的分层协作关系。理解本文,需要回答三个核心问题:预训练为什么能建立强基础能力?RLVR 为什么能构成”另一条”Scaling 路线?两者如何在训练流程中衔接,并支撑复杂智能体环境?

二、背景问题:为什么单一预训练不够

预训练 Scaling 的历史经验是:参数、数据、算力同步扩大,损失持续下降,能力持续提升。但工程实践中会出现两类问题:

  1. 边际收益递减:继续堆叠语料与参数,语言流畅度和知识覆盖提升明显,但复杂推理、多步规划等能力的提升却不成比例。
  2. 目标错位:预训练的唯一目标是”最大化下一个词的正确预测概率”。这是一个语言层面的拟合目标,并不能直接等价于”解得对、想得对、做得对”。

这就带来一个关键缺口:模型可能”说得很像对的”,却”做得不对”。要跨越这道缺口,就需要后训练阶段引入结果导向的监督信号,这正是 RLVR 的用武之地。

三、核心概念

  • 预训练(Pre-training):以海量文本为输入,用自监督方式训练 next-token prediction(下一词预测),无需人工标注。
  • 监督微调(SFT):用少量高质量”指令—回答”样本,让模型学会对话与任务格式。
  • 后训练(Post-training):在预训练底座上进行的对齐与增强阶段,包含 SFT 与强化学习。
  • RLVR:一种强化学习方法,其奖励不来自主观打分,而来自可自动验证的客观结果。
  • 可验证奖励(Verifiable Reward):答案能被程序化判定的信号,例如数学题答案是否与标准答案一致、代码是否通过单元测试、输出格式是否匹配规则。

四、系统组成:三层训练流水线

可将训练体系拆解为三个协作层次:

层次 输入 处理逻辑 输出/状态变化
预训练层 海量无标注语料 最大化下一词预测概率 具备语言与世界知识的底座模型
监督微调层 高质量指令样本 模仿学习,对齐任务格式 可交互、遵循指令的模型
强化学习层(RLVR) 可验证任务 + 采样回答 用结果奖励优化策略 推理与任务完成能力增强的模型

五、工作流程:从输入到输出的完整链路

  1. 第一步(预训练):将文本切成 token 序列,模型对序列中每个位置预测”下一个 token”,与真实 token 计算交叉熵损失并反向传播。经过海量迭代,模型内部压缩出语言规律与事实知识。
  2. 第二步(SFT):以人工整理的”问题—理想回答”对模型进行微调,使其学会在对话中组织回答、遵循指令。
  3. 第三步(RLVR 采样):给定一个带标准答案的任务(如数学题),模型对同一条提示采样多条候选回答。
  4. 第四步(奖励计算):用验证器逐一判定候选答案——数学题比对数值、代码题跑测试、格式题查规则——得到 0/1 或分级奖励。
  5. 第五步(策略更新):按奖励高低调整策略,提高”能被验证为正确”的回答的概率,降低错误回答的概率。如此循环,模型逐步学会”自己探索—被结果检验—修正策略”。

六、关键机制:为什么这两条路线能成立

机制一:next-token prediction 为何能建立强底座。
语言中下一个词的概率分布,隐含了语法、事实、常识乃至简单推理的约束。要在海量语料上持续降低预测损失,模型被迫学习长程依赖与内部表征。因此这一自监督目标虽简单,却能在无需标注的前提下规模化,成为能力的”底座”。

机制二:RLVR 为何是”另一条”Scaling 路线。
RLVR 的奖励是可验证的,这意味着信号客观、无需训练单独的奖励模型、也不易被”奖励欺骗”。它绕过了”预测下一个词”的监督目标,转而直接优化”任务是否完成”。因此其规模化方向不是”堆更多语料拟合语言”,而是”用更多可验证任务与更充分的探索—检验循环提升策略质量”,构成了区别于预训练的独立增长维度。

机制三:数据与奖励的闭环流转。
可验证奖励的可用性,决定了 RLVR 能覆盖的任务范围。数学、代码、形式化逻辑天然可验证;而开放式写作、主观审美类任务难以自动判定,需要额外的偏好建模或人工评估,这也是它的适用边界。

示意性伪代码(通用逻辑,非任何具体实现):

  1. # 预训练:语言建模
  2. for batch in corpus:
  3. loss = cross_entropy(model(tokens[:-1]), tokens[1:])
  4. update(model, loss)
  5. # RLVR 后训练:结果监督强化学习
  6. for task in verifiable_tasks:
  7. samples = model.sample(prompt=task.input, n=K)
  8. rewards = [verifier(sample, task.answer) for sample in samples]
  9. model.update_policy(task.input, samples, rewards) # 奖励高者提升概率

七、技术优势与限制

优势

  • 预训练提供可规模化的通用底座,RLVR 提供可验证的能力增强,两者互补。
  • RLVR 奖励客观,减少对主观标注和奖励模型的依赖,训练信号更稳定。
  • 结果导向使能力增长与”任务真正完成”对齐,利于复杂智能体环境的训练。

限制

  • 依赖可验证任务:缺乏自动验证器的领域,RLVR 难以直接套用。
  • 采样与验证带来额外计算开销,训练成本上升。
  • 若验证器设计有漏洞,可能出现”钻空子”式的表面达标。
  • 底座能力不足时,后训练无法凭空创造底座里缺失的知识。

八、常见误区

  • 误区一:认为 RLVR 会取代预训练。实际上 RLVR 只能在预训练底座之上做增强,二者层级不同。
  • 误区二:把”损失下降”等同于”能力提升”。预训练损失是语言拟合指标,不等价于推理正确性。
  • 误区三:认为任何任务都能用 RLVR。奖励是否可自动验证,是能否奏效的前提。
  • 误区四:忽视推理阶段的计算。模型在给出答案前的多步思考(试错、验算)同样影响最终正确率,这与后训练策略紧密相关。

九、总结

大模型能力的跃迁,本质是两条 Scaling 路线的叠加:预训练以 next-token prediction 在规模上建立通用底座,后训练以 RLVR 用可验证结果把策略推向”任务真正完成”。理解其原理的关键在于三点:预训练目标是语言拟合、RLVR 目标是结果正确、二者在采样—验证—更新的闭环中协作。掌握”底座—增强”的分层逻辑、可验证奖励的适用边界,以及推理阶段计算与后训练的耦合关系,就能在实践中判断何时该扩底座、何时该加后训练,从而在成本与能力之间做出合理取舍。