简介:本文系统拆解大模型变强的两条核心技术路线:基于“预测下一个词”的预训练Scaling机制,以及基于结果监督的强化学习(RLVR)。文章从原理定义、系统组成、训练流程到关键机制逐层展开,帮助开发者理解模型能力为何随规模增长而提升、RLVR如何突破监督训练的局限、以及这两条路线在垂域落地中的边界与误区。
近年来,前沿大模型的发布节奏明显加快,多模态、智能体、世界模型等方向的能力密集涌现。行业共识正在形成:AI竞争已从模型参数与榜单的比拼,转向数据、算力、推理框架与生态体系的系统性竞争。在这种背景下,理解“大模型的能力到底从何而来、如何提升”,比追逐单个模型的发布更有长期价值。
本文要解释的核心原理是:大语言模型的能力提升主要依赖两条互补的技术路线——
前者解决“基础能力从哪里来”,后者解决“能力如何精准提升到专家水平”。理解这两条路线的底层机制,是理解当前大模型技术演进逻辑的关键。
传统的预训练遵循一条简单朴素的Scaling逻辑:数据规模、参数规模、计算量按比例同步放大,模型性能按可预期的规律提升。这条路线在过去数年验证了“大力出奇迹”,但它存在三个结构性限制:
RLVR的核心思想是:不再依赖人工标注“标准答案的每一步”,而是依赖“可自动验证的最终结果”作为奖励信号。例如一道数学题答案是否正确可以程序化判定,一段代码能否通过单元测试可以执行验证。这使得模型可以在垂直领域中自主探索推理路径,用结果反馈迭代策略,形成超越“预测下一个词”的第二条Scaling路线。
在展开流程前,需要先厘清几个基础概念之间的因果关系:
| 概念 | 本质 | 在系统中的作用 |
|---|---|---|
| 预训练 | 自监督下一词预测 | 建立语言理解与知识基础 |
| 后训练(SFT) | 监督微调 | 让模型学会指令遵循与表达格式 |
| RLVR | 结果监督的强化学习 | 针对可验证任务提升推理正确率 |
| Scaling Law | 性能与规模的经验规律 | 指导算力与数据的投入决策 |
| 智能体环境 | 多步交互任务场景 | RLVR训练的复杂应用载体 |
关键区别在于:SFT是“模仿每一步的正确做法”,RLVR是“只看结果对不对,过程让模型自己探索”。后者的监督信号获取成本远低于前者,且不限制模型找到人类未想到的解法。
预训练系统可抽象为四层:
RLVR系统相比预训练增加了三个关键模块:
以一道数学推理题为例,RLVR的一次迭代包含以下步骤:
第一步,问题注入。 从训练集中取出带有可验证答案的问题,输入当前策略模型。
第二步,多路采样。 模型以较高温度生成多条完整推理链,每条链从不同角度尝试解题。这一步的目的是扩大探索空间,避免模型过早收敛到单一解法。
第三步,结果验证。 验证器提取每条链的最终答案,与标准答案比对,正确记为正奖励,错误记为零或负奖励。整个过程全自动、可复现,无需人工介入。
第四步,策略更新。 优化器根据各组奖励,提高高奖励推理链的生成概率,降低低奖励链的概率,并施加KL惩罚限制参数漂移幅度。
第五步,循环迭代。 随着训练推进,模型对“哪些推理路径更容易得到正确结果”形成稳定的策略偏好,垂域推理准确率逐步逼近甚至达到专家水平。
用伪代码抽象:
for iteration in range(N):problems = sample_batch(train_set)rollouts = policy_model.generate(problems, k=多条候选)rewards = [verifier.check(r, ground_truth) for r in rollouts]loss = policy_gradient(rollouts, rewards) + lambda * kl_penaltypolicy_model.update(loss)
结果监督有效的根本原因在于信用分配可以通过探索统计完成:不需要标注每一步,只需要大量重复试验,正确的中间步骤会因“它出现在成功链路中的频率更高”而被系统性强化。这类似 AlphaGo 式的自我博弈逻辑,只是应用在了语言推理域。
RLVR只能应用于“判分器可靠”的领域。数学、代码、格式化任务天然适合;而开放式写作、主观判断类任务缺乏客观验证手段,奖励信号容易被“钻空子”(reward hacking),即模型学会输出表面满足验证器但实际低质量的结果。因此验证器设计需要防歧义、防作弊。
强化学习容易导致模型“遗忘”通用语言能力或出现表达退化。KL约束机制在每一步更新中惩罚与初始策略偏离过大的行为,本质是在“提升垂域正确率”与“保持通用能力”之间做受控权衡。约束系数过大则学习缓慢,过小则能力坍缩,需要精细调参。
在复杂智能体场景中,任务从“单轮推理”变为“多步决策+工具调用+环境反馈”。RLVR的思路可以扩展为:以任务最终完成状态作为奖励,训练模型在长链条决策中的规划能力。这要求环境提供稳定的可重复交互接口,且能高效执行大规模并行rollout,对基础设施的吞吐与隔离能力提出较高要求。
优势方面:
边界与限制:
大模型的能力跃迁本质上是两条Scaling路线的接力:预训练通过“预测下一个词”在海量数据上建立通用基础能力,决定了模型的上限;RLVR通过结果监督的强化学习,在可验证的垂直领域中持续激发与强化推理能力,决定了模型在具体任务上能达到的高度。前者的关键在于数据质量与大规模分布式训练的稳定性,后者的关键在于可验证环境设计与训练稳定性控制。理解“基础能力靠预训练、垂域突破靠结果监督强化”这一分工逻辑,就能理解当前AI产业从单点模型竞争走向数据、算力、生态体系竞争的深层原因,也能为在实际业务中规划模型训练与落地路径提供清晰的原理框架。