简介：本文从通用技术原理出发，系统拆解大型推理模型从预训练优化、后训练数据构建到推理阶段长程工具调用的完整链路。重点解释模型为什么能实现长步骤任务规划、如何通过真实环境交互数据提升智能体能力，以及测试时扩展背后的计算机制、适用边界与常见误区，帮助开发者、架构师和技术负责人理解这类模型能力的底层成因，而非仅停留在指标与演示层面。
本文要解释的核心问题不是“某个模型考了多少分”，而是：一个具备长程推理与工具调用能力的大型模型，其能力是如何通过预训练优化、后训练数据构建和推理阶段计算扩展逐步形成的。
更具体地说，本文围绕以下三个机制展开：
这三件事虽然出现在同一个模型家族的技术报告中，但它们反映的是当前大模型能力演进中的三个通用技术方向：训练效率优化、智能体行为对齐、推理计算分配。理解这些机制，比记住某个具体模型的分数更有长期价值。
过去一段时间，大模型的能力提升主要依赖两件事：更大的参数量和更多的训练令牌。但随着模型规模扩大，以下问题逐渐突出：
这些问题的共同点是：它们不能只靠“堆参数”解决，而要从训练优化、数据构造和推理策略上寻找突破。
以工具调用为例。一个模型要在真实业务中完成“查询数据—分析结果—生成报告”这类任务，需要具备：
这些能力很难通过静态的“问题—答案”对训练出来，因为静态数据缺少中间过程。真正有效的方式是让模型在模拟或真实环境中运行，产生完整的执行轨迹，再从这些轨迹中筛选高质量样本用于训练。这就是后文要展开的智能体数据构建机制。
在深入具体机制前，先明确几个基础概念。
优化器是训练神经网络时用于更新参数的算法。常见的优化器包括带动量的随机梯度下降、自适应学习率方法等。所谓“令牌效率”，可以理解为：在消耗相同数量的训练令牌时，模型能获得多少能力提升。
一个高令牌效率的优化器，意味着用更少的训练数据量就能达到相近的模型质量。这在大模型训练中尤其重要，因为每多训练一个令牌都对应着实实在在的计算开销。
智能体轨迹指的是模型在完成一个任务过程中产生的完整行为序列，包括：
一条轨迹就像是模型在环境中“走过的一条路”。高质量的轨迹数据，是训练工具调用能力的关键原料。
测试时扩展指的是在推理阶段，通过增加计算量来提升模型表现。它不改变模型参数，而是改变推理策略。常见形式包括：
测试时扩展的本质是：用推理时间换取答案质量。
从技术报告和通用实践来看，构建一个具备长程推理与工具调用能力的模型，通常涉及以下关键模块：
负责在海量通用语料上学习语言表示和世界知识。这一阶段的核心任务之一是高效地利用计算资源，使模型在有限训练令牌内获得尽可能强的基座能力。
负责提供可执行的任务环境。这个环境可以是模拟的数据库查询环境、代码执行环境、网页操作环境，也可以是受控的真实业务系统。模型在该环境中执行动作，并获得真实反馈。
负责记录模型在环境中的完整行为序列，并根据一定标准筛选出高质量轨迹。筛选标准通常包括：
负责对模型输出进行多维度打分。传统评分可能只看最终答案是否正确，而智能体任务的评估需要更细粒度，例如：
这种多维度评分通常采用规则与模型判断相结合的方式，也就是所谓的“基于评分标准的评估”。
负责利用筛选后的轨迹和奖励信号，更新模型策略，使模型在后续任务中更倾向于选择有效动作、避免无效动作。
下面按照时间顺序，描述一个具备工具调用能力的推理模型从训练到推理的完整流程。
模型首先在海量文本数据上进行预训练，学习语言模式和通用知识。这一阶段的核心工程挑战是训练效率。
具体来说，优化器需要在大规模分布式训练中保持稳定，同时尽可能提高每一步参数更新的信息量。如果优化器更新方向不够准确，模型可能需要更多训练令牌才能达到同等效果；如果优化器过于激进，又可能导致训练不稳定。
因此，这一阶段的机制重点在于：如何在保证训练稳定的前提下，提高每个训练令牌的利用效率。这正是优化器设计的核心权衡。
预训练完成后，模型已经具备基础语言能力和一定程度的推理能力，但还不擅长在真实环境中执行多步任务。后训练阶段的目标是让模型学会“如何行动”。
这一阶段的工作流程大致如下：
第一步：准备任务环境
根据目标场景准备可交互环境。例如，如果希望模型擅长数据库查询，就准备一个带有模拟表结构和数据的环境；如果希望模型擅长代码操作，就准备一个可执行代码的环境。
第二步：让模型在环境中自由执行
将任务描述输入给模型，让模型自主决定调用什么工具、传入什么参数、何时停止。这一阶段不进行人工干预，目的是获取模型真实的行为分布。
第三步：记录完整轨迹
系统记录每一步的输入、输出、工具返回和状态变化，形成完整轨迹。
第四步：筛选高质量轨迹
对采集到的轨迹进行筛选，保留那些任务成功、步骤合理、没有明显错误行为的轨迹。筛选可以基于规则，也可以使用其他模型进行判断。
第五步：用筛选后的轨迹进行监督微调或强化学习
将高质量轨迹中的正确行为作为学习信号，更新模型参数，使其更倾向于产生有效行为。
这个流程的核心思想是：先让模型在真实环境中“跑起来”，再从真实行为中“捡出”正确的部分用于学习。 这比人工构造“标准答案”式训练数据更接近实际使用场景，因为人工构造的数据往往过于干净，缺少失败、重试和边界情况。
训练完成后，模型在推理时仍然可以通过增加计算量来提升表现。具体机制包括：
长思维链生成
模型在给出最终答案前，先生成较长的内部推理过程。这个过程帮助模型理清思路，尤其是在需要多步推导的任务中。
多步工具调用
模型被允许进行多次工具调用，每次调用后根据返回结果决定下一步。最大调用步数可以从几步扩展到数百步，这使模型有可能完成需要长期规划和动态调整的任务。
中间步骤验证
在部分实现中，会引入验证机制对中间步骤进行评估，如果某一步不合理，可以提前终止或回退，避免错误累积。
测试时扩展的核心权衡是：推理时间变长，计算成本上升，但任务成功率可能显著提高。
优化器影响令牌效率的原因可以从两个方面理解。
第一，参数更新方向的准确性。大模型训练的损失函数曲面非常复杂，不同优化器在相同数据下可能走向不同的参数区域。一个高效的优化器能够在较少的更新步数内找到更优的参数组合，从而减少所需训练令牌。
第二，更新步长的自适应能力。不同参数对学习率的敏感度不同，自适应优化器能够根据参数的历史梯度动态调整步长，避免某些参数更新过快或过慢。这种机制在混合精度训练和大规模分布式训练中尤为重要。
使用高令牌效率的优化器，本质上是让每一步参数更新都尽可能“走对方向、走对距离”，从而在有限训练预算内获得更好的模型质量。
人工构造的智能体训练数据通常存在以下问题：
而真实环境交互产生的轨迹天然包含：
从这些轨迹中筛选高质量样本，相当于“从真实分布中采样正确行为”，训练出的模型在面对真实环境时更加鲁棒。
传统的端到端评估只看最终答案，这在智能体任务中不够用。比如一个模型最终得到了正确结果，但中间调用了一个错误的工具，或者重复调用了十次相同接口。这种“结果对但过程差”的行为，在真实业务中可能导致权限问题、资源浪费或响应延迟。
基于评分标准的评估将评估维度拆开，从工具选择、参数准确性、步骤效率、错误恢复等多个角度分别打分。这样训练出的模型不仅关注“做对”，还关注“做得合理”。
测试时扩展不是简单地“让模型多输出一些文字”，它需要以下条件支撑：
这些条件决定了测试时扩展的实际可行范围。
下面通过一个通用示例来说明上述机制如何协作。
假设任务是：“查询某业务在过去一个季度中每个月的活跃用户数，并判断是否存在异常波动。”
模型在预训练阶段已经学会了基本的推理逻辑和语言表达能力。
进入后训练阶段后，模型在模拟数据库环境中大量执行类似任务，产生各种轨迹。有些轨迹中模型先查询了错误的数据表，然后根据报错信息修正；有些轨迹中模型在得到结果后正确判断了趋势。筛选模块保留了那些最终成功且中间步骤基本合理的轨迹，用于精细调整模型行为。
在推理阶段，模型接到任务后，可能按照以下步骤执行：
在这个过程中，模型可能在第三步发现数据格式与预期不一致，然后调整解析逻辑；也可能在第五步发现波动不明显，从而决定不做额外告警。这些动态调整能力，正是来自真实轨迹训练和测试时扩展的共同作用。
实际上，测试时扩展的核心不是输出长度，而是计算分配与反馈利用。如果模型没有能力根据中间结果调整策略，单纯增加长度只会产生冗余内容。
高质量比高数量更重要。大量低质量轨迹不仅浪费训练资源，还可能让模型学到错误行为模式。筛选机制的作用往往比采集规模更关键。
评分标准评估的价值在于将过程质量显式纳入学习信号。它改变的是模型优化目标，而不仅是评估方式。这与单纯给最终答案打分的本质区别在于：模型被鼓励优化行为过程，而不仅仅是结果。
优化器选择还影响模型最终的能力上限。不同的优化路径可能到达不同质量的参数区域，因此优化器不仅影响训练快慢，也影响最终能学到的表示质量。
本文围绕大型推理模型能力形成的三个关键环节，拆解了其中的底层机制：
这三个机制共同解释了为什么某些模型能够执行数百步连续工具调用、进行长程规划并根据环境反馈动态调整策略。对于工程实践者而言，理解这些原理意味着：在训练数据构建上，要重视真实交互轨迹的采集与筛选；在评估设计上，要引入面向过程的评分标准；在推理部署上，要合理权衡计算成本与任务成功率，而不是盲目追求长输出或多调用。
这些机制的实践意义不在于复制某个具体模型，而在于理解其背后可以被抽象和复用的技术逻辑。