简介:本文聚焦AI智能体领域两大技术路线:传统大型语言模型(LLM)与基于"持续预训练"的智能体基础模型(Agentic Foundation Model)。通过对比两者在架构设计、训练范式、性能表现及适用场景的差异,揭示智能体技术演进的核心逻辑,为开发者提供技术选型与迁移的决策依据。
当前AI领域正经历从”对话系统”到”智能体系统”的范式转变。传统大型语言模型(LLM)虽具备基础语言理解能力,但在执行复杂研究任务时暴露出显著短板:某主流闭源模型在BrowseComp基准测试中达到51.5%准确率,而开源模型最高仅达30%。这种差距源于传统后训练方法(SFT/RL)在智能体场景中的局限性——当模型需要同时学习工具调用、多步推理等智能体行为时,通用基础模型的归纳偏置缺失导致优化冲突。
研究团队在《Scaling Agents via Continual Pre-training》中指出:深度研究智能体需在广阔策略空间中导航,而传统SFT依赖的完整轨迹数据难以覆盖所有场景。例如,智能体执行文献检索时可能涉及数十种工具组合,传统方法难以穷举所有可能路径。这种矛盾催生了智能体基础模型(Agentic Foundation Model)与持续预训练(Agentic CPT)新范式的诞生。
传统LLM路线
以通用语言模型为核心,通过监督微调(SFT)或强化学习微调(RL)适配智能体任务。典型流程为:预训练语言模型 → 收集智能体行为数据 → 微调对齐专家演示。其本质是”通用模型+后训练适配”的叠加模式,代表方案包括多数开源社区的智能体框架。
Agentic CPT路线
构建专用智能体基础模型,在传统预训练与后训练之间插入持续预训练层。其核心创新在于:
两种路线均认同以下技术基础:
| 维度 | 传统LLM路线 | Agentic CPT路线 |
|---|---|---|
| 训练阶段 | 预训练 → 后训练(单阶段) | 预训练 → 持续预训练 → 后训练(三阶段) |
| 数据构成 | 通用文本+智能体行为片段 | 通用文本+合成策略轨迹+专家演示 |
| 优化目标 | 最小化预测误差 | 最大化任务完成率+策略多样性 |
| 计算资源需求 | 中等(后训练阶段) | 高(持续预训练阶段) |
复杂任务处理
传统LLM在简单问答场景表现良好,但面对多步骤研究任务时,错误率随步骤数呈指数增长。例如在需要调用3个以上工具的场景中,某开源模型的成功率不足20%,而AgentFounder通过持续预训练生成的策略轨迹,使同类任务成功率提升至45%。
泛化能力
传统方法依赖大量专家演示数据,在新领域迁移时需重新收集数据。Agentic CPT通过合成数据生成机制,可自动生成跨领域的训练样本。测试显示,在从未见过的科研领域任务中,AgentFounder的初始性能比传统方法高18个百分点。
长上下文维护
传统LLM的注意力机制在处理超长上下文时面临性能衰减。Agentic CPT引入策略记忆模块,通过动态关键信息提取将有效上下文长度压缩60%,同时保持95%以上的任务相关度。
适合传统LLM的场景
适合Agentic CPT的场景
团队能力维度
任务复杂度维度
def select_model(task_steps, domain_novelty):if task_steps < 3 and domain_novelty < 0.3:return "Traditional LLM"else:return "Agentic CPT"
资源约束维度
数据兼容性
接口变更
运维挑战
智能体基础模型的崛起标志着AI开发从”模型中心”向”任务中心”的转变。传统LLM路线类似”通用引擎+定制改装”,而Agentic CPT路线则构建了”专用引擎+动态优化”的新范式。对于需要处理复杂决策链的企业而言,后者虽然带来更高的初始成本,但能通过策略空间的自主探索获得长期收益。随着大模型竞赛进入深水区,这种解耦能力学习与行为对齐的架构设计,或将重新定义AI智能体的技术天花板。