简介:本文将传统AI基础设施与Agent时代所需的AI Infra进行系统对比,揭示从“优化模型推理”到“调度与管理长时间运行任务”的核心转变。文章详细拆解Agent工作负载的架构层次,剖析持久化执行、安全工具访问、端到端可观测性等关键能力差异,并提供分阶段的演进路径与选型建议,帮助技术团队构建支撑复杂Agent稳定运行的下一代基础设施。
大模型的调用方式正在发生根本性变化:当最早的开发者还在优化单次推理的吞吐与延迟时,一场更深层的基础设施变革已经悄然展开。Agent不再是简单的模型调用客户端,它本身已成为需要被调度、隔离和管理的计算工作负载。这种转变催生了对AI基础设施的全新要求。本文将对“传统模型服务型AI基础设施”与“面向Agent工作负载的AI基础设施”进行系统对比,分析它们在架构理念、核心关注点、技术组件上的根本差异,并给出演进路径与选型思路。
过去几年,大模型基础软件的核心目标是三件事:让模型跑得更快、让吞吐更高、让成本更低。围绕这一目标,业界发展出了连续的批处理、分块KV缓存管理、动态投机解码、隐式缓存复用、以及基于页面调度优化的显存管理等一系列技术。这套基础设施以模型服务为中心,其核心是推理引擎和GPU资源管理。
然而,Agent的出现改变了运行负载的性质。一个Agent任务可能持续数分钟甚至数小时,期间需要多次调用模型、执行外部工具、读取文件、运行代码、保存中间状态。这种模式不再是单纯的“请求/响应”循环,而更像是一个长时间运行的分布式计算任务。它对基础设施提出了新的要求:需要持久化执行状态、需要安全管理工具访问、需要跨系统的可观测性。这促使我们重新审视与定义AI基础设施的边界与构成。
方案A:传统模型服务型AI基础设施。 这套体系以推理引擎和GPU资源为核心,兼容于高性能计算集群和高吞吐训练平台。它重点解决“请求进来,结果出去”的效率问题,衡量标准是时延、吞吐、以及单Token成本。在这套体系中,模型API网关、推理服务、GPU虚拟化/调度构成基础。其经典应用形态是“对模型API的瘦客户端调用”,例如在对话界面、知识库问答或内容生成流程中。
方案B:面向Agent工作负载的AI基础设施。 这套体系将Agent本身视为一等待调度和管理的计算任务。它除了沿用底层GPU与模型推理服务外,需要新增执行调度层、工具网关层、持久化存储层、以及安全治理面。它关注的指标不再是单次推理时延,而是任务完成率、端到端总耗时、以及在长周期任务中单次成功执行的成本。需要支撑的关键操作包括暂停/恢复/取消、断点续跑、幂等执行、以及人工接管。
尽管形态不同,两种方案在底层复用上高度重合。
1. GPU与推理引擎的依赖。 两种方案都需要依赖高性能GPU资源,都需要推理引擎来高效运行大模型。Agent的每一次“思考”都依赖于底层模型推理服务的能力,无论该服务是私有化部署还是通过API访问。
2. 对性能优化技术的依赖。 即使复杂如Agent,其核心活动仍是模型调用。因此连续批处理、KVCache优化、张量并行等推理优化技术同样适用。Agent的基础设施不可能脱离底层推理性能而独立存在。
3. 对API治理逻辑的继承。 无论是传统请求还是Agent内部循环,都需要请求路由、限流、超时控制、服务降级等基础能力。方案B可以复用方案A中成熟的API管理能力,只是需要扩展更多的控制纬度。
这是文章中最重要的部分。方案A与方案B最大的区别,在于基础设施的交付形态从“生成结果的计算过程”变成了“执行目标的工作负载”。下面通过四个关键维度展开。
方案A的架构相对简洁,主要由模型服务层、API网关、基础监控组成。它的核心逻辑在推理引擎内部完成。
方案B展示了一个层次更丰富的架构,新增了多个关键层次:
传统方案的最终目标——让模型运行得更快——是指标导向的。而Agent基础设施追求的是业务目标的达成。二者差异直接决定了系统设计:
| 维度 | 方案A 传统模型服务型 | 方案B Agent工作负载型 |
|---|---|---|
| 核心资源 | GPU、显存、KV Cache | GPU + CPU + 沙箱 + 外部工具 |
| 状态管理 | 请求上下文、缓存会话 | 任务状态、检查点、记忆、中间结果 |
| 执行控制 | 请求路由、限流 | 任务编排、暂停/恢复/取消、幂等执行 |
| 容错机制 | 超时重试、服务降级 | 分步骤恢复、断点续跑、人工接管 |
| 安全边界 | 模型API与数据访问权限 | 工具权限、代码隔离、操作审批 |
| 性能指标 | TTFT、TPS、吞吐量 | 任务成功率、总耗时、每次成功成本 |
| 最终目标 | 让模型运行得更快 | 让Agent稳定完成任务 |
方案A的成功请求一般在秒级完成,系统为无状态或轻状态。方案B则面临长时间运行的有状态任务:一个编程Agent运行了30分钟、修改了12个文件、执行了8次测试,如果中途服务重启,这将成为一个严重问题。
因此,方案B必须提供持久化执行能力。这包括三个核心机制:检查点(定点保存执行的完整环境)、恢复(从失败点精确重建执行状态)、重试/取消(当某一步骤失败时的策略性处理)。这是方案A完全不需要面对的问题。
传统方案管控的数据流是单向的——用户向模型发送上下文并获得回复。Agent基础设施面对的是双向的、且具有实际影响的操作流。它需要管理的不再只是“允许访问什么数据”,还包括“允许Agent做什么动作”。
这种安全控制需要更复杂的组合:代码隔离(沙箱内执行不受信代码是否安全)、工具权限(终端或文件系统访问的最小权限策略)、操作审批(高危操作或高成本影响操作是否需要人为确认)。这些安全机制是方案A的基础设施完全不曾触及的。
面对这两种方案,如何选择取决于业务的需要。这里提供场景化的适配建议:
什么时候应该继续沿用传统模型服务型方案:
什么时候必须升级到面向Agent工作负载的基础设施:
面向Agent的完整基础设施(即方案B的六层架构)并非必须一次性建成。事实上,大多数团队可以从简化架构起步,逐步增加治理能力和韧性设计。建议的演进路径如下:
第一阶段:轻量起步(MVP)
第二阶段:补全韧性能力
第三阶段:资产化与治理化
必须警惕的迁移风险:
传统模型服务型基础设施与面向Agent工作负载的AI基础设施并非互斥关系,而是不同演进阶段的设计取向。前者追求单次推理的效率极致,适合以内容生成为核心的轻交互场景;后者将Agent视为长时间运行的分布式任务,在推理性能之外补充了执行可靠性、工具安全与状态持久化的能力,是支撑自主智能体的必要底座。
评估自身需要的关键是回答三个问题:Agent需不需要操作真实环境?任务中断后是否能承受从头开始?业务是否要求查看并审计整个执行轨迹?三个问题只要有一个答案为“是”,就说明需要向面向Agent工作负载的基础设施演进。在演进节奏上,不需要一次性铺开六层架构的全部组件,在业务可行性验证阶段采用应用服务加数据库的轻量形态,运行成熟后逐步向调度、安全、观测等层次补齐,是当前阶段兼顾效率与风险的重要策略。