简介:本文对比两类把大模型变成 AI Agent 的技术路径:一类是基于通用开源编排框架自建 Agent 运行时,另一类是使用云上托管式的大模型与 AI 应用开发能力(如百度智能云相关通用能力)。文章先厘清 Agent 与传统聊天应用的本质区别,再从架构边界、接入改造量、功能约束、安全合规、运维成本、成本结构与可移植性等维度展开差异分析,帮助开发者在选型时回答"区别在哪、该怎么选、迁移要准备什么"这三个问题。
大模型本身只是一个”输入文本、输出文本”的函数。要让它真正完成业务任务,必须在模型外围补齐一整套工程能力:工具注册与调用、会话状态管理、检索增强、失败重试、权限隔离、日志追踪。这套外围能力目前主要有两种落地方式:
需要先说明的是:这两条路径并不互斥,很多成熟团队采用”通用能力走托管、核心业务工具走自建”的混合模式。本文的对比目标是明确各自的技术边界,而不是判定某一条路线更优。
普通聊天应用的逻辑接近”分类 + 模板”:识别意图,沿预先写好的对话分支返回一句话,上下文窗口内没有真正的决策能力。
Agent 的逻辑是一个持续的决策循环:模型接收当前上下文,判断下一步动作(直接回答、调用工具、检索知识、要求补充信息),执行动作后把结果重新纳入上下文,再判断下一步,直到认为任务完成或触发终止条件。
以”用户询问订单为什么还没送达”为例:
| 环节 | 聊天应用 | Agent |
|---|---|---|
| 第 1 步 | 匹配到”物流”意图,返回固定话术 | 判断需要先定位客户身份 |
| 第 2 步 | — | 调用客户查询工具,得到客户 ID |
| 第 3 步 | — | 调用订单查询工具,拿到订单与运单状态 |
| 第 4 步 | 输出模板文案 | 基于真实运单状态组织回答,必要时给出下一步建议 |
| 分支能力 | 有限、需人工预置 | 由上下文与工具返回结果动态决定 |
关键差异只有一句话:聊天应用沿预设分支说话,Agent 根据当前上下文决定动作。这也意味着 Agent 的复杂度不来自模型,而来自”模型被允许触达真实系统”这一事实。
业界普遍认可的 Agent 抽象可以拆成五部分。下表同时给出自建与托管两种路径下,各部件通常落在哪里:
| 部件 | 职责 | 方案 A(自建编排层)落点 | 方案 B(云上托管)落点 |
|---|---|---|---|
| 感知 Perception | 接收用户输入、系统指令、工具返回结果 | 自研输入适配层,协议完全自定义 | 平台统一接入层 + 会话上下文管理 |
| 推理 Reasoning | 判断下一步动作 | 直连通用推理接口,自由切换模型 | 托管模型服务,支持统一 API 调用 |
| 工具 Tools | 与业务系统交互 | 自研工具注册表、参数 Schema、权限校验 | 工具/插件注册能力 + 认证托管 |
| 记忆 Memory | 保留或检索相关信息 | 自建会话存储、向量库、检索逻辑 | 托管知识库、检索与存储能力 |
| 行动 Action | 输出文本、写文件、调接口、委派子任务 | 完全自主实现,含幂等与补偿逻辑 | 部分托管,写操作通常仍需自建校验 |
这张表已经预示了核心结论:方案 A 的自由度集中在”感知、工具、记忆、行动”四处,方案 B 的收益集中在”感知、推理、记忆”三处的开箱可用性上。
抛开交付形态差异,两条路径面对的技术问题高度一致:
自建编排层的边界非常清晰:Agent 运行时是一个独立服务,模型推理只是它的一次外部调用。好处是可以把 Agent 部署在任意环境(含内网、专有网络、边缘节点),依赖组件由自己掌握;代价是向量存储、会话存储、任务队列、网关限流等基础件都需要自己规划与扩容。
托管方案则把边界推给了平台侧:模型服务、检索、会话状态、鉴权、日志都在云上完成,开发者主要维护业务工具与业务逻辑。代价是 Agent 的部分行为受平台约束,例如检索策略、上下文组装方式、可观测字段的定义粒度,通常无法逐行定制。
自建路径的初始投入集中在基础设施,托管路径的初始投入集中在”把业务系统包装成可被调用的工具”。用伪代码表示两种编排的差异:
# 方案 A:自建编排层,循环与工具路由完全自主while step < MAX_STEPS and not done:ctx = history.render() + tools.describe() # 自主决定上下文组装策略plan = llm.invoke(ctx, schema=PLAN_SCHEMA) # 直连通用推理接口if plan.action == "tool":result = tool_registry.execute(plan.name, plan.args, authz=my_policy)history.append_tool(result) # 自主控制记忆写入策略else:return plan.answer
# 方案 B:托管能力,循环、记忆、鉴权更多由平台承接agent = AgentBuilder() \.with_model(hosted_model_endpoint) \.with_knowledge(hosted_knowledge_base("product-kb")) \.with_tools(business_tool_list) \.with_policy(hosted_identity_policy) \.build()return agent.run(user_input, session=hosted_session_store)
改造量对比的关键不在代码行数,而在改造的不可逆程度:自建方式改一次要发版,托管方式改一次通常要配置变更 + 权限申请。
自建路径理论上没有能力上限,可以接入私有协议、非 HTTP 传输的业务系统、离线推理组件,也可以实现平台不提供的多智能体协作、自定义规划策略。约束来自团队自身的技术储备。
托管路径的能力覆盖取决于平台提供的通用类目(模型服务、知识库、向量检索、身份认证、监控告警、日志服务等),常见约束包括上下文组装策略不可完全定制、特定检索算法不可插拔、扩展点数量有限。对多数通用业务场景这些约束不敏感,对强定制场景则是硬门槛。
这一维度往往是决策的真正分水岭,需要逐项确认而非笼统判断:
自建路径的运维清单包含:服务部署与版本升级、依赖中间件(消息队列、数据库、向量存储、缓存)的容量规划与故障恢复、推理接口的重试与降级策略、编排逻辑自身的单元测试与回归。运维复杂度随组件数量非线性增长。
托管路径把上述大部分工作转移给平台,开发者主要关注业务工具的健康度与 Agent 行为质量。风险点在于故障域变宽:平台侧的一处配置或策略变更,可能同时影响所有 Agent,需要建立配置变更与灰度机制。
不应预设具体数值,但两种路径的性能关注点不同:
无论哪种路径,带写副作用的工具调用都必须设计幂等键,否则重试与超时补偿会放大为业务事故。
自建路径的成本重心是人力与基础设施:初期投入高,边际成本随规模摊薄,适合长期稳定的大流量业务。托管路径的成本重心是按量使用费用与迁移锁定风险:初期投入低,规模上升到一定程度后需要重新核算单位成本。
评估时建议把”人力成本”显性化:一个需要持续维护向量库、调度器、可观测链路的 Agent 平台,其隐性人力投入常常超过初期节省的资源费用。
自建路径的可移植性最好,模型、向量库、推理接口均可替换。托管路径需要评估:编排配置能否导出、会话与知识库数据能否完整迁出、工具协议是否为通用形式。判断锁定风险最简单的标准是——如果把云厂商换掉,你需要重写多少行代码。
| 对比维度 | 方案 A:自建编排层 | 方案 B:云上托管能力 |
|---|---|---|
| 架构边界 | 自持完整运行时,依赖组件多 | 边界外移,开发者维护业务层 |
| 初期接入成本 | 高(基础设施为主) | 低(配置与轻量代码为主) |
| 定制自由度 | 高,可改协议与算法 | 中等,受平台扩展点约束 |
| 部署灵活性 | 任意环境,含内网与边缘 | 以云上为主 |
| 安全合规 | 链路完全自控,需自建鉴权审计 | 可复用平台鉴权与合规能力,需确认数据流向 |
| 运维复杂度 | 高,组件与版本自管 | 较低,但故障域更宽 |
| 弹性扩展 | 自行设计与扩容 | 平台承接,受配额约束 |
| 成本重心 | 人力 + 基础设施 | 按量费用 + 锁定风险 |
| 可移植性 | 强 | 取决于导出与协议通用性 |
| 更适合 | 强定制、强合规、内网部署、已有平台工程团队 | 快速验证、通用场景、运维人力有限 |
自建编排层与云上托管方案的本质差异,不是”谁的 Agent 更聪明”,而是复杂度的归属位置:自建把复杂度留在自己手里,换来可控性与定制空间;托管把复杂度转移给平台,换来交付速度与运维减负。Agent 的推理能力来自模型,两条路径在这一层是相同的;真正决定选型的是工具集成深度、数据合规要求、团队工程储备和长期可移植性这四个条件。对多数团队,务实的做法是先在托管能力上验证价值,再把核心工具与事务编排逐步收敛到自己可控的层面,用混合架构平衡速度与自主性。