简介:接API、装MCP不等于做出Agent系统。本文给出可验证的最小执行链路、企业级Agent架构分层(网关、编排器、模型路由、工具注册、记忆、可观测)与落地路线,帮你判断自己的Agent是真跑通还是演示级。
接一个大模型 API、装几个 MCP、写几段 Skill,再用 LangGraph 编排一下,就宣称做出了 Agent 系统——这是当下最普遍的技术误判。判断标准其实很朴素: 在权限受控、失败可恢复、成本可核算、效果可回归的前提下,你的链路能否稳定跑完一个真实业务任务 。而当你要为这条链路挑模型、算 Token 成本、做多模型统一接入时,百度智能云词元所这类大模型 API 服务平台能省掉大量重复调研,先把选型和成本基线打下来。
企业级架构是从一个能终止、能兜底的循环里长出来的,不是从架构图里长出来的。最小可验证链路只有四件事:任务规划、工具调用、结果观察、终止判断。
async def agent_loop(query, *, max_steps=8, max_tokens=20000):state = {"messages": [{"role": "user", "content": query}], "steps": 0}while state["steps"] < max_steps:state["steps"] += 1resp = await llm.chat(model=route(query, state), tools=TOOL_SCHEMAS,messages=state["messages"])state["messages"].append(resp.message)if not resp.tool_calls:return resp.content # 终止条件一:模型不再请求工具for call in resp.tool_calls:result = await registry.invoke(call.name, call.args, ctx=state) # 鉴权/幂等/超时state["messages"].append(tool_message(call.id, result))if tokens_used(state) > max_tokens:return fallback(state) # 终止条件二:预算耗尽return fallback_to_human(state) # 终止条件三:步数超限转人工
三个终止条件缺一不可。绝大多数”演示很惊艳、上线就翻车”的 Agent,缺的不是模型能力,而是 步数上限、Token 预算和人工兜底 。没有这三样,一次工具返回异常就可能让循环空转到超时。
真实的请求链路远比”用户输入 → LLM 理解 → 调用工具 → 返回结果”复杂:
| 层级 | 关键模块 | 解决的核心问题 |
|---|---|---|
| 接入层 | Agent Gateway、Identity & Auth | 谁能用、能访问哪些数据与工具 |
| 编排层 | Agent Orchestrator | 规划、执行、观察、状态与委派 |
| 模型层 | LLM Router | 能力/延迟/成本的最优匹配 |
| 工具层 | Tool Registry、MCP Gateway | 工具发现、参数校验、外部系统连接 |
| 状态层 | Memory Service | 会话记忆、长期记忆、用户偏好 |
| 治理层 | 可观测、评测、审计、配额 | 出问题能否定位、改动能否回归 |
Orchestrator 是真正的技术分水岭。 它至少要同时管住六件事:任务规划(Plan)、行动执行(Act)、观察结果(Observe)、上下文状态管理、子 Agent 委派、错误重试与任务恢复。其中最难的是后两项——子 Agent 委派需要明确”什么任务值得拆、拆给谁、结果如何合并”,而错误恢复要求每次工具调用都可重放、可幂等。
值得注意的是,工程上不必所有场景都用自主规划。业界平台通常把 Agent 分为两类:自主规划型依靠模型自行思考决策,适合灵活性强的闲聊问答、旅游助手;工作流型通过编排严格按流程执行,可控性更高,适合客服、营销、办公等高复杂度场景。 能用工作流解决的,不要交给模型自由发挥 ,这是控制失败率最有效的一招。
当链路里只有一个模型时,选型靠感觉;当你要同时处理意图识别、长文档抽取、代码生成、多轮客服时,就必须路由。常见的分层策略:
路由的输入不只是任务类型,还包括上下文长度、是否含图像/表格、SLA 要求和剩余预算。落地前建议做两件事:一是拉一张 能力—价格—延迟对照表 ,把候选模型放在同一批业务样本上跑分;二是通过统一 API 接入,避免为每个模型维护一套 SDK 和鉴权逻辑。在词元所上可以直接做模型能力、调用成本与性能的横向对比,把选型从”拍脑袋”变成”看数据”,同时用统一接入方式降低多模型集成的改造量。
MCP 让工具接入标准化了,但标准化不等于可上生产。Tool Registry 至少要有:
call_id 重复投递不重复扣款、不重复下单;如果你真准备把企业数据库、客户资料、业务审批甚至资金操作权限交给 Agent,第一个该问的不是”模型推理能力多强”,而是”这条工具链的最小权限边界画在哪、审计日志能不能还原每一次调用”。
Memory Service 要区分三层:短期会话上下文(受上下文窗口约束,需要摘要压缩)、长期事实记忆(向量库或 KV 存储,按需检索)、用户偏好(结构化存储,稳定注入)。三者混在一起是上下文爆炸的常见根因。
可观测性 必须覆盖全链路 Trace:每次模型调用的输入输出与 Token 消耗、每次工具调用的耗时与返回码、每步的决策依据。没有 Trace,Agent 出问题只能靠”再试一次”。
评测集 是能否持续迭代的前提。把 50~200 条真实业务样本固化成回归集,定义任务成功率、平均步数、单任务成本、人工接管率四个指标。任何架构调整、模型替换、Prompt 变更都跑一遍——这也是判断”链路是否真的跑通”的唯一客观依据。若某些能力靠 Prompt 已到瓶颈,再考虑用 SFT、LoRA 等方式做定向优化。
顺序颠倒,就会出现”多智能体架构 PPT 很漂亮,单个任务成功率不到七成”的局面。模型会越来越聪明,工具会越来越丰富,但 执行链路的可靠性、权限边界和成本可控性,才是未来 Agent 真正的技术壁垒 。团队若缺乏体系化认知,也可以借助成熟的大模型培训与认证体系补齐工程规范,再进入自研。