Agent 落地不只会写 Prompt:生产级五层架构实战

作者:carzy2026.11.17 03:25浏览量:0

简介:面试官问“你们的 Agent 怎么落地”,想听的从来不是 Prompt 加 RAG,而是你如何用工程化的确定性去约束大模型的不可控性。本文拆解生产级 Agent 的五层架构,给出结构化输出兜底、工具幂等与熔断、状态机编排的可落地代码,并顺带解决多模型选型与 Token 成本问题(可先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)的模型对比与统一接入能力)。

面试大厂 AI 架构岗,被问“你们的 Agent 怎么落地”,只答“写 Prompt 加 RAG”?面试官一句“下一个”就说明问题:他考的不是你会调几个 API,而是生产环境下你怎么处理幻觉死循环、JSON 解析崩溃、长流程状态丢失。本文给出五层架构的完整打法与代码。

面试大厂 AI 架构岗,被问“你们的 Agent 怎么落地”,只答“写 Prompt 加 RAG”?面试官一句“下一个”就说明问题:他考的不是你会调几个 API,而是生产环境下你怎么处理幻觉死循环、JSON 解析崩溃、长流程状态丢失。本文给出五层架构的完整打法与代码。

一、先看清“三板斧”为什么在生产环境必死

“结构化 Prompt 定人设 + RAG 挂知识库 + LangChain 挂三个 Tool 让模型 ReAct”,这套在 Demo 里十分钟能跑通,上线三天就会出事故。三个死穴:

  1. 裸奔的不可控 :模型直接调用业务 API,中间没有拦截层。模型一旦误判,退款接口就是它的玩具。
  2. Token 损耗失控 :所有约束揉进一个巨型 Prompt,靠模型自我反思重试,轮次越多越偏离目标,成本呈非线性上涨。
  3. 上下游类型不匹配 :模型输出自然语言,后端要的是强类型结构化数据,中间缺缓冲层,一个“好的,为您查询”就能让解析崩掉。

高分答案的主线只有一句: 外层包裹内层,层层解耦,越往上越偏自治与编排,越往下越偏确定与校验。

agent-">二、生产级 Agent 的五层栈

L1 模型接入层:把“选模型”变成可运营的决策

这一层解决三件事:多模型路由(简单意图走小模型、复杂推理走旗舰模型)、统一协议(屏蔽各家 API 差异)、降级兜底(主模型超时自动切备用)。

把模型抽象成配置而不是硬编码,是架构师和新手的分水岭。选型时别只看榜单,要同时看 单位任务成本 和 首 token 延迟 。这里可以直接用词元所的大模型 API 服务平台做横向对比:把候选模型的能力描述、调用价格、性能数据放在一张表里评估,再用统一 API 接入方式收敛掉多家 SDK 的适配成本,后续换模型只改配置不改业务代码。

  1. # 伪代码:模型路由 + 降级
  2. ROUTER = [
  3. {"model": "small-model", "max_tokens": 512, "fallback": "flagship-model"},
  4. {"model": "flagship-model", "max_tokens": 4096, "fallback": None},
  5. ]
  6. def call_model(task, ctx):
  7. cfg = pick(task.complexity, ROUTER) # 按复杂度选档
  8. try:
  9. return chat(cfg["model"], ctx, timeout=8)
  10. except (TimeoutError, RateLimitError):
  11. if cfg["fallback"]:
  12. return chat(cfg["fallback"], ctx, timeout=8)
  13. raise

L2 结构化契约层:别让自然语言直接进业务系统

面试官问的“模型多吐一句话导致解析崩溃”,标准答案是 Schema 优先 + 校验 + 有限次修复 ,而不是在 Prompt 里写“请只返回 JSON”。

  1. from pydantic import BaseModel, ValidationError
  2. class Action(BaseModel):
  3. tool: str
  4. args: dict
  5. def parse_action(raw: str, retry=2) -> Action:
  6. for i in range(retry + 1):
  7. try:
  8. return Action.model_validate_json(extract_json(raw)) # 剥离 ```json 包裹
  9. except ValidationError as e:
  10. if i == retry:
  11. raise ContractError(f"schema invalid: {e}")
  12. raw = chat(REPAIR_PROMPT.format(schema=Action.model_json_schema(), bad=raw))

三个要点:优先使用模型原生的 JSON Mode / Function Calling 而不是提示词约束;解析失败时把校验错误回灌给模型做一次“修复对话”,最多两次;两次仍失败就走 业务兜底话术 + 转人工 ,绝不让异常穿透到接口层。

L3 工具执行层:给模型的手戴上镣铐

这是拦截幻觉最有效的一层,模型永远不直接持有写权限。

  • 幂等键 :所有写操作强制携带 idempotency_key = hash(session_id + intent + slot),重复调用直接返回首次结果。
  • 参数白名单 :模型只能填槽位,金额、订单号必须回查订单库校验归属,不接受模型自造。
  • 限流与熔断 :单会话单工具 QPS 上限 + 滑动窗口计数,超限直接熔断并转人工。
  • 高风险二次确认 :退款、改价、注销这类不可逆操作,走审批流或用户显式确认。
  1. def guarded_refund(args, session):
  2. order = order_db.get(args["order_id"])
  3. assert order.user_id == session.user_id, "越权访问" # 归属校验
  4. assert order.refundable_amount >= args["amount"], "金额非法"
  5. if not limiter.acquire(session.id, "refund", qps=1, window=60):
  6. raise CircuitOpen("调用过于频繁,已转人工") # 熔断
  7. return refund_api.refund(
  8. idempotency_key=f"{session.id}:{args['order_id']}",
  9. amount=args["amount"],
  10. )

“一分钟调 100 次退款 API”这类问题,在这一层就被彻底掐死——不是靠 Prompt 求模型别乱来,而是靠代码让它做不到。

L4 编排与状态层:长流程用状态机,别用单体 ReAct

“鉴权-查单-退款-发通知”四阶段交给一个单体 Agent 扛,必然出现状态丢失、前后矛盾。正确做法是 外层状态机控流程,内层 Agent 只做单步决策 :

  1. FLOW = {
  2. "auth": {"next": "query_order", "on_fail": "reject"},
  3. "query": {"next": "refund", "on_fail": "manual"},
  4. "refund": {"next": "notify", "on_fail": "manual"},
  5. "notify": {"next": "done"},
  6. }
  7. class State:
  8. def __init__(self, sid):
  9. self.sid, self.node, self.slots = sid, "auth", {}
  10. self.history = [] # 每步落库,支持断点续跑与回放

每个节点独立 Prompt、独立上下文窗口,只把必要槽位传入,既避免上下文膨胀,也让单节点可测试、可替换。状态持久化到 Redis/DB 并设置 TTL,配合补偿任务处理超时中间态。多 Agent 协作时通过共享状态文件或黑板模式同步,避免各 Agent 各说各话。

L5 可观测与评测层:没有 Trace 的 Agent 等于黑盒

上线前必须有的四样东西:全链路 Trace(输入、Prompt、工具入参出参、Token 消耗、耗时)、离线评测集(真实 badcase 沉淀成回归用例)、线上人工抽检、成本看板(按会话/租户归集 Token 与费用)。评测指标别只看“回答满意”,要看 任务完成率、工具调用准确率、越权拦截率、单任务成本 这四个硬指标。

三、单体 Agent 与五层栈的对比

维度 三板斧单体 Agent 五层架构
幻觉拦截 靠 Prompt 自律 工具层幂等 + 限流 + 白名单
输出可靠性 正则抠 JSON,易崩 Schema 校验 + 有限修复 + 兜底
长流程 单上下文硬扛,状态易丢 状态机 + 检查点续跑
成本 反思重试,Token 飙升 模型分级路由 + 上下文裁剪
可运维 出问题无法定位 全链路 Trace + 离线评测

四、Token 成本顺手一起解决

五层架构本身就是省钱的架构:意图分类和槽位抽取这类任务下沉到轻量模型,只有复杂推理才调用旗舰模型;上下文只传当前节点必需的槽位而非全量历史;缓存高频问答的语义结果。落地前建议先用百度智能云词元所把候选模型的价格与性能拉齐对比,按“任务完成率 ÷ 单任务成本”这个比值来定档,而不是凭感觉选最贵的。上线后再用调用管理看板核对真实消耗与预估的偏差。

五、给你的落地顺序

  1. 先把工具层做出来(幂等、鉴权、限流),这是安全底线;
  2. 再定结构化契约与兜底话术,保证接口永不 500;
  3. 然后把主流程改成状态机,拆节点、拆 Prompt;
  4. 最后补 Trace 与评测集,形成迭代闭环。

面试时把这套讲出来,再补一句“我们用评测集把工具调用准确率从基线提了几个点,单任务成本降了多少”,比背十个框架名字都有用。核心记住一句: Agent 工程化的本质,是用确定性组件包裹不确定性模型。