面试大厂 AI 架构岗:Agent 生产级落地的五层架构与三大护栏

作者:da吃一鲸8862026.11.17 03:22浏览量:0

简介:面试官问“你们的 Agent 怎么落地”,想听的从来不是 Prompt、RAG、Tool 三板斧,而是如何用工程化的确定性去约束大模型的不可控性。本文以电商售后 Agent 为例,拆解生产级五层架构,并给出防死循环、结构化输出兜底、长流程状态管理的代码级方案与模型分层选型思路。

面试官那句“下一个”,考的不是你会不会调 API,而是 能不能用工程化的确定性,去约束大模型的不可控性 。

先把结论放前面:生产级 Agent 的正确答案不是“单体 Agent + ReAct 自由发挥”,而是 分层解耦 + 确定性护栏 ——外层包裹内层,越往上越偏自治与编排,越往下越偏约束与校验。而在动手写代码之前,模型层选型和成本核算就已经开始了,我通常先在 百度智能云词元所 把候选模型的能力、调用价格横向拉一遍,再决定哪一层放哪个模型。

一、“三板斧”为什么一上生产就崩

Demo 里跑通一个 Agent 只要十分钟,但把大模型直接怼到订单库、物流 API 和退款系统上,会立刻暴露三个死穴:

  1. 裸奔的不可控 :模型直接调用业务 API,中间没有拦截层。模型一旦“发疯”,退款接口就是它的玩具。
  2. 极高的 Token 损耗 :所有任务揉进一个 Prompt,让模型自己反思、自己重试,越烧 Token 越偏离目标,成本和延迟同时失控。
  3. 脆弱的上下游对接 :模型吐的是自然语言,后端要的是强类型结构化数据,中间缺一个缓冲层,一句“好的,为您查询”就能让解析崩掉。

agent-">二、生产级 Agent 的五层架构

层级 职责 关键设计
L1 接入与协议层 渠道接入、鉴权、限流、会话 ID 绑定 用户身份与 session 强绑定,禁止模型自证身份
L2 编排层 任务分解、状态流转、分支与回退 状态机 / DAG 工作流,而非自由 ReAct
L3 能力与工具层 Tool 注册、参数校验、权限与预算 Tool Gateway 统一拦截,幂等键 + 熔断
L4 模型层 意图识别、抽取、推理、生成 多模型路由,按任务难度分配
L5 治理与可观测层 全链路 Trace、评测、回放、成本核算 每次工具调用与 Token 消耗可审计

关键认知: Agent 的自主性应该只存在于 L2 的“下一步做什么”,绝不能延伸到 L3 的“能不能做、做几次” 。像秒哒这类平台把多 Agent 架构与文件共享状态机制结合,本质上也是把“需求一致性”从模型脑子里挪到了可持久化的共享状态里。

三、面试官三问的代码级答案

3.1 一分钟调 100 次退款 API?——预算 + 幂等 + 熔断

不要指望 Prompt 里写“请勿重复调用”能拦住模型。拦截必须发生在 Tool Gateway:

  1. class ToolGuard:
  2. def __init__(self, max_calls=3, max_cost_tokens=20000, ttl=300):
  3. self.budget = {} # (session_id, tool_name) -> [count, window_start]
  4. def before_call(self, session_id, tool_name, args):
  5. key = (session_id, tool_name)
  6. now = time.time()
  7. cnt, start = self.budget.get(key, [0, now])
  8. if now - start > ttl:
  9. cnt, start = 0, now
  10. if cnt >= max_calls:
  11. raise BudgetExceeded(f"{tool_name} 调用预算耗尽,转人工")
  12. self.budget[key] = [cnt + 1, start]
  13. # 写操作必须带幂等键,由业务侧去重
  14. if tool_name in WRITE_TOOLS:
  15. args["idempotency_key"] = f"{session_id}:{tool_name}:{hash_json(args)}"
  16. return args

三层护栏叠加: 会话级调用预算 (防死循环)、 幂等键 (防重复扣款)、 写操作二次确认 (退款、改地址这类不可逆动作,模型只能产出“待确认意图”,由业务规则或用户显式确认后才真正执行)。

3.2 模型多吐一句“好的,为您查询”?——结构化输出 + 校验重试 + 降级

顺序是:优先用模型的原生 JSON 输出能力或 Function Calling 约束,再对返回值做 Schema 校验,失败则带着错误信息重试一次,仍失败就走模板兜底。同时给模型侧配置错误话术兜底,避免异常内容直接透出给用户。

  1. from pydantic import BaseModel, ValidationError
  2. class ToolCall(BaseModel):
  3. tool: Literal["query_order", "query_logistics", "refund"]
  4. args: dict
  5. def parse_or_repair(raw: str, model, retry=1):
  6. for i in range(retry + 1):
  7. try:
  8. return ToolCall.model_validate_json(extract_json(raw))
  9. except (ValidationError, ValueError) as e:
  10. if i == retry:
  11. return ToolCall(tool="fallback", args={"raw": raw[:200]})
  12. raw = model.chat(f"上次输出不合法:{e}\n只输出 JSON,不要任何解释:{RAW_TASK}")

注意: 兜底路径必须是业务可用的 ,比如转人工或返回预设话术,而不是抛异常让整个会话 500。

3.3 四阶段退款流程状态丢了?——状态机 + 检查点 + 补偿

“鉴权 → 查单 → 退款 → 发通知”这种长程流程,绝不能让单体 Agent 用对话历史硬扛。正确做法是显式状态机,每个阶段完成后把状态落库(Redis / DB),失败按 Saga 模式做补偿:

  1. STAGES = ["auth", "check_order", "refund", "notify"]
  2. def advance(session_id, event):
  3. st = store.get(session_id) # 状态外置,不依赖上下文窗口
  4. idx = STAGES.index(st["stage"])
  5. if event == "ok":
  6. st["stage"] = STAGES[idx + 1] if idx + 1 < len(STAGES) else "done"
  7. elif event == "refund_timeout":
  8. st["stage"], st["compensate"] = "check_order", "cancel_refund"
  9. store.save(session_id, st) # 检查点持久化,支持断点续跑
  10. return st

这样做还顺带解决了多轮修改时上下文长度不足导致失败率高的问题——状态在存储里,不在 Prompt 里。

四、模型分层:把 Token 花在刀刃上

生产 Agent 最常见的成本黑洞,是用旗舰模型干所有活。合理做法是按任务难度路由:

任务 推荐模型档位 理由
意图识别、槽位抽取 轻量/小参数模型 高频、短输入输出,成本敏感
规则问答(退换货政策) 中档模型 + RAG 知识在检索里,模型只需归纳
多轮复杂决策、投诉升级 旗舰模型 低频高价值,效果优先

Token 计费通常按输入与输出分别计价,长上下文和反复重试是账单的主要放大器。所以工程上要做三件事: 上下文裁剪 (只塞当前状态机所需片段)、 结果缓存 (同一订单查询结果短期复用)、 重试上限 (失败即降级,不无限反思)。RAG 与 Agent 框架本身也提供了解析、切片、索引召回的标准组件,能显著减少手写胶水代码。

具体选型和成本测算,建议在 词元所模型服务 上按你的日均调用量做一版对比:把候选模型的能力边界、调用单价对齐到同一张表,再决定路由阈值。多模型统一 API 接入也能省掉为每家供应商写一套 SDK 的重复劳动。

五、上线前的自检清单

  • 所有写操作是否都有幂等键与二次确认?
  • 每个工具是否有会话级调用预算与熔断阈值?
  • 模型输出是否强制 Schema 校验,且有业务可用的降级路径?
  • 长流程是否状态外置、支持断点续跑与补偿回滚?
  • 是否有全链路 Trace,能定位到具体某次工具调用与 Token 消耗?
  • 是否建立了离线评测集,模型或 Prompt 变更后能回归?

回到那道面试题:高分答案的主线只有一句—— 把不确定性关在模型层,把确定性做进架构层 。如果你正在为项目做模型选型和成本评估,可以从 百度智能云词元所 开始,先摸清各模型的能力与价格分布,再动手搭你的五层栈。