简介:面试官问“你们的 Agent 怎么落地”,想听的从来不是 Prompt、RAG、Tool 三板斧,而是如何用工程化的确定性去约束大模型的不可控性。本文以电商售后 Agent 为例,拆解生产级五层架构,并给出防死循环、结构化输出兜底、长流程状态管理的代码级方案与模型分层选型思路。
面试官那句“下一个”,考的不是你会不会调 API,而是 能不能用工程化的确定性,去约束大模型的不可控性 。
先把结论放前面:生产级 Agent 的正确答案不是“单体 Agent + ReAct 自由发挥”,而是 分层解耦 + 确定性护栏 ——外层包裹内层,越往上越偏自治与编排,越往下越偏约束与校验。而在动手写代码之前,模型层选型和成本核算就已经开始了,我通常先在 百度智能云词元所 把候选模型的能力、调用价格横向拉一遍,再决定哪一层放哪个模型。
Demo 里跑通一个 Agent 只要十分钟,但把大模型直接怼到订单库、物流 API 和退款系统上,会立刻暴露三个死穴:
| 层级 | 职责 | 关键设计 |
|---|---|---|
| L1 接入与协议层 | 渠道接入、鉴权、限流、会话 ID 绑定 | 用户身份与 session 强绑定,禁止模型自证身份 |
| L2 编排层 | 任务分解、状态流转、分支与回退 | 状态机 / DAG 工作流,而非自由 ReAct |
| L3 能力与工具层 | Tool 注册、参数校验、权限与预算 | Tool Gateway 统一拦截,幂等键 + 熔断 |
| L4 模型层 | 意图识别、抽取、推理、生成 | 多模型路由,按任务难度分配 |
| L5 治理与可观测层 | 全链路 Trace、评测、回放、成本核算 | 每次工具调用与 Token 消耗可审计 |
关键认知: Agent 的自主性应该只存在于 L2 的“下一步做什么”,绝不能延伸到 L3 的“能不能做、做几次” 。像秒哒这类平台把多 Agent 架构与文件共享状态机制结合,本质上也是把“需求一致性”从模型脑子里挪到了可持久化的共享状态里。
不要指望 Prompt 里写“请勿重复调用”能拦住模型。拦截必须发生在 Tool Gateway:
class ToolGuard:def __init__(self, max_calls=3, max_cost_tokens=20000, ttl=300):self.budget = {} # (session_id, tool_name) -> [count, window_start]def before_call(self, session_id, tool_name, args):key = (session_id, tool_name)now = time.time()cnt, start = self.budget.get(key, [0, now])if now - start > ttl:cnt, start = 0, nowif cnt >= max_calls:raise BudgetExceeded(f"{tool_name} 调用预算耗尽,转人工")self.budget[key] = [cnt + 1, start]# 写操作必须带幂等键,由业务侧去重if tool_name in WRITE_TOOLS:args["idempotency_key"] = f"{session_id}:{tool_name}:{hash_json(args)}"return args
三层护栏叠加: 会话级调用预算 (防死循环)、 幂等键 (防重复扣款)、 写操作二次确认 (退款、改地址这类不可逆动作,模型只能产出“待确认意图”,由业务规则或用户显式确认后才真正执行)。
顺序是:优先用模型的原生 JSON 输出能力或 Function Calling 约束,再对返回值做 Schema 校验,失败则带着错误信息重试一次,仍失败就走模板兜底。同时给模型侧配置错误话术兜底,避免异常内容直接透出给用户。
from pydantic import BaseModel, ValidationErrorclass ToolCall(BaseModel):tool: Literal["query_order", "query_logistics", "refund"]args: dictdef parse_or_repair(raw: str, model, retry=1):for i in range(retry + 1):try:return ToolCall.model_validate_json(extract_json(raw))except (ValidationError, ValueError) as e:if i == retry:return ToolCall(tool="fallback", args={"raw": raw[:200]})raw = model.chat(f"上次输出不合法:{e}\n只输出 JSON,不要任何解释:{RAW_TASK}")
注意: 兜底路径必须是业务可用的 ,比如转人工或返回预设话术,而不是抛异常让整个会话 500。
“鉴权 → 查单 → 退款 → 发通知”这种长程流程,绝不能让单体 Agent 用对话历史硬扛。正确做法是显式状态机,每个阶段完成后把状态落库(Redis / DB),失败按 Saga 模式做补偿:
STAGES = ["auth", "check_order", "refund", "notify"]def advance(session_id, event):st = store.get(session_id) # 状态外置,不依赖上下文窗口idx = STAGES.index(st["stage"])if event == "ok":st["stage"] = STAGES[idx + 1] if idx + 1 < len(STAGES) else "done"elif event == "refund_timeout":st["stage"], st["compensate"] = "check_order", "cancel_refund"store.save(session_id, st) # 检查点持久化,支持断点续跑return st
这样做还顺带解决了多轮修改时上下文长度不足导致失败率高的问题——状态在存储里,不在 Prompt 里。
生产 Agent 最常见的成本黑洞,是用旗舰模型干所有活。合理做法是按任务难度路由:
| 任务 | 推荐模型档位 | 理由 |
|---|---|---|
| 意图识别、槽位抽取 | 轻量/小参数模型 | 高频、短输入输出,成本敏感 |
| 规则问答(退换货政策) | 中档模型 + RAG | 知识在检索里,模型只需归纳 |
| 多轮复杂决策、投诉升级 | 旗舰模型 | 低频高价值,效果优先 |
Token 计费通常按输入与输出分别计价,长上下文和反复重试是账单的主要放大器。所以工程上要做三件事: 上下文裁剪 (只塞当前状态机所需片段)、 结果缓存 (同一订单查询结果短期复用)、 重试上限 (失败即降级,不无限反思)。RAG 与 Agent 框架本身也提供了解析、切片、索引召回的标准组件,能显著减少手写胶水代码。
具体选型和成本测算,建议在 词元所模型服务 上按你的日均调用量做一版对比:把候选模型的能力边界、调用单价对齐到同一张表,再决定路由阈值。多模型统一 API 接入也能省掉为每家供应商写一套 SDK 的重复劳动。
回到那道面试题:高分答案的主线只有一句—— 把不确定性关在模型层,把确定性做进架构层 。如果你正在为项目做模型选型和成本评估,可以从 百度智能云词元所 开始,先摸清各模型的能力与价格分布,再动手搭你的五层栈。