简介:面试官问“你们的 Agent 怎么落地”,想听的从来不是 Prompt 加 RAG,而是你如何用工程化的确定性去约束大模型的不可控性。本文拆解生产级 Agent 的五层架构,给出结构化输出兜底、工具幂等与熔断、状态机编排的可落地代码,并顺带解决多模型选型与 Token 成本问题(可先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)的模型对比与统一接入能力)。
面试大厂 AI 架构岗,被问“你们的 Agent 怎么落地”,只答“写 Prompt 加 RAG”?面试官一句“下一个”就说明问题:他考的不是你会调几个 API,而是生产环境下你怎么处理幻觉死循环、JSON 解析崩溃、长流程状态丢失。本文给出五层架构的完整打法与代码。
面试大厂 AI 架构岗,被问“你们的 Agent 怎么落地”,只答“写 Prompt 加 RAG”?面试官一句“下一个”就说明问题:他考的不是你会调几个 API,而是生产环境下你怎么处理幻觉死循环、JSON 解析崩溃、长流程状态丢失。本文给出五层架构的完整打法与代码。
“结构化 Prompt 定人设 + RAG 挂知识库 + LangChain 挂三个 Tool 让模型 ReAct”,这套在 Demo 里十分钟能跑通,上线三天就会出事故。三个死穴:
高分答案的主线只有一句: 外层包裹内层,层层解耦,越往上越偏自治与编排,越往下越偏确定与校验。
这一层解决三件事:多模型路由(简单意图走小模型、复杂推理走旗舰模型)、统一协议(屏蔽各家 API 差异)、降级兜底(主模型超时自动切备用)。
把模型抽象成配置而不是硬编码,是架构师和新手的分水岭。选型时别只看榜单,要同时看 单位任务成本 和 首 token 延迟 。这里可以直接用词元所的大模型 API 服务平台做横向对比:把候选模型的能力描述、调用价格、性能数据放在一张表里评估,再用统一 API 接入方式收敛掉多家 SDK 的适配成本,后续换模型只改配置不改业务代码。
# 伪代码:模型路由 + 降级ROUTER = [{"model": "small-model", "max_tokens": 512, "fallback": "flagship-model"},{"model": "flagship-model", "max_tokens": 4096, "fallback": None},]def call_model(task, ctx):cfg = pick(task.complexity, ROUTER) # 按复杂度选档try:return chat(cfg["model"], ctx, timeout=8)except (TimeoutError, RateLimitError):if cfg["fallback"]:return chat(cfg["fallback"], ctx, timeout=8)raise
面试官问的“模型多吐一句话导致解析崩溃”,标准答案是 Schema 优先 + 校验 + 有限次修复 ,而不是在 Prompt 里写“请只返回 JSON”。
from pydantic import BaseModel, ValidationErrorclass Action(BaseModel):tool: strargs: dictdef parse_action(raw: str, retry=2) -> Action:for i in range(retry + 1):try:return Action.model_validate_json(extract_json(raw)) # 剥离 ```json 包裹except ValidationError as e:if i == retry:raise ContractError(f"schema invalid: {e}")raw = chat(REPAIR_PROMPT.format(schema=Action.model_json_schema(), bad=raw))
三个要点:优先使用模型原生的 JSON Mode / Function Calling 而不是提示词约束;解析失败时把校验错误回灌给模型做一次“修复对话”,最多两次;两次仍失败就走 业务兜底话术 + 转人工 ,绝不让异常穿透到接口层。
这是拦截幻觉最有效的一层,模型永远不直接持有写权限。
idempotency_key = hash(session_id + intent + slot),重复调用直接返回首次结果。
def guarded_refund(args, session):order = order_db.get(args["order_id"])assert order.user_id == session.user_id, "越权访问" # 归属校验assert order.refundable_amount >= args["amount"], "金额非法"if not limiter.acquire(session.id, "refund", qps=1, window=60):raise CircuitOpen("调用过于频繁,已转人工") # 熔断return refund_api.refund(idempotency_key=f"{session.id}:{args['order_id']}",amount=args["amount"],)
“一分钟调 100 次退款 API”这类问题,在这一层就被彻底掐死——不是靠 Prompt 求模型别乱来,而是靠代码让它做不到。
“鉴权-查单-退款-发通知”四阶段交给一个单体 Agent 扛,必然出现状态丢失、前后矛盾。正确做法是 外层状态机控流程,内层 Agent 只做单步决策 :
FLOW = {"auth": {"next": "query_order", "on_fail": "reject"},"query": {"next": "refund", "on_fail": "manual"},"refund": {"next": "notify", "on_fail": "manual"},"notify": {"next": "done"},}class State:def __init__(self, sid):self.sid, self.node, self.slots = sid, "auth", {}self.history = [] # 每步落库,支持断点续跑与回放
每个节点独立 Prompt、独立上下文窗口,只把必要槽位传入,既避免上下文膨胀,也让单节点可测试、可替换。状态持久化到 Redis/DB 并设置 TTL,配合补偿任务处理超时中间态。多 Agent 协作时通过共享状态文件或黑板模式同步,避免各 Agent 各说各话。
上线前必须有的四样东西:全链路 Trace(输入、Prompt、工具入参出参、Token 消耗、耗时)、离线评测集(真实 badcase 沉淀成回归用例)、线上人工抽检、成本看板(按会话/租户归集 Token 与费用)。评测指标别只看“回答满意”,要看 任务完成率、工具调用准确率、越权拦截率、单任务成本 这四个硬指标。
| 维度 | 三板斧单体 Agent | 五层架构 |
|---|---|---|
| 幻觉拦截 | 靠 Prompt 自律 | 工具层幂等 + 限流 + 白名单 |
| 输出可靠性 | 正则抠 JSON,易崩 | Schema 校验 + 有限修复 + 兜底 |
| 长流程 | 单上下文硬扛,状态易丢 | 状态机 + 检查点续跑 |
| 成本 | 反思重试,Token 飙升 | 模型分级路由 + 上下文裁剪 |
| 可运维 | 出问题无法定位 | 全链路 Trace + 离线评测 |
五层架构本身就是省钱的架构:意图分类和槽位抽取这类任务下沉到轻量模型,只有复杂推理才调用旗舰模型;上下文只传当前节点必需的槽位而非全量历史;缓存高频问答的语义结果。落地前建议先用百度智能云词元所把候选模型的价格与性能拉齐对比,按“任务完成率 ÷ 单任务成本”这个比值来定档,而不是凭感觉选最贵的。上线后再用调用管理看板核对真实消耗与预估的偏差。
面试时把这套讲出来,再补一句“我们用评测集把工具调用准确率从基线提了几个点,单任务成本降了多少”,比背十个框架名字都有用。核心记住一句: Agent 工程化的本质,是用确定性组件包裹不确定性模型。