面试大厂 AI 架构岗,电商售后 Agent 生产级落地全解

作者:热心市民鹿先生2026.11.17 03:14浏览量:0

简介:这道题考的从来不是"你会调几个大模型 API",而是"如何用工程化的确定性,去约束大模型的不可控性"。Prompt + RAG + Tool 三板斧在 Demo 里十分钟能跑通,在生产环境里会因为幻觉、死循环、格式漂移直接击穿业务。下面给出可直接套用的五层架构,以及面试官那"三连击"的具体解法。顺带说一句,五层栈里最容易被忽略的模型接入层,现在可以直接用[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台来做——它提供模型发现与选型、价格与性能对比、多模型统一 API 接入和调用管理,等于把"选型、比价、统一接入"三件事一次解决。

一、先认清”三板斧”的三个致命死穴

单体 Agent 把「理解意图 → 查规则 → 调 API → 组织话术」全揉进一个 Prompt,让模型自己 ReAct 反思重试,问题有三:

  1. 裸奔的不可控 :模型直接触达退款、物流等写操作 API,没有中间拦截层,一次幻觉就是一次资损。
  2. Token 黑洞 :所有上下文、工具返回、反思链都堆在一个上下文里,轮次越多越偏离目标,成本呈非线性上涨。
  3. 上下游类型不匹配 :模型吐自然语言,后端要的是强类型结构化数据,中间缺缓冲层,一句”好的,为您查询”就能让 JSON 解析崩掉。

高分答案的核心思路只有一句: 外层包裹内层,层层解耦,越往上越偏自治与编排,越往下越偏确定与校验。

二、生产级五层栈:从自治到确定

层级 职责 关键设计
L5 编排层 流程调度、状态持久化 状态机 / DAG Workflow 优先,ReAct 兜底
L4 模型层 意图理解、参数抽取、话术生成 多模型路由 + 结构化输出约束
L3 工具执行层 业务 API 调用 白名单、幂等、限流、参数 Schema 校验
L2 数据层 订单库、物流 API、知识库 只读副本、RAG 检索置信度阈值
L1 观测层 Trace、评测、成本核算 全链路日志 + 回归评测集

关键判断标准: 能用工作流解决的,绝不用自主 Agent。 售后退款这种强合规、可枚举的流程,天然适合状态机;只有”用户描述模糊、路径不可预知”的部分才交给模型自主决策。业界在知识问答场景也普遍采用判别式引擎与生成式引擎并行的双引擎机制,生成式负责灵活覆盖,判别式(任务式对话、FAQ)负责兜底高风险流程。

三、逐条拆解面试官的三个致命问题

问题 1:模型发疯,一分钟狂调退款 API 100 次

不要指望 Prompt 里写”请勿重复调用”能拦住它。拦截必须发生在 工具执行层 ,与模型无关:

  1. import time, json
  2. from functools import wraps
  3. WHITELIST = {"query_order", "query_logistics", "create_refund"}
  4. WRITE_OPS = {"create_refund"}
  5. def guardrail(tool_name, quota=3, window=60):
  6. def deco(fn):
  7. @wraps(fn)
  8. def wrapper(ctx, **kwargs):
  9. if tool_name not in WHITELIST:
  10. raise PermissionError(f"tool {tool_name} not allowed")
  11. # 1) 参数 Schema 强校验,非法参数直接拒绝而非"尽力猜测"
  12. json_schema_validate(tool_name, kwargs)
  13. # 2) 滑动窗口限流:单会话单位时间内调用次数上限
  14. key = f"rl:{ctx.session_id}:{tool_name}"
  15. if redis.incr(key) > quota:
  16. raise RateLimited(f"{tool_name} 调用超限,转人工")
  17. redis.expire(key, window)
  18. # 3) 写操作幂等:业务唯一键 + SETNX,重复请求返回首次结果
  19. if tool_name in WRITE_OPS:
  20. idem = f"refund:{kwargs['order_id']}:{ctx.stage}"
  21. if not redis.set(idem, "1", nx=True, ex=1800):
  22. return {"cached": True, "status": "already_submitted"}
  23. # 4) 高风险写操作强制人工确认
  24. if tool_name in WRITE_OPS and not ctx.human_approved:
  25. return {"need_confirm": True, "summary": build_summary(kwargs)}
  26. return fn(ctx, ** kwargs)
  27. return wrapper
  28. return deco

四层护栏缺一不可: 白名单 (模型只能选平台注册过的工具)、 参数校验 (不让模型自由拼字段)、 幂等 + 限流 (挡住死循环与重试风暴)、 人工确认 (金额、退款等不可逆操作必须挂 Human-in-the-loop)。另外给 Agent 设一个硬性的 max_steps(比如 8 步)和 max_refund_amount,超限直接熔断降级到人工坐席。

问题 2:要求严格 JSON,模型偶尔多吐一句寒暄

自然语言 → 结构化数据的转换,要靠”约束 + 校验 + 修复”三件套,而不是祈祷:

  • 优先用模型原生的结构化输出能力 :Function Calling / JSON Mode / 服务端 JSON Schema 约束解码,比在 Prompt 里写”只输出 JSON”可靠得多。
  • 兜底做提取与修复 :解析失败时先用正则/括号匹配抽取首个 JSON 对象,再尝试修复常见错误(尾逗号、单引号、中文标点),仍失败则带着错误信息让模型自纠一次。
  • 失败要有明确出口 :两次修复仍失败,返回业务侧定义好的降级结构,而不是抛异常。
  1. def parse_llm_json(raw: str, schema: dict, retry_fn=None):
  2. for attempt in range(3):
  3. try:
  4. return validate_and_cast(extract_json(raw), schema)
  5. except (JSONDecodeError, ValidationError) as e:
  6. if attempt == 2:
  7. logger.warning("json_parse_failed", extra={"raw": raw[:500]})
  8. return {"status": "parse_failed", "route": "human"}
  9. raw = retry_fn(str(e)) # 把校验错误回灌给模型自纠

工程上还要区分 格式错误 和 语义错误 :格式错误可自动重试,语义错误(比如订单号不存在)必须走业务分支,不能盲目重试烧 Token。

agent-">问题 3:鉴权-查单-退款-发通知四阶段,单体 Agent 扛不住

答案是 把流程从模型脑子里搬到编排引擎里 。用状态机(或 DAG 工作流)固定主干路径,模型只负责每个节点内的”理解与填参”:

  1. class RefundState(TypedDict):
  2. session_id: str
  3. user_id: str
  4. order_id: str
  5. auth_passed: bool
  6. amount: float
  7. stage: str # auth -> check -> refund -> notify
  8. human_approved: bool
  9. retry_count: int
  10. # 每个节点:模型只做抽取,不做决策;转移条件由代码写死
  11. def auth_node(s: RefundState):
  12. s["auth_passed"] = verify_identity(s["user_id"], s["session_id"])
  13. s["stage"] = "check" if s["auth_passed"] else "reject"
  14. return s
  15. def refund_node(s: RefundState):
  16. if not s["human_approved"]:
  17. return interrupt(s) # 挂起等人工/用户确认
  18. r = create_refund(order_id=s["order_id"], amount=s["amount"])
  19. s["stage"] = "notify" if r["ok"] else "refund_failed"
  20. return s

三个要点:

  1. 状态外置持久化 :每步 checkpoint 写入 Redis/DB,进程重启、会话超时后能续跑,不依赖模型上下文记忆。
  2. 节点级重试与补偿 :退款成功但通知失败,要有对账补偿任务,而不是让用户重复申请。
  3. 多 Agent 只在必要时上 :需要拆角色时,通过共享文件/共享状态传递中间产物,避免上下文互相污染,这类信息共享机制在多 Agent 协同里对生成一致性提升明显。

四、Token 成本与模型选型:别用一个旗舰模型干所有活

生产 Agent 的成本大头不是单价,而是 无效轮次 。四个立刻能省钱的动作:

  • 分层路由 :意图分类、槽位抽取用小模型/轻量模型,复杂推理与话术生成才上旗舰模型。
  • 上下文裁剪 :工具返回结果先摘要再入上下文,别把整页物流详情塞进去。
  • Prompt 瘦身 :把静态规则、 few-shot 示例做成可缓存的 system 前缀,利用前缀缓存降低重复计费。
  • 语义缓存 :高频同质问题(”我的退款到哪了”)直接命中缓存。

选型时建议横向对比不同模型的单价、上下文长度、结构化输出支持和函数调用稳定性——这一步可以在词元所上直接做,它支持模型价格与性能对比,帮你按业务场景(高并发简单分类 vs 低频复杂推理)分别挑模型,并通过统一 API 接入,避免为每个模型写一套 SDK 适配。上线后还能借助平台的模型调用管理能力,按会话维度核算 Token 消耗,定位到底是哪一层在烧钱。

五、面试可以照着说的一段话

“我会把它做成五层:最外层是状态机编排,四阶段流程写死在代码里,模型不参与流程决策;模型层只做意图识别和参数抽取,输出用 JSON Schema 强约束,解析失败走提取修复再降级人工;工具执行层统一挂护栏——白名单、参数校验、幂等键、滑动窗口限流、写操作人工确认,模型幻觉最多让它多转一圈,碰不到业务数据;数据层订单库走只读副本,知识库检索设置信度阈值,低置信度不喂给模型;最外层是观测层,全链路 Trace + 回归评测集,每次改 Prompt 都跑一遍评测再上线。模型选型上做分层路由,简单任务走小模型,复杂决策走旗舰模型,成本能压下来一个量级。”

六、上线前检查清单

  • 工具白名单与参数 JSON Schema 是否齐全
  • 所有写操作是否幂等 + 限流 + 金额阈值
  • 是否有 max_steps 熔断与人工兜底通道
  • 结构化输出是否有解析失败降级路径
  • 流程状态是否外置持久化、可断点续跑
  • 是否有失败补偿/对账任务
  • 是否接入 Trace 与回归评测集
  • 是否做过模型分层路由与成本基线测算

一句话总结: Agent 落地的成熟度,不看你用了多强的模型,而看你为它的不可控性准备了多少确定性护栏。