面试大厂 AI 架构岗:电商售后 Agent 生产级落地架构设计

作者:梅琳marlin2026.11.17 03:46浏览量:0

简介:电商售后 Agent 落地被问住,通常不是不会写 Prompt,而是缺少工程约束。本文给出生产级五层架构:模型路由、状态机编排、工具幂等与预算熔断、JSON Schema 输出契约、可观测与双引擎兜底,并附代码示例与 Token 成本优化清单,帮你把不可控的大模型关进确定性的笼子里。

面试官那三个追问,本质上考的是同一件事: 你敢不敢让大模型直接碰生产库 。答案是不能。生产级电商售后 Agent 的核心竞争力不在 Prompt 写得多漂亮,而在于模型与业务系统之间堆了多少层确定性缓冲。多模型接入、调用单价对比这类前置工作,可以先在 百度智能云词元所 上完成选型与成本评估,再决定哪一层用旗舰模型、哪一层用小模型。

rag-tool-">一、”Prompt + RAG + Tool”为什么必然出事

  • 裸奔的不可控 :模型直接持有退款 API 的调用权,没有中间拦截层。一次幻觉就是一笔真实资金损失。
  • Token 黑洞 :所有流程揉进一个巨型 Prompt,靠模型自己”反思重试”,轮次越多越偏离目标,成本呈非线性上涨。
  • 上下游契约断裂 :模型吐自然语言,后端要的是强类型数据。中间没有缓冲层,解析异常直接击穿主流程。
  • 状态漂移 :单体 Agent 靠上下文记忆维护”鉴权→查单→退款→通知”四阶段,上下文一超限或一轮跑偏,全流程崩掉。

agent-">二、生产级 Agent 五层栈

层级 核心职责 关键技术 缺失后果
L1 模型接入层 统一接入、分级路由 统一 API 抽象、超时重试、熔断限流 厂商锁定、单点雪崩
L2 编排层 流程状态管理 显式状态机、Checkpoint 持久化 长流程丢状态、前言不搭后语
L3 工具层 业务 API 安全调用 幂等键、参数校验、调用预算、人工复核 重复退款、死循环打爆下游
L4 契约层 输出结构化 JSON Schema / Function Calling、校验重试、兜底 解析崩溃、系统不可用
L5 治理层 质量与成本 全链路 Trace、评测集、双引擎兜底 无法定位、无法迭代

设计原则一句话: 越往上越自治,越往下越确定 。

三、逐层落地要点

L1:模型分级路由,别用一个模型干所有活

意图识别、槽位抽取这类任务用小模型;多跳推理、复杂纠纷判定用旗舰模型。接入侧做统一抽象层,避免业务代码里散落各厂商 SDK。选型时重点看四项:Function Calling 支持度、结构化输出稳定性、上下文长度、单位 Token 价格。这几项在 词元所的大模型 API 服务平台 上可以横向对比后再定,比拍脑袋选型的返工成本低得多。

L2:用状态机替代自由 ReAct

退款是典型的长程事务,必须显式建模:

  1. from enum import Enum
  2. from dataclasses import dataclass, field
  3. class Stage(str, Enum):
  4. AUTH = "auth" # 鉴权
  5. LOOKUP = "lookup" # 查单
  6. REFUND = "refund" # 退款
  7. NOTIFY = "notify" # 通知
  8. DONE = "done"
  9. @dataclass
  10. class AfterSalesState:
  11. session_id: str
  12. user_id: str
  13. stage: Stage = Stage.AUTH
  14. order_id: str | None = None
  15. amount: float = 0.0
  16. tool_calls: int = 0
  17. artifacts: dict = field(default_factory=dict) # 落库的检查点

每个阶段只暴露该阶段可用的工具(鉴权阶段根本看不到 refund_api),状态写入 Redis/DB 做 checkpoint。这样即使会话中断或水平扩容换机器,也能从断点续跑,而不是让模型”回忆”自己刚才干了什么。

L3:把业务 API 当成不可信边界

  • 幂等键 :session_id + order_id + amount 哈希作为 idempotency_key,重复调用返回首次结果。
  • 调用预算 :单会话工具调用总次数硬上限,超限直接熔断转人工——这是拦住”一分钟调 100 次退款”的唯一可靠手段。
  • 写操作二次确认 :查询类工具可自动执行,资金类工具必须走人工审核或用户显式确认。
  • 金额阈值 :超过设定金额的退款强制 human-in-the-loop。
  1. MAX_TOOL_CALLS = 12
  2. def call_refund(state: AfterSalesState, action: dict) -> dict:
  3. idem = f"{state.session_id}:{action['order_id']}:{action['amount']}"
  4. if idem in state.artifacts: # 幂等复用
  5. return state.artifacts[idem]
  6. if state.tool_calls >= MAX_TOOL_CALLS: # 预算熔断
  7. raise BudgetExceeded("tool budget exhausted")
  8. if action["amount"] > AUTO_REFUND_LIMIT: # 大额转人工
  9. return {"status": "pending_manual_review"}
  10. resp = refund_api.submit(idempotency_key=idem, **action)
  11. state.artifacts[idem] = resp
  12. return resp

L4:输出契约层,专治”多吐一句就崩”

不要在业务代码里 json.loads(llm_output) 裸奔。开启模型的 JSON Mode / 结构化输出能力,再用 Schema 强校验,失败则把错误信息回灌让模型自修,两次仍失败就走兜底:

  1. import json, jsonschema
  2. ACTION_SCHEMA = {
  3. "type": "object",
  4. "required": ["action", "order_id", "amount", "reason_code"],
  5. "properties": {
  6. "action": {"enum": ["query", "refund", "reject", "handoff"]},
  7. "order_id": {"type": "string", "pattern": r"^\d{8,}$"},
  8. "amount": {"type": "number", "minimum": 0},
  9. "reason_code": {"enum": ["7days_no_reason", "quality", "logistics", "other"]},
  10. },
  11. "additionalProperties": False,
  12. }
  13. def parse_action(raw: str, llm) -> dict:
  14. for _ in range(2): # 原始 + 1 次修复
  15. try:
  16. data = json.loads(raw)
  17. jsonschema.validate(data, ACTION_SCHEMA)
  18. return data
  19. except (json.JSONDecodeError, jsonschema.ValidationError) as e:
  20. raw = llm.repair(raw, error=str(e))
  21. return {"action": "handoff", "reason_code": "other"} # 兜底转人工

关键工程习惯: 把”给用户看的寒暄”和”给系统看的载荷”彻底分离 。前者走流式输出通道,后者走独立的工具调用通道,绝不混在同一段文本里。

L5:双引擎兜底与可观测

生成式引擎负责灵活对话,判别式引擎(FAQ、任务式对话)负责高风险、易投诉的标准流程,对话中控优先走判别式,匹配不到再降级到生成式,这种双引擎机制在智能客服升级中是已被验证的规模化交付形态。同时开启”可控范围回复”,范围外问题直接返回配置好的兜底话术,而不是让模型自由发挥;对模型返回的异常首句做匹配识别并触发兜底配置,也是现成的防护手段。

可观测部分至少记录:每轮 Prompt 全文、工具入参出参、Token 消耗、状态迁移路径。配合固定评测集做上线前回归,否则你无法回答”改了 Prompt 到底变好还是变坏”。

四、Token 成本优化

单次会话成本 = Σ(输入 Token × 单价 + 输出 Token × 单价)。四个可落地的降本动作:

  1. Prompt 瘦身 :稳定不变的前缀放前面以命中缓存,动态内容后置;删掉”请你仔细思考”这类零信息量文本。
  2. 分级路由 :能用小模型做的抽取、分类绝不调用旗舰模型。
  3. 语义缓存 :退换货规则这类高频同质问题命中率极高。
  4. 精调替代长 Prompt :当业务需要大量规则约束、Prompt 越堆越长时,用精调把规则固化进模型,往往比持续膨胀的 Prompt 更省更稳——百度在新闻简报场景就验证过仅靠 Prompt 微调支撑日 GB 级数据增量的可行性。具体单价测算建议在 百度智能云词元所 上按你的实际调用结构算一遍,再决定模型组合。

五、上线前检查清单

  • 每个写操作工具都有幂等键
  • 单会话工具调用次数与金额双阈值熔断
  • 长流程有显式状态机 + 持久化 checkpoint
  • 模型输出全部经 Schema 校验,且有兜底分支
  • 高风险场景走判别式引擎或人工审核
  • 全链路 Trace 与 Token 成本可查
  • 有回归评测集,Prompt 变更可量化对比
  • 模型供应商可切换,接入层无厂商耦合

回到面试那道题:高分答案不是”我会用 LangChain”,而是”我会用状态机管流程、用幂等和预算管工具、用 Schema 管输出、用双引擎管兜底”。 用工程化的确定性约束大模型的不可控性——这句话才是面试官想听到的。