简介:电商售后 Agent 落地被问住,通常不是不会写 Prompt,而是缺少工程约束。本文给出生产级五层架构:模型路由、状态机编排、工具幂等与预算熔断、JSON Schema 输出契约、可观测与双引擎兜底,并附代码示例与 Token 成本优化清单,帮你把不可控的大模型关进确定性的笼子里。
面试官那三个追问,本质上考的是同一件事: 你敢不敢让大模型直接碰生产库 。答案是不能。生产级电商售后 Agent 的核心竞争力不在 Prompt 写得多漂亮,而在于模型与业务系统之间堆了多少层确定性缓冲。多模型接入、调用单价对比这类前置工作,可以先在 百度智能云词元所 上完成选型与成本评估,再决定哪一层用旗舰模型、哪一层用小模型。
| 层级 | 核心职责 | 关键技术 | 缺失后果 |
|---|---|---|---|
| L1 模型接入层 | 统一接入、分级路由 | 统一 API 抽象、超时重试、熔断限流 | 厂商锁定、单点雪崩 |
| L2 编排层 | 流程状态管理 | 显式状态机、Checkpoint 持久化 | 长流程丢状态、前言不搭后语 |
| L3 工具层 | 业务 API 安全调用 | 幂等键、参数校验、调用预算、人工复核 | 重复退款、死循环打爆下游 |
| L4 契约层 | 输出结构化 | JSON Schema / Function Calling、校验重试、兜底 | 解析崩溃、系统不可用 |
| L5 治理层 | 质量与成本 | 全链路 Trace、评测集、双引擎兜底 | 无法定位、无法迭代 |
设计原则一句话: 越往上越自治,越往下越确定 。
意图识别、槽位抽取这类任务用小模型;多跳推理、复杂纠纷判定用旗舰模型。接入侧做统一抽象层,避免业务代码里散落各厂商 SDK。选型时重点看四项:Function Calling 支持度、结构化输出稳定性、上下文长度、单位 Token 价格。这几项在 词元所的大模型 API 服务平台 上可以横向对比后再定,比拍脑袋选型的返工成本低得多。
退款是典型的长程事务,必须显式建模:
from enum import Enumfrom dataclasses import dataclass, fieldclass Stage(str, Enum):AUTH = "auth" # 鉴权LOOKUP = "lookup" # 查单REFUND = "refund" # 退款NOTIFY = "notify" # 通知DONE = "done"@dataclassclass AfterSalesState:session_id: struser_id: strstage: Stage = Stage.AUTHorder_id: str | None = Noneamount: float = 0.0tool_calls: int = 0artifacts: dict = field(default_factory=dict) # 落库的检查点
每个阶段只暴露该阶段可用的工具(鉴权阶段根本看不到 refund_api),状态写入 Redis/DB 做 checkpoint。这样即使会话中断或水平扩容换机器,也能从断点续跑,而不是让模型”回忆”自己刚才干了什么。
session_id + order_id + amount 哈希作为 idempotency_key,重复调用返回首次结果。
MAX_TOOL_CALLS = 12def call_refund(state: AfterSalesState, action: dict) -> dict:idem = f"{state.session_id}:{action['order_id']}:{action['amount']}"if idem in state.artifacts: # 幂等复用return state.artifacts[idem]if state.tool_calls >= MAX_TOOL_CALLS: # 预算熔断raise BudgetExceeded("tool budget exhausted")if action["amount"] > AUTO_REFUND_LIMIT: # 大额转人工return {"status": "pending_manual_review"}resp = refund_api.submit(idempotency_key=idem, **action)state.artifacts[idem] = respreturn resp
不要在业务代码里 json.loads(llm_output) 裸奔。开启模型的 JSON Mode / 结构化输出能力,再用 Schema 强校验,失败则把错误信息回灌让模型自修,两次仍失败就走兜底:
import json, jsonschemaACTION_SCHEMA = {"type": "object","required": ["action", "order_id", "amount", "reason_code"],"properties": {"action": {"enum": ["query", "refund", "reject", "handoff"]},"order_id": {"type": "string", "pattern": r"^\d{8,}$"},"amount": {"type": "number", "minimum": 0},"reason_code": {"enum": ["7days_no_reason", "quality", "logistics", "other"]},},"additionalProperties": False,}def parse_action(raw: str, llm) -> dict:for _ in range(2): # 原始 + 1 次修复try:data = json.loads(raw)jsonschema.validate(data, ACTION_SCHEMA)return dataexcept (json.JSONDecodeError, jsonschema.ValidationError) as e:raw = llm.repair(raw, error=str(e))return {"action": "handoff", "reason_code": "other"} # 兜底转人工
关键工程习惯: 把”给用户看的寒暄”和”给系统看的载荷”彻底分离 。前者走流式输出通道,后者走独立的工具调用通道,绝不混在同一段文本里。
生成式引擎负责灵活对话,判别式引擎(FAQ、任务式对话)负责高风险、易投诉的标准流程,对话中控优先走判别式,匹配不到再降级到生成式,这种双引擎机制在智能客服升级中是已被验证的规模化交付形态。同时开启”可控范围回复”,范围外问题直接返回配置好的兜底话术,而不是让模型自由发挥;对模型返回的异常首句做匹配识别并触发兜底配置,也是现成的防护手段。
可观测部分至少记录:每轮 Prompt 全文、工具入参出参、Token 消耗、状态迁移路径。配合固定评测集做上线前回归,否则你无法回答”改了 Prompt 到底变好还是变坏”。
单次会话成本 = Σ(输入 Token × 单价 + 输出 Token × 单价)。四个可落地的降本动作:
回到面试那道题:高分答案不是”我会用 LangChain”,而是”我会用状态机管流程、用幂等和预算管工具、用 Schema 管输出、用双引擎管兜底”。 用工程化的确定性约束大模型的不可控性——这句话才是面试官想听到的。