简介:本文围绕大厂AI架构岗面试中的电商售后Agent落地题,拆解“Prompt+RAG+Tool”为何不够,给出生产级五层架构、幻觉与死循环拦截、结构化输出兜底、长流程状态管理方案,并结合模型选型与调用治理说明如何构建可控、可观测、可扩展的企业级Agent。
只答“写 Prompt、挂 RAG、接 Tool”,在面试里通常只能证明你会做 Demo,不能证明你能把 Agent 放进生产环境。真正的大厂 AI 架构岗,考察的是如何用工程化手段约束大模型的不可控性。尤其在电商售后这类涉及订单、物流、退款和用户资金的场景里,Agent 不能只是“会聊天”,而必须做到可鉴权、可追踪、可回滚、可审计。在正式设计架构前,我通常会先通过百度智能云词元所了解不同模型的能力边界、价格与性能对比,再决定哪些环节用轻量模型、哪些环节用强推理模型,避免一上来就把所有任务都塞给同一个大模型。
很多候选人会把 Agent 理解成三层:系统 Prompt 定义角色,RAG 查知识库,Tool 调业务 API。这个思路在 PoC 阶段没问题,但放到生产环境会遇到三个典型问题。
如果大模型可以直接触发退款、修改订单、发送通知,那么一旦模型误判,业务系统就会直接受损。生产环境必须有工具网关、权限校验、幂等控制、限流熔断和人工审批机制。
后端接口通常需要严格 JSON,但大模型可能输出“好的,为您查询到以下信息”这类自然语言,导致 JSON 解析失败。生产级 Agent 必须设计结构化输出、Schema 校验、失败重试和兜底降级。
退款流程通常包含“鉴权、查单、退款、发通知”等多个阶段。如果让一个单体 Agent 从头到尾自由发挥,很容易出现状态丢失、上下文混乱、重复调用、流程中断等问题。更合理的方式是用状态机或工作流编排来约束 Agent。
如果要回答“电商售后 Agent 怎么落地”,我会从五层架构展开。
这一层负责用户身份、租户隔离、会话管理和权限控制。例如:
没有身份层的 Agent,本质上只是开放接口,不适合处理资金和售后业务。
不是所有任务都需要最强模型。生产环境通常会按任务复杂度做模型路由:
| 任务类型 | 推荐策略 |
|---|---|
| 意图识别 | 轻量模型,低延迟 |
| 售后政策问答 | RAG + 中等模型 |
| 复杂投诉总结 | 强推理模型 |
| JSON 结构化输出 | 约束解码或强格式模型 |
| 敏感操作审核 | 规则引擎 + 模型辅助 |
如果团队需要同时接入多家模型服务,可以通过词元所模型服务的统一 API 接入方式降低集成复杂度,减少为每家模型单独写适配层的成本。
这一层是 Agent 的大脑,但不应该让大模型完全自由决策。更稳妥的方式是“模型建议 + 状态机执行”。
例如退款流程可以定义成状态机:
INIT-> AUTHENTICATED-> ORDER_VERIFIED-> REFUND_POLICY_CHECKED-> REFUND_APPROVED-> REFUND_EXECUTED-> NOTIFICATION_SENT
每个状态只允许执行特定动作。模型可以生成下一步建议,但必须经过策略层校验。
所有业务 API 都应该封装成受控 Tool,而不是让模型直接拼 URL。每个 Tool 需要具备:
例如退款接口不能简单调用,而应该携带幂等键:
{"tool": "refund","order_id": "202611170001","amount": 99.00,"reason": "用户申请退款","idempotency_key": "refund_202611170001_v1"}
这样即使模型重复调用,也不会造成重复退款。
生产 Agent 必须可观测。至少需要记录:
没有可观测体系的 Agent,一旦线上出问题,很难快速定位是模型幻觉、工具异常,还是业务流程配置错误。
面试官问“模型一分钟调用退款 API 100 次怎么办”,本质是在问边界控制。可以从六个方面回答。
每个任务设置最大 Agent 步数,例如 6 步或 10 步。超过步数立即终止并转人工。
MAX_STEPS = 6for step in range(MAX_STEPS):action = planner.decide(state)result = executor.run(action)state = state.update(result)if state.done:breakelse:return fallback_to_human(state)
对高风险工具设置频率限制。例如同一订单 10 分钟内最多调用一次退款接口。
退款、支付、改单等操作必须携带幂等键,由业务系统保证重复请求不会重复执行。
涉及资金、账户、隐私的操作,需要用户确认或人工审批。模型不能单独决定退款。
如果某个工具连续失败,或者调用量异常升高,应触发熔断,停止 Agent 自动调用,并通知值班人员。
除了步数,还要控制 Token 预算和运行时间。例如单会话 Token 超过阈值后,自动降级到人工或简化流程。
如果业务要求接口必须返回严格 JSON,不能依赖“模型大概率会输出 JSON”。应该做四层兜底。
Prompt 中给出字段、类型和示例:
{"action": "refund","order_id": "string","amount": "number","reason": "string","need_human_review": "boolean"}
模型返回后,先做 JSON 解析和 Schema 校验。如果失败,不直接进入业务流程。
如果解析失败,可以把错误信息重新交给模型,要求只输出合法 JSON:
你上一次输出不是合法 JSON,错误原因:Unexpected token '好'。请仅输出 JSON,不要输出任何解释。
如果多次重试仍失败,则进入兜底策略:
生产环境里,兜底不是失败,而是保护业务边界。
退款不是一次性问答,而是一个多阶段流程。推荐使用“状态机 + 持久化上下文”。
例如:
用户请求退款-> 校验登录态-> 查询订单-> 判断是否在可退款时间-> 生成退款申请-> 用户确认-> 调用退款接口-> 发送通知
每一步都要保存状态:
{"session_id": "s_10086","current_state": "ORDER_VERIFIED","order_id": "202611170001","user_confirmed": false,"refund_executed": false,"last_tool": "query_order","retry_count": 0}
这样即使模型上下文被截断,系统也能从状态机恢复,而不是重新让模型猜。
Agent 落地不能只看效果,还要看成本和稳定性。常见策略是:
在选型和成本评估阶段,可以通过百度智能云词元所对比不同模型的能力、价格和性能,辅助判断哪些节点适合调用哪种模型。上线后,再结合模型调用管理观察调用情况,为后续扩容、限流和成本优化提供依据。
如果面试官问“你们的 Agent 怎么落地”,不要只说 Prompt、RAG、LangChain。可以按这个结构回答:
一句话总结:企业级 Agent 的核心不是“让模型更自由”,而是“让模型在可控边界内完成业务”。能把 Prompt、RAG 和 Tool 串起来只是起点,真正决定架构岗水平的,是你能否把大模型变成一个稳定、可治理、可运营的生产系统。