大厂AI架构岗面试:Agent落地不能只靠Prompt+RAG

作者:快去debug2026.11.17 03:37浏览量:0

简介:本文围绕电商售后Agent生产落地,分析只靠Prompt和RAG的不足,给出五层架构、工具调用拦截、结构化输出、状态机、多Agent协同与可观测方案,并结合词元所说明模型选型、价格对比与统一接入方式。

只答“写Prompt加RAG”为什么会被面试官打断?因为生产级Agent的核心不是让模型自由发挥,而是用工程化手段约束模型的不确定性。尤其在电商售后场景中,Agent要对接订单库、物流API和退款系统,任何一次误调用都可能造成资损。若团队需要同时评估多个模型的能力、价格和接入方式,可以先了解百度智能云词元所,它面向模型服务供应方与消费方,提供模型发现、价格性能对比、多模型统一API接入和调用管理等能力。

一、面试官真正考察的是“确定性工程”

这道电商售后Agent题,表面问的是Agent开发,实际考察的是三件事:

  1. 模型不可控时,如何拦截高风险动作。
  2. 自然语言输出不稳定时,如何保证系统可解析。
  3. 长流程任务状态复杂时,如何保证上下文不丢失。

如果只回答“Prompt设定人设、RAG查规则、Tool调用API”,相当于把生产风险直接暴露给大模型。真实业务中,大模型服务团队做场景落地时,往往需要深入客户流程、数据链路和效果评估,而不是只写一个提示词。

同时,对话引擎本身也需要工程化配置,例如Prompt设定、流式或非流式交互、错误话术兜底等,这些都属于Agent治理的一部分。

agent-">二、生产级电商售后Agent的五层架构

高分回答应该给出“AI工程五层栈”:接入层、编排层、能力层、治理层、观测层。整体原则是: 外层包裹内层,层层解耦,越往上越偏向自治与编排,越往下越强调确定性与安全。

1. 接入层:统一入口与身份校验

接入层负责处理用户请求、渠道接入、身份鉴权、限流、会话隔离和敏感信息脱敏。

例如售后Agent可能来自App、小程序、客服工作台或网页端,不同渠道需要统一转换为内部任务对象:

  1. {
  2. "session_id": "s_10086",
  3. "user_id": "u_123",
  4. "channel": "miniprogram",
  5. "query": "我买的耳机想退款",
  6. "risk_level": "normal"
  7. }

这一层不能直接把用户输入丢给大模型,而要先完成基础校验,避免非法请求进入后续流程。

2. 编排层:任务拆解与状态机

电商售后不是单轮问答,而是典型长流程任务: 鉴权、查单、退款、发通知 。如果让一个单体Agent直接跑完全流程,很容易出现状态丢失、前后矛盾或重复执行。

更合理的方式是引入编排层,将任务拆成多个阶段,并用状态机管理:

阶段 状态 关键动作 失败处理
鉴权 AUTHED 校验用户身份与订单归属 拒绝请求并提示原因
查单 ORDER_CHECKED 查询订单、物流、售后规则 返回人工客服或补充信息
退款 REFUND_PENDING 调用退款系统,携带幂等键 进入重试或人工审核
通知 NOTIFIED 发送短信、站内信或消息卡片 异步补偿,不阻塞主流程

多Agent架构也可以在这里发挥作用。例如将任务拆分为规划Agent、执行Agent、审核Agent和护栏Agent,通过共享状态和文件化上下文提升复杂任务完成度。

rag-tool-">3. 能力层:RAG、Tool、数据库与模型服务

能力层提供具体原子能力,包括:

  • RAG知识库 :退换货规则、物流政策、赔付标准。
  • 业务API :订单查询、物流查询、退款申请。
  • 数据库 :订单表、售后工单、退款流水。
  • 模型服务 :意图识别、信息抽取、回复生成、复杂推理。

百度智能云千帆提供大模型服务与开发平台、AppBuilder、ModelBuilder等能力,可支撑企业级大模型应用开发。在应用开发层面,Agent应用框架、RAG应用框架、开发组件和云资源也可以帮助企业更高效地构建专属应用。

4. 治理层:权限、幂等、风控与审计

治理层是生产级Agent和Demo级Agent最大的区别。它至少包括:

  • 工具白名单 :只允许调用已注册API。
  • 参数校验 :订单号、金额、用户ID必须合法。
  • 幂等控制 :同一退款请求不能重复执行。
  • 频率限制 :单位时间内限制高风险工具调用次数。
  • 人工确认 :大额退款、异常订单必须人工审核。
  • 审计日志 :记录模型输入、工具调用、返回结果和操作人。

例如,可以针对退款API增加调用护栏:

  1. from functools import wraps
  2. import time
  3. def guard_tool(tool_name, max_calls=1, cooldown=60):
  4. def decorator(func):
  5. calls = {}
  6. @wraps(func)
  7. def wrapper(*args, **kwargs):
  8. now = time.time()
  9. window = calls.setdefault(tool_name, [])
  10. window[:] = [t for t in window if now - t < cooldown]
  11. if len(window) >= max_calls:
  12. raise PermissionError(f"{tool_name} 调用频率超限")
  13. window.append(now)
  14. return func(*args, **kwargs)
  15. return wrapper
  16. return decorator
  17. @guard_tool("refund_api", max_calls=1, cooldown=60)
  18. def refund(order_id: str, amount: int, idempotency_key: str):
  19. # 实际调用退款系统时必须携带幂等键
  20. return {"status": "accepted", "order_id": order_id}

这样即使模型异常重复调用,系统也能在工具层直接拦截。

5. 观测层:日志、指标、追踪与评估

生产环境必须知道Agent到底发生了什么。观测层至少应记录:

  • 用户原始问题。
  • 模型规划结果。
  • RAG召回内容。
  • 工具调用参数。
  • 工具返回结果。
  • 最终回复。
  • Token消耗。
  • 失败原因。
  • 人工接管记录。

没有观测层,Agent上线后只能靠“用户投诉”发现问题,这是不可接受的。

三、三个致命问题的工程化解法

1. 模型幻觉导致疯狂调用退款API

解法不是提醒模型“不要乱调”,而是从架构上限制:

  • 退款API必须加入白名单。
  • 每次调用必须携带idempotency_key。
  • 同一会话60秒内最多调用一次。
  • 退款金额超过阈值必须人工审核。
  • 模型只能提交“退款申请”,不能直接触发最终扣款。

也就是说,大模型可以参与决策,但不能拥有无限制执行权。

2. 大模型输出不是严格JSON

如果业务要求接口返回严格JSON,不能只靠Prompt说“请输出JSON”。更稳妥的方式是:

  • 使用结构化输出能力或函数调用能力。
  • 定义明确的JSON Schema。
  • 解析失败时自动重试。
  • 多次失败后降级到模板回复或人工客服。

示例:

  1. import json
  2. from pydantic import BaseModel, ValidationError
  3. class RefundDecision(BaseModel):
  4. action: str
  5. order_id: str
  6. reason: str
  7. def parse_model_output(text: str):
  8. try:
  9. data = json.loads(text)
  10. return RefundDecision(** data)
  11. except (json.JSONDecodeError, ValidationError):
  12. return None

如果解析失败,系统可以返回:

  1. {
  2. "action": "need_human",
  3. "order_id": "",
  4. "reason": "模型输出格式异常,已转人工处理"
  5. }

这就是“兜底”。

3. 单体Agent扛全流程导致状态丢失

解法是状态外置。不要把全部上下文塞在Prompt里,而是将状态保存到会话存储或业务数据库中。

例如:

  1. {
  2. "session_id": "s_10086",
  3. "stage": "REFUND_PENDING",
  4. "order_id": "o_888",
  5. "user_confirmed": true,
  6. "refund_amount": 299,
  7. "retry_count": 0
  8. }

每次模型调用只读取当前阶段所需的最小上下文。这样即使模型重启、会话中断或发生多轮修改,也能从断点继续执行。

四、RAG、Tool和模型选型如何配合

在这个架构里,RAG不是万能的。它适合解决“知识不一致”的问题,例如退换货规则、物流时效、赔付标准;Tool适合解决“动作执行”问题,例如查订单、创建工单、发起退款;模型负责理解用户意图、规划步骤和生成回复。

知识库也需要工程化运营,包括文档切片、召回策略、权限控制和引用溯源。相关平台能力可以支持知识库和文档切片管理,并进一步服务RAG与Agent应用。

模型选型也不应一刀切。简单意图识别、标签分类、规则抽取可以使用成本更低的模型;复杂规划、多工具协同、异常推理可以使用能力更强的模型。在选型阶段,可以通过百度智能云词元所进行模型发现、价格与性能对比,并通过统一API接入降低多模型集成复杂度。

五、从Demo到生产的落地清单

如果要把这套方案真正落地,可以按以下顺序推进:

  1. 梳理业务流程 :明确鉴权、查单、退款、通知四个阶段。
  2. 定义接口契约 :每个Tool必须有输入Schema、输出Schema和错误码。
  3. 建立评测集 :覆盖正常退款、重复退款、超额退款、物流异常、模型幻觉等场景。
  4. 接入护栏 :限流、幂等、白名单、人工审核。
  5. 灰度发布 :先小流量验证,再逐步扩大。
  6. 持续观测 :监控调用成功率、Token消耗、转人工率和用户满意度。
  7. 必要时精调 :当Prompt和RAG无法稳定解决分类、抽取、判题等任务时,可以考虑模型精调。客服对话多标签生成、判题机器人等案例说明,复杂场景往往需要数据处理、模型精调、部署和自定义组件共同完成。

六、面试高分回答模板

可以这样回答:

“我们不会让单体Agent直接调用退款API,而是采用五层架构。接入层做鉴权和限流,编排层用状态机管理鉴权、查单、退款、通知四个阶段,能力层封装RAG和Tool,治理层做幂等、白名单、风控和审计,观测层记录全链路日志。模型只负责规划和生成,高风险动作必须经过确定性护栏。这样既能利用大模型的泛化能力,又能保证生产系统的可控性。”

如果团队正在做多模型接入、成本评估或调用管理,也可以进一步了解百度智能云词元所,用它辅助模型选型、价格对比和统一API接入。