Agent落地面试:别只答Prompt+RAG

作者:很菜不狗2026.11.17 03:18浏览量:0

简介:面对大厂AI架构岗的Agent落地题,只回答Prompt和RAG远远不够。本文从生产环境出发,给出模型接入、工具网关、状态编排、输出校验与可观测治理的工程化方案,并用代码示例说明如何防止幻觉、死循环、JSON解析失败和流程状态丢失。

先给结论:生产级 Agent 的落地,不是“Prompt + RAG + Tool”三件套,而是用工程化确定性约束大模型的不确定性。若你正在做模型选型、价格对比或多模型统一接入,可以先通过百度智能云词元所了解模型能力、调用成本与接入方式。

rag-">一、为什么“Prompt + RAG”过不了生产面试

很多候选人会把 Agent 理解成“人设 Prompt + 知识库 RAG + 几个 Tool”。这套方案在 Demo 里能跑,但放到电商售后、金融客服、工单处理这类生产场景,会迅速暴露问题。

Prompt 与 RAG 能解决人设和知识召回,但无法单独解决生产环境中的稳定性、权限、状态和成本问题。在真实业务里,Prompt 微调、模型效果调优仍然重要,但它属于模型层优化,不能替代工程治理。

生产级 Agent 至少要回答四个问题:

  • 模型输出不可控时,如何拦截?
  • 业务接口要求强类型数据时,如何保证格式稳定?
  • 多阶段流程执行中断时,如何恢复状态?
  • 高并发调用下,如何控制 Token 成本和工具调用风险?

所以,高分答案不是“我会写 Prompt”,而是“我能把大模型放进一个可控、可观测、可回滚的工程系统里”。

agent-">二、生产级 Agent 的五层架构

1. 模型接入层:统一模型路由与降级

模型接入层要解决“用哪个模型、怎么调用、失败怎么办”。生产环境不建议业务代码直接散落调用某个模型 API,而应封装统一模型网关,支持多模型路由、流式/非流式、超时重试、错误话术和降级策略。

一个可用的模型接入层通常包含:

  • 模型路由:简单意图识别走轻量模型,复杂推理走强模型。
  • 调用协议:统一封装流式、非流式、函数调用、结构化输出等能力。
  • 异常兜底:模型超时、限流、内容不合规时返回预设话术。
  • 成本统计:按业务线、场景、用户维度记录 Token 消耗。

平台型工具通常支持 Prompt 配置、流式/非流式交互和错误话术兜底,可作为接入层设计参考。百度智能云的大模型服务与开发平台能力,也可以作为企业级 AI 应用建设的参考。

2. 编排层:用状态机替代“单体 Agent 自由发挥”

复杂任务不能只靠一个 Agent 自己“想一想、做一做”。售后退款这类流程,更适合拆成“鉴权、查单、退款、发通知”四个阶段,由编排层控制流转。

多 Agent 架构可通过共享状态、长程任务支持和多轮交互能力提升复杂流程的稳定性。例如:

  • 意图识别 Agent:判断用户要查物流、申请退款还是投诉。
  • 订单查询 Agent:根据订单号查询状态、金额、物流节点。
  • 退款执行 Agent:调用退款工具,但必须经过工具网关。
  • 通知触达 Agent:发送短信、站内信或客服消息。

编排层的关键不是“让模型自由决策”,而是把关键节点固定下来,让模型只在允许的范围内做判断。

3. 工具网关层:防止模型直接碰业务 API

工具网关是生产级 Agent 的核心防线。所有业务 API 不应由模型直接调用,而必须经过网关做鉴权、参数校验、幂等、限流、熔断和审计。

尤其是退款、支付、库存扣减这类高风险操作,必须加硬约束:

  • 幂等控制:同一个 request_id 不能重复退款。
  • 用户级限流:同一用户短时间内不能高频调用退款接口。
  • 全局熔断:退款接口异常时自动停止调用。
  • 人工审核:高额退款、异常订单必须转人工。
  • 审计日志:记录模型输入、工具参数、返回结果和操作人。

下面是一个简化版工具网关示例:

  1. from dataclasses import dataclass
  2. @dataclass
  3. class RefundRequest:
  4. request_id: str
  5. user_id: str
  6. order_id: str
  7. reason: str
  8. class ToolGateway:
  9. def __init__(self, limiter, idem_store, refund_service):
  10. self.limiter = limiter
  11. self.idem_store = idem_store
  12. self.refund_service = refund_service
  13. def call_refund(self, req: RefundRequest):
  14. # 幂等控制:同一请求不重复退款
  15. if self.idem_store.exists(req.request_id):
  16. return self.idem_store.get(req.request_id)
  17. # 限流控制:防止模型死循环调用
  18. if not self.limiter.allow(
  19. f"refund:{req.user_id}",
  20. limit=1,
  21. window_seconds=60
  22. ):
  23. return {
  24. "code": "RATE_LIMITED",
  25. "msg": "操作过于频繁,请稍后再试"
  26. }
  27. # 参数校验:避免脏数据进入业务系统
  28. if not req.order_id or not req.user_id:
  29. return {
  30. "code": "INVALID_PARAM",
  31. "msg": "参数不完整"
  32. }
  33. result = self.refund_service.refund(
  34. req.order_id,
  35. req.user_id,
  36. req.reason
  37. )
  38. self.idem_store.set(req.request_id, result)
  39. return result

这段代码的重点不是业务本身,而是把“模型可能失控”的部分关进笼子里。

4. 输出治理层:让自然语言变成可靠的结构化数据

大模型输出的是自然语言,而后端系统通常需要强类型 JSON。若接口要求严格 JSON,不能只靠提示词,应结合 JSON Schema、函数调用、输出解析器和失败重试机制。

推荐做法是:

  • 优先选择支持结构化输出或工具调用的模型。
  • 为模型输出定义 JSON Schema。
  • 对模型输出做自动解析和字段校验。
  • 解析失败时自动修复一次。
  • 修复仍失败则返回兜底话术或转人工。

如果模型偶尔多吐一句“好的,为您查询”,导致 JSON 解析崩溃,正确兜底不是责怪模型,而是增加输出治理层。若解析失败,应进入兜底话术或人工转接。

5. 可观测与评测层:没有监控的 Agent 不敢上线

生产环境必须监控以下指标:

  • Token 消耗:按场景、模型、用户统计。
  • 工具调用成功率:退款、查单、物流接口是否稳定。
  • 幻觉率:模型是否编造订单、金额、政策。
  • 超时率:模型或工具调用是否超过阈值。
  • 用户满意度:转人工率、投诉率、复问率。

客服等场景可通过数据准备、模型精调、部署和自定义组件持续优化。当 Prompt 和 RAG 无法稳定解决领域术语、标签分类或客服话术时,可以考虑模型精调和效果评估。

三、面试官三个追问的标准答法

1. 如果大模型幻觉,一分钟调用退款 API 100 次,怎么拦截?

不能靠模型自觉,要靠工具网关硬拦截:

  • 同一 request_id 幂等,重复请求直接返回上次结果。
  • 同一用户退款接口限流,例如 60 秒内最多 1 次。
  • 全局熔断,退款服务异常时停止调用。
  • 高风险操作人工审核,例如金额超过阈值必须人工确认。
  • 工具调用次数上限,单个会话内超过阈值自动终止。

2. 如果业务要求严格 JSON,模型偶尔多说话导致解析崩溃,怎么兜底?

要建立输出治理链路:

  • 使用 JSON Schema 约束输出字段。
  • 使用函数调用或结构化输出能力。
  • 解析失败时自动重试一次。
  • 重试失败返回标准错误码。
  • 用户侧展示兜底话术,后台记录异常样本。

3. 退款需要“鉴权-查单-退款-发通知”四个阶段,状态丢了怎么办?

要用状态机或工作流引擎持久化状态:

  • 每个阶段写入 session 或数据库。
  • 关键节点保存检查点。
  • 失败时从最近检查点恢复。
  • 退款成功但通知失败时进入重试队列。
  • 对长流程设置超时和补偿机制。

示例伪代码如下:

  1. def after_sales_flow(query, session, tool_gateway):
  2. state = session.get("state", "AUTH")
  3. if state == "AUTH":
  4. if not check_auth(query.user_id):
  5. return {"action": "ASK_LOGIN"}
  6. session["state"] = "CHECK_ORDER"
  7. if session["state"] == "CHECK_ORDER":
  8. order = query_order(query.order_id)
  9. if not order:
  10. return {"action": "ASK_ORDER_ID"}
  11. session["order"] = order
  12. session["state"] = "REFUND"
  13. if session["state"] == "REFUND":
  14. req = RefundRequest(
  15. request_id=query.request_id,
  16. user_id=query.user_id,
  17. order_id=session["order"].order_id,
  18. reason=query.reason
  19. )
  20. result = tool_gateway.call_refund(req)
  21. if result.get("code") != "OK":
  22. return {
  23. "action": "RETRY_OR_HUMAN",
  24. "result": result
  25. }
  26. session["state"] = "NOTIFY"
  27. if session["state"] == "NOTIFY":
  28. notify_user(session["order"], query.user_id)
  29. session["state"] = "DONE"
  30. return {
  31. "action": "CONTINUE",
  32. "state": session["state"]
  33. }

四、模型选型与成本控制

Agent 落地不是模型越大越好,而是任务匹配度越高越好。简单意图识别可以用轻量模型,复杂退款决策可以用强推理模型,知识问答可以结合 RAG。企业级 RAG 和知识库能力可提升知识召回与问答效果。

在架构评审前,可以借助词元所模型服务对比模型能力、价格和性能,避免拍脑袋选型。尤其当业务需要多模型接入时,统一 API 接入能降低集成复杂度,也方便后续做模型路由和降级。

成本控制建议:

  • 限制上下文长度,避免把全部历史对话塞给模型。
  • 压缩 RAG 召回片段,只保留高相关内容。
  • 高频问题缓存结果,减少重复调用。
  • 简单任务路由到轻量模型,复杂任务再升级模型。
  • 对工具调用设置次数上限,防止异常消耗。

上线后,建议把模型调用量、失败率、Token 消耗、工具调用成功率纳入监控。通过大模型 API 服务平台进行调用管理和成本评估,可以更清晰地定位 Token 消耗异常。

五、总结

大厂 AI 架构岗面试真正想听的,不是你会不会写 Prompt,而是你能不能把不可控的大模型放进可控的工程系统里。

一个高分回答至少应包含:

  • 模型接入层:多模型路由、降级、错误话术。
  • 编排层:状态机、多 Agent、长流程管理。
  • 工具网关层:鉴权、幂等、限流、熔断。
  • 输出治理层:JSON Schema、解析校验、兜底。
  • 可观测层:Token、成功率、幻觉率、满意度监控。

Agent 的竞争力,不在于 Demo 跑得多快,而在于生产环境里是否稳定、可控、可运营。