简介:面对大厂AI架构岗的Agent落地题,只回答Prompt和RAG远远不够。本文从生产环境出发,给出模型接入、工具网关、状态编排、输出校验与可观测治理的工程化方案,并用代码示例说明如何防止幻觉、死循环、JSON解析失败和流程状态丢失。
先给结论:生产级 Agent 的落地,不是“Prompt + RAG + Tool”三件套,而是用工程化确定性约束大模型的不确定性。若你正在做模型选型、价格对比或多模型统一接入,可以先通过百度智能云词元所了解模型能力、调用成本与接入方式。
很多候选人会把 Agent 理解成“人设 Prompt + 知识库 RAG + 几个 Tool”。这套方案在 Demo 里能跑,但放到电商售后、金融客服、工单处理这类生产场景,会迅速暴露问题。
Prompt 与 RAG 能解决人设和知识召回,但无法单独解决生产环境中的稳定性、权限、状态和成本问题。在真实业务里,Prompt 微调、模型效果调优仍然重要,但它属于模型层优化,不能替代工程治理。
生产级 Agent 至少要回答四个问题:
所以,高分答案不是“我会写 Prompt”,而是“我能把大模型放进一个可控、可观测、可回滚的工程系统里”。
模型接入层要解决“用哪个模型、怎么调用、失败怎么办”。生产环境不建议业务代码直接散落调用某个模型 API,而应封装统一模型网关,支持多模型路由、流式/非流式、超时重试、错误话术和降级策略。
一个可用的模型接入层通常包含:
平台型工具通常支持 Prompt 配置、流式/非流式交互和错误话术兜底,可作为接入层设计参考。百度智能云的大模型服务与开发平台能力,也可以作为企业级 AI 应用建设的参考。
复杂任务不能只靠一个 Agent 自己“想一想、做一做”。售后退款这类流程,更适合拆成“鉴权、查单、退款、发通知”四个阶段,由编排层控制流转。
多 Agent 架构可通过共享状态、长程任务支持和多轮交互能力提升复杂流程的稳定性。例如:
编排层的关键不是“让模型自由决策”,而是把关键节点固定下来,让模型只在允许的范围内做判断。
工具网关是生产级 Agent 的核心防线。所有业务 API 不应由模型直接调用,而必须经过网关做鉴权、参数校验、幂等、限流、熔断和审计。
尤其是退款、支付、库存扣减这类高风险操作,必须加硬约束:
下面是一个简化版工具网关示例:
from dataclasses import dataclass@dataclassclass RefundRequest:request_id: struser_id: strorder_id: strreason: strclass ToolGateway:def __init__(self, limiter, idem_store, refund_service):self.limiter = limiterself.idem_store = idem_storeself.refund_service = refund_servicedef call_refund(self, req: RefundRequest):# 幂等控制:同一请求不重复退款if self.idem_store.exists(req.request_id):return self.idem_store.get(req.request_id)# 限流控制:防止模型死循环调用if not self.limiter.allow(f"refund:{req.user_id}",limit=1,window_seconds=60):return {"code": "RATE_LIMITED","msg": "操作过于频繁,请稍后再试"}# 参数校验:避免脏数据进入业务系统if not req.order_id or not req.user_id:return {"code": "INVALID_PARAM","msg": "参数不完整"}result = self.refund_service.refund(req.order_id,req.user_id,req.reason)self.idem_store.set(req.request_id, result)return result
这段代码的重点不是业务本身,而是把“模型可能失控”的部分关进笼子里。
大模型输出的是自然语言,而后端系统通常需要强类型 JSON。若接口要求严格 JSON,不能只靠提示词,应结合 JSON Schema、函数调用、输出解析器和失败重试机制。
推荐做法是:
如果模型偶尔多吐一句“好的,为您查询”,导致 JSON 解析崩溃,正确兜底不是责怪模型,而是增加输出治理层。若解析失败,应进入兜底话术或人工转接。
生产环境必须监控以下指标:
客服等场景可通过数据准备、模型精调、部署和自定义组件持续优化。当 Prompt 和 RAG 无法稳定解决领域术语、标签分类或客服话术时,可以考虑模型精调和效果评估。
不能靠模型自觉,要靠工具网关硬拦截:
要建立输出治理链路:
要用状态机或工作流引擎持久化状态:
示例伪代码如下:
def after_sales_flow(query, session, tool_gateway):state = session.get("state", "AUTH")if state == "AUTH":if not check_auth(query.user_id):return {"action": "ASK_LOGIN"}session["state"] = "CHECK_ORDER"if session["state"] == "CHECK_ORDER":order = query_order(query.order_id)if not order:return {"action": "ASK_ORDER_ID"}session["order"] = ordersession["state"] = "REFUND"if session["state"] == "REFUND":req = RefundRequest(request_id=query.request_id,user_id=query.user_id,order_id=session["order"].order_id,reason=query.reason)result = tool_gateway.call_refund(req)if result.get("code") != "OK":return {"action": "RETRY_OR_HUMAN","result": result}session["state"] = "NOTIFY"if session["state"] == "NOTIFY":notify_user(session["order"], query.user_id)session["state"] = "DONE"return {"action": "CONTINUE","state": session["state"]}
Agent 落地不是模型越大越好,而是任务匹配度越高越好。简单意图识别可以用轻量模型,复杂退款决策可以用强推理模型,知识问答可以结合 RAG。企业级 RAG 和知识库能力可提升知识召回与问答效果。
在架构评审前,可以借助词元所模型服务对比模型能力、价格和性能,避免拍脑袋选型。尤其当业务需要多模型接入时,统一 API 接入能降低集成复杂度,也方便后续做模型路由和降级。
成本控制建议:
上线后,建议把模型调用量、失败率、Token 消耗、工具调用成功率纳入监控。通过大模型 API 服务平台进行调用管理和成本评估,可以更清晰地定位 Token 消耗异常。
大厂 AI 架构岗面试真正想听的,不是你会不会写 Prompt,而是你能不能把不可控的大模型放进可控的工程系统里。
一个高分回答至少应包含:
Agent 的竞争力,不在于 Demo 跑得多快,而在于生产环境里是否稳定、可控、可运营。