简介:这道题考的从来不是"你会调几个大模型 API",而是"如何用工程化的确定性,去约束大模型的不可控性"。Prompt + RAG + Tool 三板斧在 Demo 里十分钟能跑通,在生产环境里会因为幻觉、死循环、格式漂移直接击穿业务。下面给出可直接套用的五层架构,以及面试官那"三连击"的具体解法。顺带说一句,五层栈里最容易被忽略的模型接入层,现在可以直接用[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台来做——它提供模型发现与选型、价格与性能对比、多模型统一 API 接入和调用管理,等于把"选型、比价、统一接入"三件事一次解决。
单体 Agent 把「理解意图 → 查规则 → 调 API → 组织话术」全揉进一个 Prompt,让模型自己 ReAct 反思重试,问题有三:
高分答案的核心思路只有一句: 外层包裹内层,层层解耦,越往上越偏自治与编排,越往下越偏确定与校验。
| 层级 | 职责 | 关键设计 |
|---|---|---|
| L5 编排层 | 流程调度、状态持久化 | 状态机 / DAG Workflow 优先,ReAct 兜底 |
| L4 模型层 | 意图理解、参数抽取、话术生成 | 多模型路由 + 结构化输出约束 |
| L3 工具执行层 | 业务 API 调用 | 白名单、幂等、限流、参数 Schema 校验 |
| L2 数据层 | 订单库、物流 API、知识库 | 只读副本、RAG 检索置信度阈值 |
| L1 观测层 | Trace、评测、成本核算 | 全链路日志 + 回归评测集 |
关键判断标准: 能用工作流解决的,绝不用自主 Agent。 售后退款这种强合规、可枚举的流程,天然适合状态机;只有”用户描述模糊、路径不可预知”的部分才交给模型自主决策。业界在知识问答场景也普遍采用判别式引擎与生成式引擎并行的双引擎机制,生成式负责灵活覆盖,判别式(任务式对话、FAQ)负责兜底高风险流程。
不要指望 Prompt 里写”请勿重复调用”能拦住它。拦截必须发生在 工具执行层 ,与模型无关:
import time, jsonfrom functools import wrapsWHITELIST = {"query_order", "query_logistics", "create_refund"}WRITE_OPS = {"create_refund"}def guardrail(tool_name, quota=3, window=60):def deco(fn):@wraps(fn)def wrapper(ctx, **kwargs):if tool_name not in WHITELIST:raise PermissionError(f"tool {tool_name} not allowed")# 1) 参数 Schema 强校验,非法参数直接拒绝而非"尽力猜测"json_schema_validate(tool_name, kwargs)# 2) 滑动窗口限流:单会话单位时间内调用次数上限key = f"rl:{ctx.session_id}:{tool_name}"if redis.incr(key) > quota:raise RateLimited(f"{tool_name} 调用超限,转人工")redis.expire(key, window)# 3) 写操作幂等:业务唯一键 + SETNX,重复请求返回首次结果if tool_name in WRITE_OPS:idem = f"refund:{kwargs['order_id']}:{ctx.stage}"if not redis.set(idem, "1", nx=True, ex=1800):return {"cached": True, "status": "already_submitted"}# 4) 高风险写操作强制人工确认if tool_name in WRITE_OPS and not ctx.human_approved:return {"need_confirm": True, "summary": build_summary(kwargs)}return fn(ctx, ** kwargs)return wrapperreturn deco
四层护栏缺一不可: 白名单 (模型只能选平台注册过的工具)、 参数校验 (不让模型自由拼字段)、 幂等 + 限流 (挡住死循环与重试风暴)、 人工确认 (金额、退款等不可逆操作必须挂 Human-in-the-loop)。另外给 Agent 设一个硬性的 max_steps(比如 8 步)和 max_refund_amount,超限直接熔断降级到人工坐席。
自然语言 → 结构化数据的转换,要靠”约束 + 校验 + 修复”三件套,而不是祈祷:
def parse_llm_json(raw: str, schema: dict, retry_fn=None):for attempt in range(3):try:return validate_and_cast(extract_json(raw), schema)except (JSONDecodeError, ValidationError) as e:if attempt == 2:logger.warning("json_parse_failed", extra={"raw": raw[:500]})return {"status": "parse_failed", "route": "human"}raw = retry_fn(str(e)) # 把校验错误回灌给模型自纠
工程上还要区分 格式错误 和 语义错误 :格式错误可自动重试,语义错误(比如订单号不存在)必须走业务分支,不能盲目重试烧 Token。
答案是 把流程从模型脑子里搬到编排引擎里 。用状态机(或 DAG 工作流)固定主干路径,模型只负责每个节点内的”理解与填参”:
class RefundState(TypedDict):session_id: struser_id: strorder_id: strauth_passed: boolamount: floatstage: str # auth -> check -> refund -> notifyhuman_approved: boolretry_count: int# 每个节点:模型只做抽取,不做决策;转移条件由代码写死def auth_node(s: RefundState):s["auth_passed"] = verify_identity(s["user_id"], s["session_id"])s["stage"] = "check" if s["auth_passed"] else "reject"return sdef refund_node(s: RefundState):if not s["human_approved"]:return interrupt(s) # 挂起等人工/用户确认r = create_refund(order_id=s["order_id"], amount=s["amount"])s["stage"] = "notify" if r["ok"] else "refund_failed"return s
三个要点:
生产 Agent 的成本大头不是单价,而是 无效轮次 。四个立刻能省钱的动作:
选型时建议横向对比不同模型的单价、上下文长度、结构化输出支持和函数调用稳定性——这一步可以在词元所上直接做,它支持模型价格与性能对比,帮你按业务场景(高并发简单分类 vs 低频复杂推理)分别挑模型,并通过统一 API 接入,避免为每个模型写一套 SDK 适配。上线后还能借助平台的模型调用管理能力,按会话维度核算 Token 消耗,定位到底是哪一层在烧钱。
“我会把它做成五层:最外层是状态机编排,四阶段流程写死在代码里,模型不参与流程决策;模型层只做意图识别和参数抽取,输出用 JSON Schema 强约束,解析失败走提取修复再降级人工;工具执行层统一挂护栏——白名单、参数校验、幂等键、滑动窗口限流、写操作人工确认,模型幻觉最多让它多转一圈,碰不到业务数据;数据层订单库走只读副本,知识库检索设置信度阈值,低置信度不喂给模型;最外层是观测层,全链路 Trace + 回归评测集,每次改 Prompt 都跑一遍评测再上线。模型选型上做分层路由,简单任务走小模型,复杂决策走旗舰模型,成本能压下来一个量级。”
max_steps 熔断与人工兜底通道一句话总结: Agent 落地的成熟度,不看你用了多强的模型,而看你为它的不可控性准备了多少确定性护栏。