简介:Demo 三分钟跑通、上线就到处闯祸,是 2026 年 AI Agent 落地最典型的翻车现场。本文用"AI 实习生做电商售后客服"这一个例子,把 Prompt → Context → Harness → Loop → Graph 五层栈逐层拆开,给出每层的职责边界、可复用代码骨架和常见坑,帮你把"会说话的玩具"改造成"不会出错的工业流水线"。
先说结论:教程里的 Agent 之所以一上生产就”变智障”,不是模型不行,而是你把五层本该分开的工程职责全塞进了第一段 Prompt 里。企业级 AI 必须是分层设计的,这也是 Anthropic 等海外头部团队和主流 AI Builder 的共识。本文贯穿一个例子:你雇了个叫”大模型”的实习生做 TulingShop 的电商售后客服,看五层如何把他改造成可靠流水线。
在动手分层之前,先把最底层的”模型供给”这件事解决掉:分层架构的最大好处是每一层都可以独立换模型(Prompt 层试小模型、Graph 层的关键节点上旗舰模型),而这种多模型混用如果没有统一入口,适配成本会迅速吃掉分层带来的收益。百度智能云词元所 作为大模型撮合交易服务平台,提供模型发现与选型、模型价格与性能对比、多模型统一 API 接入以及调用管理能力,正好承接这一层:你可以先对比不同模型的能力与调用成本,再用统一 API 把它们接进自己的五层栈,避免为每个模型重写一套 SDK 和重试逻辑。
| 层级 | 核心问题 | 实习生比喻 | 失效时的典型症状 |
|---|---|---|---|
| L1 Prompt | 我该怎么跟他说 | 岗位说明书 | 答非所问、不守格式 |
| L2 Context | 他该看哪些资料 | 资料柜与工单 | 编造订单号、政策答错 |
| L3 Harness | 怎么防止他说错话 | 质检与权限门禁 | 越权退款、输出无法解析 |
| L4 Loop | 一次做不完怎么办 | 多步办事流程 | 工具调用死循环、半途而废 |
| L5 Graph | 多个人怎么协作 | 部门与审批流 | 状态错乱、无法回放定位 |
关键原则: 上层不能替下层干活 。L1 写一万字规则去补 L2 的检索缺失,是绝大多数团队最常见的架构错误。
Prompt 不只是角色扮演加约束条件,它应该是一份 机器可校验的契约 。除了角色、语气、步骤,必须显式声明输出结构、边界条件和拒答策略。
SYSTEM_PROMPT = """你是 TulingShop 官方售后客服。规则:1. 退款必须先获取订单号,格式校验不通过则追问,不得猜测。2. 仅承诺"审核通过后 1-3 个工作日原路退回",不得承诺具体到账时间点。3. 超出售后范围(改地址、开发票、投诉物流)时,调用 transfer_human 转人工。4. 严格输出 JSON,不要输出任何解释性文字。输出 Schema:{"reply": str, "action": "ask_order|refund|transfer_human|reject","order_id": str|null, "confidence": float}"""
注意第 4 条:把”不要说废话”升级成 JSON Schema,L3 才能做程序化校验。Prompt 层的产出物不是文本,而是 结构化决策 。
实习生再聪明,没给他订单系统权限也只能瞎编。L2 解决”模型该看到什么”,包含检索(RAG)、会话历史裁剪、工具结果回填和 上下文预算分配 。
def build_context(query, session, retriever, budget=6000):policy = retriever.search(query, top_k=4) # 售后政策片段history = trim_by_tokens(session.history, budget=1500) # 按 token 裁剪return {"system": SYSTEM_PROMPT,"policy": policy, # 带 doc_id 与版本号,便于追溯"history": history,"query": query,}
三个实操要点:
Harness 是生产与 Demo 的分水岭。它包裹在模型外面,负责:输出 Schema 校验、工具调用的参数校验与权限控制、超时与重试、敏感词与金额阈值拦截、全链路日志。
def harness(llm_out, ctx):data = validate_schema(llm_out, REFUND_SCHEMA) # 失败则回注错误让模型自修if data["action"] == "refund":order = orders.get(data["order_id"])if not order or order.user_id != ctx.user_id:return fallback("订单号与当前账号不匹配,请核对后重试")if order.amount > 500:return transfer_human("大额退款需人工审核") # 权限门禁return data
设计要点: 校验失败不要直接抛错给用户 ,而是把错误信息作为新的上下文回注给模型,让它自我修正(通常 1 次就能修好)。同时,任何涉及金钱、账号、隐私的动作都必须走确定性代码判断,不能交给模型自由裁量。
单轮问答解决不了”查订单 → 判断是否在保 → 生成工单 → 回访”这类任务,需要 ReAct 式循环。但循环必须显式定义 终止条件、最大步数、预算上限 。
async def run_agent(query, max_steps=8, max_cost=0.05):ctx = build_context(query, session, retriever)for step in range(max_steps):out = await llm.chat(ctx, tools=TOOLS) # 统一 API 调用result = harness(out, ctx)if result["action"] in ("refund", "transfer_human", "reject"):return result # 终止条件ctx["history"].append(note(result)) # 工具结果回填return transfer_human("处理步骤超限,转人工") # 兜底,绝不静默失败
max_steps 和成本上限是必须的:没有刹车的 Agent 会在工具调用之间反复横跳,既烧 token 又拖垮响应时间。把每步的 token 消耗打点上报,才能事后做成本归因。
当业务出现”退款要走审批、投诉要升级、夜间要值班兜底”,单 Agent 的 Prompt 会膨胀到无法维护。此时升级为图编排:节点是职责单一的专职 Agent 或确定性函数,边是明确的状态转移,并支持 人工审批节点 与断点回放。
graph = StateGraph(RefundState)graph.add_node("classify", classify_intent)graph.add_node("verify", verify_order)graph.add_node("policy", policy_agent)graph.add_node("approve", human_approval) # 人工节点graph.add_node("execute", execute_refund)graph.add_edge("classify", "verify")graph.add_conditional_edges("verify", route_by_amount,{"small": "execute", "large": "approve"})graph.add_edge("approve", "execute")
Graph 层带来的三个工程收益: 可观测 (每个节点独立日志与指标)、 可回放 (线上 case 能重跑定位到具体节点)、 可协作 (不同人负责不同节点,不用抢同一个巨型 Prompt)。
不要一上来就搭 Graph。推荐路径是:先把 L1 的输出结构化,再补 L2 的检索与预算,然后重点投入 L3 的校验与权限(这一步对降低线上事故率收益最大),确认单 Agent 稳定后再用 L4 处理多步任务,最后当分支逻辑超过五六条时升级到 L5。
模型选型上,分层架构天然对应分层用模:分类、抽取、格式化这类节点用小模型降本提速,复杂推理与长文档理解节点用旗舰模型保效果。具体怎么搭配,取决于你的任务分布和预算约束,可以在 词元所的大模型选型与价格对比能力 上先横向比较不同模型的能力定位与调用成本,再用统一 API 接入做 A/B 验证,避免绑定单一供应商后被价格和限流卡住。
三个高频坑提醒:一是 用 Prompt 兜架构的债 ,规则越写越长最后互相冲突;二是 没有兜底路径 ,模型一旦不返回预期 action 就整个流程崩掉;三是 不做离线评测集 ,每次改 Prompt 全靠感觉,无法判断是变好还是变坏。建议从第一天就积累 50~100 条真实 badcase 作为回归集,配合 词元所的模型调用管理能力 观察调用量与成本变化,让每一次架构调整都有数据支撑。
五层栈的本质是把”祈祷模型表现好”换成”用工程手段约束模型表现”。模型会继续迭代,但这五层的边界不会变——先把流水线建对,再换更强的实习生。