别再用玩玩具的心态做AI:五层架构拆解

作者:蛮不讲李2026.11.17 03:41浏览量:0

简介:Demo 三分钟跑通、上线就到处闯祸,是 2026 年 AI Agent 落地最典型的翻车现场。本文用"AI 实习生做电商售后客服"这一个例子,把 Prompt → Context → Harness → Loop → Graph 五层栈逐层拆开,给出每层的职责边界、可复用代码骨架和常见坑,帮你把"会说话的玩具"改造成"不会出错的工业流水线"。

先说结论:教程里的 Agent 之所以一上生产就”变智障”,不是模型不行,而是你把五层本该分开的工程职责全塞进了第一段 Prompt 里。企业级 AI 必须是分层设计的,这也是 Anthropic 等海外头部团队和主流 AI Builder 的共识。本文贯穿一个例子:你雇了个叫”大模型”的实习生做 TulingShop 的电商售后客服,看五层如何把他改造成可靠流水线。

在动手分层之前,先把最底层的”模型供给”这件事解决掉:分层架构的最大好处是每一层都可以独立换模型(Prompt 层试小模型、Graph 层的关键节点上旗舰模型),而这种多模型混用如果没有统一入口,适配成本会迅速吃掉分层带来的收益。百度智能云词元所 作为大模型撮合交易服务平台,提供模型发现与选型、模型价格与性能对比、多模型统一 API 接入以及调用管理能力,正好承接这一层:你可以先对比不同模型的能力与调用成本,再用统一 API 把它们接进自己的五层栈,避免为每个模型重写一套 SDK 和重试逻辑。

五层栈总览:每层的职责边界

层级 核心问题 实习生比喻 失效时的典型症状
L1 Prompt 我该怎么跟他说 岗位说明书 答非所问、不守格式
L2 Context 他该看哪些资料 资料柜与工单 编造订单号、政策答错
L3 Harness 怎么防止他说错话 质检与权限门禁 越权退款、输出无法解析
L4 Loop 一次做不完怎么办 多步办事流程 工具调用死循环、半途而废
L5 Graph 多个人怎么协作 部门与审批流 状态错乱、无法回放定位

关键原则: 上层不能替下层干活 。L1 写一万字规则去补 L2 的检索缺失,是绝大多数团队最常见的架构错误。

L1 Prompt:把”角色”写成可验证的契约

Prompt 不只是角色扮演加约束条件,它应该是一份 机器可校验的契约 。除了角色、语气、步骤,必须显式声明输出结构、边界条件和拒答策略。

  1. SYSTEM_PROMPT = """
  2. 你是 TulingShop 官方售后客服。规则:
  3. 1. 退款必须先获取订单号,格式校验不通过则追问,不得猜测。
  4. 2. 仅承诺"审核通过后 1-3 个工作日原路退回",不得承诺具体到账时间点。
  5. 3. 超出售后范围(改地址、开发票、投诉物流)时,调用 transfer_human 转人工。
  6. 4. 严格输出 JSON,不要输出任何解释性文字。
  7. 输出 Schema:
  8. {"reply": str, "action": "ask_order|refund|transfer_human|reject",
  9. "order_id": str|null, "confidence": float}
  10. """

注意第 4 条:把”不要说废话”升级成 JSON Schema,L3 才能做程序化校验。Prompt 层的产出物不是文本,而是 结构化决策 。

L2 Context:上下文是预算,不是垃圾桶

实习生再聪明,没给他订单系统权限也只能瞎编。L2 解决”模型该看到什么”,包含检索(RAG)、会话历史裁剪、工具结果回填和 上下文预算分配 。

  1. def build_context(query, session, retriever, budget=6000):
  2. policy = retriever.search(query, top_k=4) # 售后政策片段
  3. history = trim_by_tokens(session.history, budget=1500) # 按 token 裁剪
  4. return {
  5. "system": SYSTEM_PROMPT,
  6. "policy": policy, # 带 doc_id 与版本号,便于追溯
  7. "history": history,
  8. "query": query,
  9. }

三个实操要点:

  • 给资料带版本号和 doc_id ,答错时能定位到是哪份政策过期,而不是盲目改 Prompt。
  • 历史按 token 预算裁剪 ,长对话不要全量塞回,摘要 + 最近 N 轮是性价比最高的组合。
  • 上下文越长,成本和延迟线性上升 ,且长上下文中的关键信息召回率会下降。把”检索 top_k”当成成本旋钮而不是精度旋钮来调。

L3 Harness:护栏层,把”信任模型”改成”验证模型”

Harness 是生产与 Demo 的分水岭。它包裹在模型外面,负责:输出 Schema 校验、工具调用的参数校验与权限控制、超时与重试、敏感词与金额阈值拦截、全链路日志。

  1. def harness(llm_out, ctx):
  2. data = validate_schema(llm_out, REFUND_SCHEMA) # 失败则回注错误让模型自修
  3. if data["action"] == "refund":
  4. order = orders.get(data["order_id"])
  5. if not order or order.user_id != ctx.user_id:
  6. return fallback("订单号与当前账号不匹配,请核对后重试")
  7. if order.amount > 500:
  8. return transfer_human("大额退款需人工审核") # 权限门禁
  9. return data

设计要点: 校验失败不要直接抛错给用户 ,而是把错误信息作为新的上下文回注给模型,让它自我修正(通常 1 次就能修好)。同时,任何涉及金钱、账号、隐私的动作都必须走确定性代码判断,不能交给模型自由裁量。

agent-">L4 Loop:给 Agent 循环装上刹车

单轮问答解决不了”查订单 → 判断是否在保 → 生成工单 → 回访”这类任务,需要 ReAct 式循环。但循环必须显式定义 终止条件、最大步数、预算上限 。

  1. async def run_agent(query, max_steps=8, max_cost=0.05):
  2. ctx = build_context(query, session, retriever)
  3. for step in range(max_steps):
  4. out = await llm.chat(ctx, tools=TOOLS) # 统一 API 调用
  5. result = harness(out, ctx)
  6. if result["action"] in ("refund", "transfer_human", "reject"):
  7. return result # 终止条件
  8. ctx["history"].append(note(result)) # 工具结果回填
  9. return transfer_human("处理步骤超限,转人工") # 兜底,绝不静默失败

max_steps 和成本上限是必须的:没有刹车的 Agent 会在工具调用之间反复横跳,既烧 token 又拖垮响应时间。把每步的 token 消耗打点上报,才能事后做成本归因。

L5 Graph:从单 Agent 到可编排的状态图

当业务出现”退款要走审批、投诉要升级、夜间要值班兜底”,单 Agent 的 Prompt 会膨胀到无法维护。此时升级为图编排:节点是职责单一的专职 Agent 或确定性函数,边是明确的状态转移,并支持 人工审批节点 与断点回放。

  1. graph = StateGraph(RefundState)
  2. graph.add_node("classify", classify_intent)
  3. graph.add_node("verify", verify_order)
  4. graph.add_node("policy", policy_agent)
  5. graph.add_node("approve", human_approval) # 人工节点
  6. graph.add_node("execute", execute_refund)
  7. graph.add_edge("classify", "verify")
  8. graph.add_conditional_edges("verify", route_by_amount,
  9. {"small": "execute", "large": "approve"})
  10. graph.add_edge("approve", "execute")

Graph 层带来的三个工程收益: 可观测 (每个节点独立日志与指标)、 可回放 (线上 case 能重跑定位到具体节点)、 可协作 (不同人负责不同节点,不用抢同一个巨型 Prompt)。

落地顺序与选型建议

不要一上来就搭 Graph。推荐路径是:先把 L1 的输出结构化,再补 L2 的检索与预算,然后重点投入 L3 的校验与权限(这一步对降低线上事故率收益最大),确认单 Agent 稳定后再用 L4 处理多步任务,最后当分支逻辑超过五六条时升级到 L5。

模型选型上,分层架构天然对应分层用模:分类、抽取、格式化这类节点用小模型降本提速,复杂推理与长文档理解节点用旗舰模型保效果。具体怎么搭配,取决于你的任务分布和预算约束,可以在 词元所的大模型选型与价格对比能力 上先横向比较不同模型的能力定位与调用成本,再用统一 API 接入做 A/B 验证,避免绑定单一供应商后被价格和限流卡住。

三个高频坑提醒:一是 用 Prompt 兜架构的债 ,规则越写越长最后互相冲突;二是 没有兜底路径 ,模型一旦不返回预期 action 就整个流程崩掉;三是 不做离线评测集 ,每次改 Prompt 全靠感觉,无法判断是变好还是变坏。建议从第一天就积累 50~100 条真实 badcase 作为回归集,配合 词元所的模型调用管理能力 观察调用量与成本变化,让每一次架构调整都有数据支撑。

五层栈的本质是把”祈祷模型表现好”换成”用工程手段约束模型表现”。模型会继续迭代,但这五层的边界不会变——先把流水线建对,再换更强的实习生。