企业级 AI Agent 五层架构:从 Prompt 到 Graph 的工程化落地

作者:很菜不狗2026.11.16 10:25浏览量:0

简介:面向电商售后、内部助手等需要稳定执行的 AI 场景,本文以“售后客服智能体”为例,拆解 Prompt、Context、Harness、Loop、Graph 五层架构分别解决什么问题,以及如何完成数据接入、工具调用、任务编排、权限控制、监控评估和持续优化,帮助团队将能对话的模型逐步建设为可控、可追踪、可扩展的生产系统。

在很多团队的内部验证阶段,只需要准备一段提示词、接入一个大模型,几分钟内就能做出一个“会聊天”的智能助手。但当系统真正进入生产环境,问题往往会集中出现:回答依赖模型猜测,订单信息无法准确获取;工具调用参数错误,退款、改址等高风险操作缺少确认;多轮对话上下文混乱,异常任务无法恢复;线上出了问题,也很难判断究竟是模型、知识库、接口还是流程编排导致的。

这类问题并不意味着大模型不能用于生产,而是说明“能生成文本”和“能稳定完成业务任务”属于两种不同的工程目标。前者可以依赖 Prompt 快速验证,后者则需要围绕模型建立完整的控制体系。对于电商售后、企业知识问答、运营辅助、研发协同等场景,比较实用的思路是将 AI 应用拆分为五层:Prompt、Context、Harness、Loop、Graph。五层并不是相互替代的产品,而是从模型输入到任务执行逐步增加约束、数据和控制能力的工程架构。

本文以“售后客服智能体”为例,说明这五层分别解决什么问题,以及如何将它们组合成可上线的系统。

一、先明确场景:售后客服为什么不能只靠一段 Prompt

售后客服通常需要处理订单查询、物流进度、退换货规则、优惠补偿、发票申请和人工转接等任务。这些任务具有几个共同特征:

第一,信息是动态的。订单状态、库存、物流轨迹和退款进度都来自业务系统,不能写死在提示词中。

第二,流程具有约束。退款申请可能需要验证订单、判断商品状态、确认金额,再提交业务操作,不能由模型自由发挥。

第三,操作存在风险。查询类操作通常风险较低,但退款、取消订单、修改收货信息等动作可能影响资金和履约结果。

第四,任务经常跨轮次。用户可能先提供订单号,之后补充商品问题,最后才确认处理方式,系统需要保留必要上下文。

第五,企业需要可审计。发生投诉或异常时,运营人员需要知道模型看到了什么资料、调用了什么工具、为什么做出这个决定。

因此,生产级 AI 系统的核心不是让模型“更会说”,而是让它在正确的信息范围内,按照明确流程完成可验证的任务。

二、第一层:Prompt——定义模型的职责和行为边界

Prompt 可以理解为模型的岗位说明书,主要负责描述角色、目标、规则、输出格式和禁止事项。

例如,售后客服的基础提示词可以包括以下内容:

“你是某电商系统的售后服务助手。你的职责是识别用户意图、收集必要信息、查询业务状态,并在满足规则时协助提交售后申请。对于退款、取消订单和修改关键信息等操作,必须在执行前向用户明确展示处理内容并获得确认。无法从可靠资料中判断时,应说明信息不足,不得自行猜测。”

一份相对完整的 Prompt 通常包含以下部分:

  1. 角色定义

说明模型服务的对象、职责范围和沟通风格。例如面向消费者时,需要表达清晰、礼貌、简洁;面向内部员工时,则可以增加业务术语和处理依据。

  1. 任务目标

明确模型要完成的是意图识别、信息收集、问题解答,还是调用业务工具。目标越清晰,越不容易出现“回答很多但没有推进任务”的情况。

  1. 约束条件

包括不能编造订单状态、不能泄露内部规则、不能绕过身份校验、不能在未确认的情况下执行高风险操作等。

  1. 输出格式

对于需要被程序解析的结果,建议规定结构化格式,例如意图类型、订单号、是否需要人工介入、下一步动作等。格式约束不能替代程序校验,但可以降低解析难度。

  1. 示例和反例

通过少量典型示例说明如何处理模糊表达、信息缺失和拒绝请求。反例尤其重要,它能帮助模型理解哪些行为不可接受。

不过,Prompt 只能规定“应该怎么做”,不能提供实时业务事实。例如提示词中写了“退款将在三个工作日内到账”,也不代表当前订单一定符合退款条件。模型需要结合实时数据和可信资料才能回答。

三、第二层:Context——为模型提供正确且最小化的上下文

Context 是模型在当前任务中可以看到的信息集合,可以理解为实习生办公桌上的专属档案袋。它可能包括用户历史对话、订单信息、售后规则、商品资料、物流状态和身份验证结果。

Context 的设计重点不是“放入越多资料越好”,而是确保模型在有限上下文窗口中获得与当前任务最相关、最可信的信息。

一个售后场景的上下文可以分为四类:

  1. 用户上下文

包括用户当前问题、必要的历史对话、用户身份状态和语言偏好。历史对话不应无限累积,应通过摘要、关键信息提取或按任务裁剪的方式控制长度。

  1. 业务上下文

包括订单编号、商品名称、支付状态、发货状态、售后期限和当前申请记录。这类内容应优先从业务系统实时查询,不应仅依赖模型记忆。

  1. 知识上下文

包括退换货规则、补偿标准、活动说明和客服处理规范。知识内容需要标注来源、版本和生效时间,避免新旧规则混用。

  1. 执行上下文

包括当前任务阶段、已完成校验、可用工具、工具调用结果和待确认动作。这部分信息直接影响流程能否继续。

Context 构建可以采用以下流程:

用户输入 → 意图识别 → 提取订单号等关键实体 → 查询相关业务数据 → 检索适用规则 → 组装最小上下文 → 发送给模型。

需要特别注意上下文污染问题。若把多个用户、多个订单或无关历史消息混在同一个上下文中,可能造成信息串用;若把未经审核的外部文本直接注入指令区,还可能诱导模型绕过既定规则。因此,系统应对上下文进行来源标记、权限过滤、敏感字段脱敏和长度控制。

四、第三层:Harness——为模型配置工具、校验和安全护栏

仅有 Prompt 和 Context,模型仍然只是一个输出系统。Harness 可以理解为模型周围的“工作台”,负责连接工具、校验输入输出、控制权限、处理异常并记录执行过程。

在售后客服中,常见工具包括:

  • 查询订单状态;
  • 查询物流信息;
  • 查询商品售后规则;
  • 创建退货申请;
  • 查询退款进度;
  • 转接人工客服;
  • 发送通知或生成处理记录。

工具并不是简单地把内部接口暴露给模型,而需要建立一层受控封装。每个工具都应明确名称、用途、输入字段、字段类型、权限要求、失败返回和是否需要用户确认。

例如,创建退款申请至少应经过以下校验:

  1. 检查用户是否完成身份验证;
  2. 检查订单是否属于当前用户;
  3. 检查订单状态是否允许退款;
  4. 校验退款金额是否超过可退范围;
  5. 判断是否需要人工审核;
  6. 将即将执行的动作展示给用户;
  7. 获得明确确认后再提交操作。

工具返回结果也不能直接原样交给模型。系统应区分成功、业务拒绝、参数错误、权限错误、超时和系统故障,并为不同错误设置不同处理策略。例如,订单不存在可以让模型提示用户重新核对;业务系统超时则应进入重试或人工转接,而不是让模型自行推断结果。

Harness 还应承担安全控制职责,包括最小权限、敏感信息遮蔽、调用频率限制、危险操作二次确认和全链路审计。对于高风险动作,可以采用“双重控制”:模型只负责生成操作建议,真正执行由规则引擎或人工审核完成。

五、第四层:Loop——让模型在受控循环中完成任务

复杂任务通常无法通过一次模型调用完成。Loop 是模型、工具和业务状态之间的受控循环,解决“下一步做什么、什么时候继续、什么时候停止”的问题。

一个典型的售后处理循环如下:

  1. 接收用户问题;
  2. 判断用户意图;
  3. 检查完成任务所需的信息;
  4. 如果信息不足,向用户提问;
  5. 如果需要业务事实,调用查询工具;
  6. 根据查询结果判断下一步;
  7. 如果涉及高风险动作,请求用户确认;
  8. 执行业务操作;
  9. 校验执行结果;
  10. 向用户返回结果或转人工。

Loop 必须设置明确的停止条件,否则模型可能不断调用工具或重复询问。常见停止条件包括:任务成功完成、需要用户补充信息、达到最大执行轮次、工具连续失败、触发安全规则或必须人工处理。

同时还要设置超时、重试和幂等机制。比如退款请求因网络问题没有及时返回,系统不能简单重试多次,否则可能造成重复提交。更稳妥的做法是为一次业务动作生成唯一请求标识,执行前后查询业务状态,并根据最终状态决定是否继续。

Loop 的状态管理也十分关键。建议将任务状态显式记录为“待补充信息、待查询、待用户确认、执行中、已完成、失败待处理”等,而不是只依赖自然语言判断。这样既方便恢复中断任务,也便于运营人员查看处理进度。

六、第五层:Graph——将复杂业务拆成可视化、可治理的流程图

当任务包含多个分支、人工审核、异常恢复和跨系统协同时,仅靠线性 Loop 往往会变得难以维护。Graph 可以将整个业务过程表示为节点、边和状态的组合。

以售后退款为例,流程可能包含:

开始节点 → 识别问题 → 获取订单号 → 校验用户身份 → 查询订单 → 判断是否符合规则 → 展示退款方案 → 等待确认 → 提交申请 → 查询处理结果 → 结束或转人工。

其中,判断节点负责分流,工具节点负责执行外部操作,人工节点负责处理模型无法安全完成的情况,等待节点负责暂停任务并等待用户回复。

Graph 化有几个明显价值:

第一,流程更清晰。业务人员和开发人员可以共同查看任务路径,减少逻辑隐藏在提示词中的问题。

第二,异常更容易恢复。某个工具节点失败后,可以回到指定节点重试,而不必从头开始。

第三,权限边界更明确。不同节点可以配置不同工具和权限,例如查询节点允许读取订单信息,退款节点才允许发起业务申请。

第四,更便于测试。可以针对每条分支设计测试用例,验证正常路径、缺少信息、规则不满足、工具超时和人工转接等情况。

第五,便于持续演进。新增“换货”或“补发”流程时,可以增加相应分支,而不是不断堆叠一段越来越长的 Prompt。

七、从开发到上线的实施路径

建设五层架构不建议一次性追求复杂化,可以按照以下阶段推进:

第一阶段,完成单轮问答验证。明确场景边界,整理典型问题,验证模型是否能够正确识别意图和生成合规回复。

第二阶段,接入只读数据。引入订单查询、规则查询等低风险工具,重点验证上下文准确性和数据权限。

第三阶段,建立受控 Loop。加入信息补全、工具调用、错误处理、最大轮次和任务状态管理。

第四阶段,引入高风险操作控制。为退款、取消和信息修改增加确认、幂等、审计及人工审核机制。

第五阶段,使用 Graph 管理复杂流程。将不同业务路径、异常分支和人工节点结构化,形成可维护的任务编排系统。

第六阶段,建立评估和运营体系。持续收集成功率、工具调用正确率、转人工率、重复询问率、异常率和用户反馈,定位问题属于 Prompt、Context、工具、流程还是基础设施。

八、生产环境中的关键注意事项

  1. 不要把模型输出直接当作可信事实。重要字段必须经过格式校验、业务校验和权限校验。

  2. 不要把所有历史对话全部注入上下文。应采用摘要、检索和任务相关性筛选。

  3. 不要让模型拥有不必要的操作权限。查询权限和写入权限应分离,高风险操作应独立控制。

  4. 不要忽略日志和审计。至少记录请求标识、模型输入摘要、上下文来源、工具调用、结果状态和最终动作,同时对敏感信息进行脱敏。

  5. 不要只测试正常路径。还应覆盖恶意输入、信息缺失、重复请求、工具超时、规则冲突、身份异常和人工接管。

  6. 不要只关注回答是否自然。生产系统更应关注任务是否完成、结果是否正确、风险是否可控、过程是否可追踪。

九、适用场景与边界

这套五层架构不仅适用于售后客服,也适合内部知识助手、工单处理、运营审核、研发协同和业务流程自动化。凡是同时具备“需要理解自然语言、需要访问业务数据、需要调用工具、需要遵循流程”这几个特征的场景,都可以从中受益。

但对于完全开放式创作、低风险闲聊或一次性文本生成,完整 Graph 可能会增加不必要的复杂度。架构设计应根据任务风险、流程复杂度、数据实时性和可审计要求逐步增加控制层,而不是为了追求复杂而复杂。

总结来看,Prompt 解决“模型应该怎么说”,Context 解决“模型能够看到什么”,Harness 解决“模型可以调用什么以及如何被约束”,Loop 解决“任务如何持续推进”,Graph 则解决“复杂流程如何被组织、恢复和治理”。

企业级 AI 的关键,不是把所有工作交给模型,而是让模型处于一个信息可靠、权限清晰、流程可控、结果可验证的系统中。只有完成从单一 Prompt 到五层工程架构的转变,AI 应用才更有可能从演示原型走向稳定生产。