AI工程化五层架构对比:从Prompt到Graph如何选型

作者:php是最好的2026.11.16 11:00浏览量:0

简介:很多开发者几十分钟就能跑通一个Agent的Demo,一上生产却频繁出错、处处失控。本文对比"裸奔式单Prompt方案"与"分层工程化方案",并逐层拆解Prompt、Context、Harness、Loop、Graph五层的差异、能力边界与升级时机,帮助你在开发效率与系统可靠性之间做出合理取舍,找到从Demo走向工业级系统的选型路径。

一、对比背景:为什么”能跑通”不等于”能上线”

很多做后端和架构的工程师转型做AI应用时,都会遇到同一个落差:照着教程写,几分钟就有一个能对话的Agent跑通;可一旦放进公司生产环境,它就变得”到处闯祸”——回答前后矛盾、该查的资料没查到、该调的工具没调、甚至擅自承诺了平台根本不存在的服务。

这个落差的根源,不在于模型能力不够,而在于两种截然不同的工程思路:

  • 裸奔式方案:把大模型当成无所不能的黑盒,给一段Prompt就指望它端到端完成所有任务。
  • 分层工程化方案:把大模型当成一个能力很强但会犯错、记性有限、不会主动行动的”实习生”,围绕它搭建一套分层约束与协作机制。

在当下的行业实践中,一线AI团队已逐步形成共识:企业级AI必须是分层设计的。本文要对比的,正是这两条路线的差异,以及分层方案内部五个层次(Prompt → Context → Harness → Loop → Graph)各自解决什么问题、边界在哪里、什么时候该往上叠加一层。

为了让对比更直观,我们贯穿全文用一个例子:你开了一家公司,雇佣了一个名叫”大模型”的实习生去做电商售后客服。接下来要对比的,就是把他从一个”容易出错的菜鸟”改造成”可靠的客服流水线”过程中,每一步投入的价值与代价。

二、对比对象定义

对象A:裸奔式单Prompt方案。 只依赖提示词工程,把所有期望、约束、示例、边界条件塞进一段Prompt,期望模型一次性正确完成全部工作。它解决的是”让模型动起来”的最低门槛问题。

对象B:分层工程化方案(五层栈)。 在提示词之上,逐层叠加上下文供给、外层脚手架、循环控制与图编排,把单一模型调用升级为可控的系统。它的每一层解决一个明确的工程问题:

  • 第一层 Prompt(提示词工程):核心问题是”我该怎么跟它说”。类比实习生的岗位说明书——写明角色、语气、约束和示例(Few-shot)。它的能力上限也就止于”一张纸”。
  • 第二层 Context(上下文工程):核心问题是”模型能看到什么资料”。类比办公桌上的专属档案袋——通过检索等方式,把订单号、历史对话、退换货政策等动态信息注入模型视野,缓解幻觉。
  • 第三层 Harness(脚手架层):核心问题是”模型周围有哪些护栏和工具”。类比给实习生配备的工位系统——工具调用、结构化输出校验、权限限制、结果核对,确保它的动作在系统边界内可控。
  • 第四层 Loop(循环层):核心问题是”如何让它多步完成任务并自我纠错”。类比一套标准作业流程——计划、执行、观察、再计划的迭代,直到达成目标或触发兜底。
  • 第五层 Graph(图编排层):核心问题是”多个环节如何协同流转”。类比整条客服流水线的调度图——把多个节点、分支、状态、乃至多个Agent,用图结构组织成可编排、可追踪的流程。

需要强调:这五个层次不是互斥的替代关系,而是逐层叠加的递进关系。真正的对比不是”选A还是选B”,而是”在你的场景下,应该叠加到第几层”。

三、相同点分析:两种方案共享的底层逻辑

尽管复杂度差异巨大,两条路线在本质上共享一些共同点:

  1. 底座相同。 无论裸奔还是分层,底层驱动都是同一个大语言模型。分层方案并没有更换模型,而是在模型外面加工程约束。
  2. 提示词都是地基。 即使是完整的五层栈,第一层Prompt依然是根基。上层做得再完善,岗位说明书本身写得含糊,整条链路依然会跑偏。
  3. 目标一致。 两者最终都想让模型输出”符合业务预期、可被业务消费”的结果,区别只在于达成这一目标的可靠性不同。
  4. 都受模型能力上限约束。 上下文窗口、推理能力、工具调用能力都是模型本身的属性,分层方案无法凭空突破这些物理边界,只能更聪明地组织和利用它们。

四、核心差异分析:五层逐层拆解

下面从”解决的问题、核心手段、能力提升、复杂度代价、升级触发信号”几个维度,逐层展开对比。

第一层 Prompt vs 裸奔。 岗位说明书写得再好,也只是一张静态的纸。当用户问”我昨天买的鞋不合适,你们上个月不是说七天无理由吗”,模型并不知道”昨天的订单”是哪个、”上个月的退换货政策”具体是什么——因为这些动态信息不在说明书里,它只能靠猜,于是产生幻觉。结论: alone用Prompt只能应对静态、简单、可穷举的场景。

从Prompt到Context的升级。 差异点在于是否给模型”喂”了正确的动态资料。Context工程通过检索增强(RAG)等手段,把订单、政策、知识库内容注入上下文。它的收益是显著降低幻觉,代价是引入了检索链路——检索质量、召回相关性、上下文长度管理都成了新的工程变量。升级信号:当错误明显来自”信息不对称”而非”表达不清”时,就该上Context。

从Context到Harness的升级。 有了资料不等于会正确行动。Harness层通过工具调用(function calling)让模型真正去查数据库、调下单接口,通过结构化输出校验确保它返回的是可解析的JSON而非自由文本,通过权限护栏限制它只能动它该动的东西。它的收益是”从能说变为能做,且做得可控”,代价是脚手架本身需要开发与维护。升级信号:当业务需要模型执行真实副作用(下单、退款、改状态),而不仅是回答问题时。

从Harness到Loop的升级。 单次调用解决的是”一问一答”,但真实任务往往需要多步:先查订单、判断状态、符合条件再发起退款、最后确认到账。Loop层通过”计划—执行—观察—再计划”的迭代,让模型自我纠错并推进多步任务。它的收益是能处理复杂长流程,代价是引入循环带来的延迟、成本与”死循环/不收敛”风险,必须配合最大迭代次数、超时和兜底策略。升级信号:当任务无法用固定顺序的几次调用完成,需要模型根据中间结果动态决定下一步时。

从Loop到Graph的升级。 当一个应用里出现多条业务线、多个分支、多个需要协作的角色(比如闲聊Agent + 售后Agent + 风控Agent),单个循环就不够用了。Graph层用图结构(节点、边、状态)把多个环节和多个Agent编排成可追踪的流程,支持条件分支、并行、状态共享。它的收益是可观测性、可维护性和团队协同效率大幅提升,代价是系统复杂度和学习曲线最高。升级信号:当流程的分支和参与方多到”循环里全是if-else”难以维护时。

一段通用的循环层伪代码示意(不含任何专有工具或品牌):

  1. # 通用 Agent 循环骨架:计划-执行-观察-再计划
  2. def run_loop(goal, max_steps=8):
  3. state = {"goal": goal, "history": []}
  4. for step in range(max_steps):
  5. plan = model_decide_next_action(state) # 决定下一步
  6. if plan.is_final:
  7. return plan.answer # 达成目标,退出
  8. observation = call_tool(plan.tool, plan.args) # 执行工具/副作用
  9. state["history"].append((plan, observation)) # 观察并累积上下文
  10. if not state["history"]: # 无进展兜底
  11. break
  12. return fallback_answer(state) # 触发兜底,防止死循环

五、对比表格:五层一览

层次 解决的问题 核心手段 主要收益 复杂度代价 典型升级信号
Prompt 我该怎么跟它说 角色设定、约束、Few-shot示例 上手快、成本低 极低 起点,几乎必然需要
Context 模型能看到什么 检索增强、动态信息注入 降低幻觉 低-中(检索链路) 错误源于信息不对称
Harness 模型周围有哪些护栏 工具调用、结构化校验、权限控制 从”能说”到”能做且可控” 中(脚手架开发) 需要执行真实副作用
Loop 如何多步并自我纠错 计划-执行-观察-再计划迭代 处理复杂长流程 中-高(收敛风险) 任务需动态决定步骤
Graph 多环节如何协同 图编排、分支、状态、多Agent 可观测、可维护、可协同 高 分支与参与方过多

六、典型场景选择

  • 静态问答/简单客服:只需要Prompt层即可。适合FAQ、话术固定、无动态数据的场景,过度分层反而是负担。
  • 知识密集型问答:Prompt + Context。凡是答案依赖企业知识库、订单、政策等动态信息的,检索增强是性价比很高的一层。
  • 需要执行动作的任务:叠加到Harness。查询订单、发起退款、调用内部接口这类有真实副作用的场景,工具调用和护栏几乎是必需。
  • 复杂多步任务:叠加到Loop。需要”先查再判断再执行”的任务,例如需要多轮确认的退款处理流程。
  • 多业务线/多Agent协作:叠加到Graph。当闲聊、售后、风控等角色需要统一调度和可追踪时,图编排的价值才真正体现。

七、选型建议(条件化,不做绝对判断)

选型的核心不是”越高越先进”,而是”匹配当前阶段的真实复杂度”:

  • 从需求反推层数,而非一步到位。 先用最少的层满足需求,随着复杂度和故障率上升再逐层叠加。一上来就搭五层栈,往往带来不成比例的维护成本。
  • 团队工程能力是重要约束。 运维和工程能力有限的团队,可优先选择托管化程度更高、脚手架更完善的方案,减少自建检索、循环、编排的负担。
  • 把可靠性预算花在刀刃上。 若业务对错误零容忍(如资金、合规相关),应尽早投入Harness层的校验与护栏,而非停留在打磨Prompt措辞上。
  • 可观测性决定长期维护成本。 越往上层,越要同步建设日志、链路追踪与告警,否则系统会退化成”难以定位问题的黑盒”。

八、迁移与使用注意事项

从裸奔方案迁移到分层方案,或在各层之间叠加时,需重点关注:

  • 数据与检索质量:Context层的效果强依赖检索召回的准确性与相关性,需要评估知识库质量、切分策略和召回排序。
  • 接口与副作用安全:Harness层的工具调用会触及真实业务,务必做好身份认证、权限最小化、幂等设计与操作审计,防止模型误操作造成实际损失。
  • 稳定性与收敛性:Loop层要预设最大迭代次数、超时和兜底策略,避免无限循环拖垮系统或抬高成本。
  • 兼容性与回滚:分层改造会改变调用链路和输出结构,应保留回退开关,用灰度方式验证后再全量。
  • 成本可观测:层数增加通常意味着调用次数和上下文长度上升,需提前建立用量监控,避免成本与延迟失控。

九、总结

裸奔式单Prompt方案与分层工程化方案的分野,本质是”表达能力”与”系统可靠性”之间的取舍。五层栈并非越全越好,而是一套按需叠加的工具箱:Prompt是地基,Context解决信息不对称,Harness让模型可控地执行动作,Loop处理多步纠错,Graph驾驭多环节协同。回到电商客服的例子——把实习生改造成可靠流水线,靠的不是把岗位说明书写得更华丽,而是在正确的阶段投入正确的工程层。选型时应从业务复杂度反推所需层数,结合自身工程能力,在开发效率与系统可靠性之间找到平衡,让每一层投入都对应一个真实且已被验证的问题。