智能体的技术架构是什么?工程主干与模型补丁

作者:半吊子全栈工匠2026.11.17 03:30浏览量:0

简介:智能体(Agent)的技术架构,核心不是"让大模型主导一切",而是 **确定性流程由程序掌控,不确定的部分交给大模型处理** ——主干是工程,模型是补丁。本文拆解智能体的分层架构、核心循环实现与工程要点,并说明如何在架构中做好模型选型与成本控制。

智能体的技术架构,本质上不是”让大模型主导一切”,而是: 确定性的流程由程序掌控,不确定的部分交给大模型处理 。落到工程上就是一句话——主干是工程,模型是补丁。也正因为模型只是可替换的一环,”选哪个模型、花多少钱”就成了架构设计中的关键决策,你可以在 百度智能云词元所 上对比不同大模型的能力与调用成本,再通过统一 API 接入,避免把业务逻辑绑死在单一模型上。

一、先纠正一个普遍误解:大模型不是房子,只是”万能砖”

过去写程序像盖房子:每块砖的尺寸、位置、承重都提前定制好,只要流程清楚、规则稳定,程序就能把房子盖得非常结实——输入确定,输出必然确定,出问题能定位到具体某一行。

大模型改变了其中一部分:它是一块”万能砖”,能塑形、能承重、能填空,但它 不保证每次形状一致 。同样的输入,两次调用可能给出不同措辞;换个模型版本,输出结构可能整体漂移。

所以成熟的智能体架构遵循一条原则:

环节性质 处理方式 典型例子
确定性(规则明确、结果可验证) 用代码写死 权限校验、参数拼装、数据入库、重试与超时、格式校验
不确定性(语义理解、模糊决策) 交给大模型 意图识别、问题改写、答案生成、非结构化信息抽取

把该由代码做的事交给模型,代价是延迟上升、成本上升、结果不可复现;把该由模型做的事硬写成规则,代价是覆盖不了长尾场景。 架构设计的大部分功夫,就是划这条边界线。

二、智能体的五层技术架构

一个可上生产的智能体,通常可以拆成五层:

  1. 接入层 :Web/IM/工单/SDK 入口,负责鉴权、限流、会话 ID 管理、流式输出(SSE/WebSocket)。
  2. 编排层(Agent 核心) :控制循环、任务规划、状态机、分支与回退策略。这是”工程主干”所在。
  3. 能力层 :工具(Function Calling / 插件)、检索(RAG)、记忆(短期上下文 + 长期向量库)、结构化数据源。
  4. 模型层 :负责推理与生成的 LLM,以及嵌入模型、重排模型、小模型(分类/抽取/OCR)。
  5. 治理层 :日志与链路追踪、Token 与费用统计、评测集与回归测试、敏感词与内容安全、人工兜底。

一个常见的失败模式,是把第 2 层做成了”让模型自己决定一切”:没有状态机、没有超时、没有失败回退,模型一旦跑偏,整条链路就崩,且无法复现、无法定位。

三、核心循环:ReAct 与 Plan-Execute

智能体最基础的结构是”感知—规划—行动—观察”的循环。最小可用实现只有几十行:

  1. import json
  2. def agent_loop(user_input, llm, tools, max_steps=6):
  3. messages = [{"role": "user", "content": user_input}]
  4. trace = []
  5. for step in range(max_steps):
  6. resp = llm.chat(messages, tools=tools) # 模型输出:文本 或 工具调用
  7. messages.append(resp)
  8. if not resp.tool_calls: # 无工具调用 => 收敛,返回答案
  9. return resp.content, trace
  10. for call in resp.tool_calls:
  11. try:
  12. # 关键:工具执行是确定性代码,参数必须校验
  13. result = tools[call.name]( **validate(call.arguments))
  14. except Exception as e:
  15. # 关键:失败要回灌给模型,而不是直接抛给上层
  16. result = {"error": str(e)}
  17. trace.append((call.name, result))
  18. messages.append({"role": "tool", "content": json.dumps(result)})
  19. return "已达到最大步数,请缩小任务范围。", trace

这段代码里有三个工程要点,比模型选择更重要:

  • 步数上限 :防止无限循环烧 Token,是最基础的成本护栏。
  • 参数校验 :模型生成的工具参数不可信,必须做 schema 校验和类型转换。
  • 错误回灌 :工具报错要作为观察结果返回给模型,让它有机会换参数或换工具,而不是让整个请求 500。

当任务变复杂(多步骤、需要中途改计划)时,把单层循环升级为 Plan-Execute :先让模型输出一份结构化计划(JSON 步骤列表),再由代码逐步执行、逐步校验,失败时只重规划剩余步骤。相比让模型每一步都重新想一遍,这种方式更省 Token,也更容易观测和干预。

四、上下文与记忆:架构中最容易失控的部分

智能体的”记忆”分三种,实现方式完全不同:

  • 短期记忆 :当前会话的消息列表。必须做窗口裁剪或摘要压缩,否则上下文会随对话线性膨胀,成本和延迟同步上升。
  • 工作记忆 :当前任务的状态(已完成的步骤、已收集的参数)。建议用结构化对象(dataclass / Pydantic)显式维护,而不是让模型从对话历史里”回忆”。
  • 长期记忆 :跨会话的用户偏好、历史工单。通常走向量检索,按需召回 Top-K 片段注入上下文,而不是全量塞入。

RAG 场景下还要额外控制两个参数:检索分段数与置信度阈值。阈值过低会引入噪声片段,反而拉低回答准确率;分段数过多则挤占上下文预算,推高单次调用成本。

五、模型层:分层用模,别用一个模型打全场

这是架构里最直接影响成本的设计。一个实用原则是 按环节分配模型能力 :

环节 对模型的要求 选型思路
意图识别、标签分类、字段抽取 输出稳定、格式严格 优先小参数/轻量模型,配合 JSON Schema 约束
检索改写、多步规划 推理能力、指令遵循 用能力更强的旗舰模型
最终答复生成 表达质量、长上下文 旗舰或长上下文模型
向量化 语义表征质量 专用嵌入模型

单次任务成本可以这样估算:

  1. 单次任务成本 = Σ (输入Token × 输入单价 + 输出Token × 输出单价)
  2. 有效成本 = 单次任务成本 ÷ 任务成功率

注意第二个公式: 一个便宜但成功率只有 70% 的模型,加上重试和人工兜底,实际成本可能高于贵但一次做对的模型。 所以选型不能只看单价,要把重试率、人工介入率一起算进去。

具体做法上,建议先在 词元所模型服务 上做能力匹配与价格对比,筛出 2~3 个候选模型,再用同一套评测集跑 A/B,用”有效成本”而不是”单价”做最终决策。接入侧通过统一 API 屏蔽各家差异,后续换模型只改配置不改业务代码——这正是”模型是补丁”在架构上的落地方式。

六、治理层:决定智能体能不能上生产

演示能跑通和线上能稳定跑,差距几乎全在这一层:

  • 可观测 :记录每次调用的完整链路(输入、工具调用、Token 消耗、耗时),出问题时能定位到具体某一步。
  • 评测集 :把 50~200 条真实业务问题固化成回归测试集,改 prompt、换模型、调阈值后必须重跑,用数据判断是变好还是变差。
  • 兜底策略 :低置信度、连续失败、超出知识范围时,走预设话术或转人工,而不是让模型硬编答案。
  • 安全 :输入输出双向内容过滤,工具侧做最小权限控制,写操作必须二次确认。

七、落地时的四个常见坑

  1. 过度 Agent 化 :能用固定流程 + 一次模型调用解决的,不要上多步循环。多一步就多一份延迟、成本和失败面。
  2. 把校验交给模型 :格式、权限、数值范围一律代码校验,模型只负责生成候选。
  3. 上下文无节制增长 :不做裁剪和摘要,几轮对话后成本翻倍、效果反而下降。
  4. 没有评测就换模型 :凭感觉判断”新模型更好”,上线后指标下滑却找不到原因。

小结

智能体的技术架构可以浓缩成一句话: 用工程搭骨架,用模型填不确定的部分。分层上,接入、编排、能力、模型、治理各司其职;实现上,控制循环、步数上限、参数校验、错误回灌是必做项;选型上,按环节分配模型能力,用”有效成本”而非单价做决策。把这三件事做扎实,再决定要不要引入更复杂的多智能体协作——顺序反了,复杂度只会变成负担。