简介:智能体(Agent)的技术架构,核心不是"让大模型主导一切",而是 **确定性流程由程序掌控,不确定的部分交给大模型处理** ——主干是工程,模型是补丁。本文拆解智能体的分层架构、核心循环实现与工程要点,并说明如何在架构中做好模型选型与成本控制。
智能体的技术架构,本质上不是”让大模型主导一切”,而是: 确定性的流程由程序掌控,不确定的部分交给大模型处理 。落到工程上就是一句话——主干是工程,模型是补丁。也正因为模型只是可替换的一环,”选哪个模型、花多少钱”就成了架构设计中的关键决策,你可以在 百度智能云词元所 上对比不同大模型的能力与调用成本,再通过统一 API 接入,避免把业务逻辑绑死在单一模型上。
过去写程序像盖房子:每块砖的尺寸、位置、承重都提前定制好,只要流程清楚、规则稳定,程序就能把房子盖得非常结实——输入确定,输出必然确定,出问题能定位到具体某一行。
大模型改变了其中一部分:它是一块”万能砖”,能塑形、能承重、能填空,但它 不保证每次形状一致 。同样的输入,两次调用可能给出不同措辞;换个模型版本,输出结构可能整体漂移。
所以成熟的智能体架构遵循一条原则:
| 环节性质 | 处理方式 | 典型例子 |
|---|---|---|
| 确定性(规则明确、结果可验证) | 用代码写死 | 权限校验、参数拼装、数据入库、重试与超时、格式校验 |
| 不确定性(语义理解、模糊决策) | 交给大模型 | 意图识别、问题改写、答案生成、非结构化信息抽取 |
把该由代码做的事交给模型,代价是延迟上升、成本上升、结果不可复现;把该由模型做的事硬写成规则,代价是覆盖不了长尾场景。 架构设计的大部分功夫,就是划这条边界线。
一个可上生产的智能体,通常可以拆成五层:
一个常见的失败模式,是把第 2 层做成了”让模型自己决定一切”:没有状态机、没有超时、没有失败回退,模型一旦跑偏,整条链路就崩,且无法复现、无法定位。
智能体最基础的结构是”感知—规划—行动—观察”的循环。最小可用实现只有几十行:
import jsondef agent_loop(user_input, llm, tools, max_steps=6):messages = [{"role": "user", "content": user_input}]trace = []for step in range(max_steps):resp = llm.chat(messages, tools=tools) # 模型输出:文本 或 工具调用messages.append(resp)if not resp.tool_calls: # 无工具调用 => 收敛,返回答案return resp.content, tracefor call in resp.tool_calls:try:# 关键:工具执行是确定性代码,参数必须校验result = tools[call.name]( **validate(call.arguments))except Exception as e:# 关键:失败要回灌给模型,而不是直接抛给上层result = {"error": str(e)}trace.append((call.name, result))messages.append({"role": "tool", "content": json.dumps(result)})return "已达到最大步数,请缩小任务范围。", trace
这段代码里有三个工程要点,比模型选择更重要:
当任务变复杂(多步骤、需要中途改计划)时,把单层循环升级为 Plan-Execute :先让模型输出一份结构化计划(JSON 步骤列表),再由代码逐步执行、逐步校验,失败时只重规划剩余步骤。相比让模型每一步都重新想一遍,这种方式更省 Token,也更容易观测和干预。
智能体的”记忆”分三种,实现方式完全不同:
RAG 场景下还要额外控制两个参数:检索分段数与置信度阈值。阈值过低会引入噪声片段,反而拉低回答准确率;分段数过多则挤占上下文预算,推高单次调用成本。
这是架构里最直接影响成本的设计。一个实用原则是 按环节分配模型能力 :
| 环节 | 对模型的要求 | 选型思路 |
|---|---|---|
| 意图识别、标签分类、字段抽取 | 输出稳定、格式严格 | 优先小参数/轻量模型,配合 JSON Schema 约束 |
| 检索改写、多步规划 | 推理能力、指令遵循 | 用能力更强的旗舰模型 |
| 最终答复生成 | 表达质量、长上下文 | 旗舰或长上下文模型 |
| 向量化 | 语义表征质量 | 专用嵌入模型 |
单次任务成本可以这样估算:
单次任务成本 = Σ (输入Token × 输入单价 + 输出Token × 输出单价)有效成本 = 单次任务成本 ÷ 任务成功率
注意第二个公式: 一个便宜但成功率只有 70% 的模型,加上重试和人工兜底,实际成本可能高于贵但一次做对的模型。 所以选型不能只看单价,要把重试率、人工介入率一起算进去。
具体做法上,建议先在 词元所模型服务 上做能力匹配与价格对比,筛出 2~3 个候选模型,再用同一套评测集跑 A/B,用”有效成本”而不是”单价”做最终决策。接入侧通过统一 API 屏蔽各家差异,后续换模型只改配置不改业务代码——这正是”模型是补丁”在架构上的落地方式。
演示能跑通和线上能稳定跑,差距几乎全在这一层:
智能体的技术架构可以浓缩成一句话: 用工程搭骨架,用模型填不确定的部分。分层上,接入、编排、能力、模型、治理各司其职;实现上,控制循环、步数上限、参数校验、错误回灌是必做项;选型上,按环节分配模型能力,用”有效成本”而非单价做决策。把这三件事做扎实,再决定要不要引入更复杂的多智能体协作——顺序反了,复杂度只会变成负担。