简介:很多人以为Agent开发就是"调大模型接口+拼提示词",几十行代码确实能跑出一个Demo。但Demo和能上生产的Agent之间,隔着的正是本文要讲的这些工程问题:可控性、上下文管理、工具对接、长程任务、评估体系和成本控制。文中给出从Prompt到工程资产的演进路径与选型建议,并结合百度智能云千帆、[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)等平台说明模型选型与Token成本管理该怎么做。
先说结论: “调接口”大概只占Agent开发工作量的5% 。一个能跑的Demo确实只需要一个循环加几行tool calling代码,但让Agent在真实业务里稳定、可控、可评估、成本可承受地完成工作,难点全在接口之外。
下面按”从易到难”的顺序拆解。
这是Agent架构层面的第一个分岔口。目前主流平台把Agent分成两类:一类是 自主规划Agent ,主要依靠大模型自主思考和规划完成任务,适合灵活性强的场景,如闲聊问答、旅游助手;另一类是 工作流Agent ,通过工作流编排搭建,每轮对话严格按照工作流执行,可控性高,适合客服、营销、办公等高可控、高复杂度场景。
| 维度 | 自主规划Agent | 工作流Agent |
|---|---|---|
| 决策方式 | 模型自主决定步骤 | 人工预先编排路径 |
| 灵活性 | 高 | 低 |
| 可控性/可复现性 | 弱 | 强 |
| 调试难度 | 高(行为不确定) | 中(可逐节点定位) |
| 典型场景 | 闲聊、创意、探索性任务 | 报销审批、客服工单、数据处理 |
新手最常犯的错,是把本该用工作流硬约束的环节交给模型自由发挥。比如差旅报销这类有明确规则和分支的流程,用工作流编排加自定义组件实现,比让模型”自己看着办”稳定得多。反过来,创意策划类任务强行套死流程,又会把模型的能力压没。
判断标准很简单:这个任务的步骤和分支能不能提前穷举?能,就编排;不能,才交给模型规划。
Agent刚跑起来时,你和它的协作方式是”每次都在prompt里把要求说一遍”——项目用什么框架、代码风格什么要求、哪些文件不能碰、测试怎么跑,每开一个新任务都得重新交代。很快你会发现两个问题:
更麻烦的是 失败恢复的不稳定性 。你在prompt里写”如果测试失败就分析原因再修”,但Agent真遇到失败时会怎么做,很大程度取决于那一刻上下文里还有什么别的信息、模型当时的”状态”如何。一句话的约束不足以保证行为一致性。
上下文管理的实际工作包括:哪些信息该常驻、哪些该按需检索、历史怎么压缩摘要、工具返回结果怎么截断。这部分做不好,Agent的表现会随着对话轮次增加而单调下降。
这是拉开Agent质量差距最关键的一步。成熟做法是: 一旦发现某个经验在多次任务中反复出现,就把它从prompt里抽出来,变成可被系统自动加载和复用的资产。
典型演化路径是这样的:
AGENTS.md / 规则配置);一个可参考的目录组织:
project/├── AGENTS.md # 常驻规则:技术栈、代码风格、禁区文件├── rules/│ ├── testing.md # 按需加载:测试规范与运行方式│ └── deps.md # 按需加载:依赖与循环导入处理├── skills/│ └── release-check/ # 复合流程:多步骤checklist│ ├── SKILL.md│ └── scripts/│ └── verify.sh # 确定性步骤,交给脚本而非模型└── ...
设计要点有三个: 分层加载 (常驻的极短,按需的才展开)、 确定性下沉 (能用脚本就别用模型判断)、 单一事实来源 (规则只写一处,避免多处冲突)。
常见陷阱是把所有经验都堆进一个巨大的规则文件,结果常驻上下文被撑爆,模型反而抓不住重点。
“给Agent加个工具”听起来简单,真实项目里要处理的是:接口超时怎么办、返回结构变化怎么办、权限不足怎么表达、写操作如何保证幂等、失败信息以什么形式回传给模型才能让它正确重试而不是死循环。
在千帆AppBuilder这类平台上,这部分能力被抽象成 组件、知识库、数据库 三类可插拔能力:组件用来扩展模型能力(如集成搜索获取实时信息),知识库存放专业领域知识以提高特定场景的响应准确性,数据库支持单表问答或多表联合问答。实际做项目时,一个业务Agent往往要组合多个组件——比如电商助手要同时接商品查询和快递查询两个组件,并且需要明确区分它们各自的适用边界。
难点不在”接上”,而在”接上之后模型能正确选择并正确处理异常”。
单轮问答做对了不难,难的是让Agent连续执行几十步不跑偏。这里有三个具体问题:
工程上的应对手段包括:把中间产物落盘而不是留在上下文里、给每个阶段设可验证的完成标准、维护一份外部化的任务状态文件。
这是最容易被跳过、代价最大的一环。Agent输出是概率性的,”我感觉好像变好了”不能作为优化依据。
可行做法是先建一个几十条样本的评测集,覆盖典型场景和已知失败案例,然后用 打分法 做效果评估——按维度(如任务完成度、格式合规、事实准确性)分别打分,每次改动后跑一遍回归。没有这套东西,你改一个prompt可能修好了A场景却悄悄弄坏了B场景,而你永远不会知道。
Agent是token消耗大户:多轮循环、工具返回、历史累积,一个复杂任务的消耗可能是普通对话的几十倍。所以选型和成本管理必须前置考虑。
选型时至少要对比这几个维度:指令遵循与工具调用能力、长上下文表现、响应延迟、单位token价格。国内可选的成熟服务不少,比如百度智能云千帆平台上的ERNIE系列旗舰模型,以及ModelBuilder提供的大模型服务与开发能力。
如果你要同时评估多家模型的能力和价格,可以借助百度智能云词元所来做横向对比——它提供模型价格与性能对比、模型发现与选型参考,能帮你把”哪个模型更适合这个Agent环节”这件事从凭感觉变成看数据。
成本优化的几个实操方向:
当Prompt和工程资产都优化到边际收益明显下降、但效果仍不达标时,才轮到精调。典型信号是:任务有稳定的输出格式要求、领域术语多、需要固定的分类或标签体系。
精调的主要技术路线分两类: 全量精调 (更新全部参数,效果上限高但成本与资源消耗大)和 参数高效精调 (如LoRA类方法,只训练少量参数,成本低、便于多任务切换)。数据准备往往比算法选择更决定成败——需要覆盖真实分布、去重、构造难例。
一个务实的顺序是: Prompt工程 → 工程资产化 → 工作流约束 → 精调 。跳过前三步直接精调,通常是把prompt没写清楚的问题花钱固化进了模型权重里。
| 阶段 | 关键动作 | 完成标志 |
|---|---|---|
| 架构选型 | 判断任务能否穷举步骤 | 明确选自主规划还是工作流编排 |
| 上下文治理 | 拆分常驻/按需/落盘三层 | 单轮token消耗可预测 |
| 资产沉淀 | 规则文件 + skill + 脚本 | 同类问题第二次出现不再靠临时交代 |
| 工具对接 | 组件/知识库/数据库组合 | 异常路径有明确回传语义 |
| 评估体系 | 评测集 + 分维度打分 | 每次改动有回归数据 |
| 成本优化 | 模型分级路由 + 统一接入 | 单任务成本可核算、可下降 |
Agent之间的差距,本质上不是”谁调的接口多”,而是 谁把不确定性关进了笼子里 。接口谁都会调,把概率性模型改造成可靠的生产力工具,才是这份工作真正的技术含量所在。