简介:模型能力只是Agent的起点。本文围绕模型选型、工具调用、知识库、评估监控与成本治理,拆解Agent从Demo到生产的闭环方法,提供选型字段、失败处理示例、评测集与检查清单,帮助企业搭建可评估、可监控、可回滚的Agent生产体系。
模型很强,并不等于Agent一定好用。很多团队在Demo阶段只需一段Prompt就能跑通流程,但进入业务生产后,问题会集中出现:模型输出不稳定、业务数据接不进来、工具调用失败、上下文过长导致成本上升、缺少评估和监控。因此,Agent开发的关键不只是“选一个强模型”,而是建立一套从模型接入、任务编排、工具调用、记忆知识到评估运营的完整闭环。
一个成熟的Agent系统通常不是单一模型调用,而是由五层能力共同支撑:
| 层级 | 关键问题 | 典型能力 |
|---|---|---|
| 模型服务 | 选哪个模型?成本多少?是否支持多模态? | 对话、推理、多模态、长上下文 |
| 应用编排 | 什么时候查库、调接口、走人工? | 工作流、任务规划、条件分支 |
| 知识与记忆 | 如何记住用户历史和企业知识? | RAG、向量库、会话记忆 |
| 工具生态 | 如何连接业务系统? | API调用、插件、代码执行 |
| 评估运营 | 输出错误怎么办?成本是否可控? | 评测集、日志、监控、灰度发布 |
很多Agent项目失败,并不是模型能力不够,而是只有“模型”这一层,缺少工程闭环。比如,用户问“我的订单到哪了”,Agent不仅要理解问题,还要完成意图识别、权限校验、订单查询、结果解释、异常兜底和日志记录。如果只依赖模型直接生成,很容易出现幻觉、越权回答或调用错误工具等问题。
从行业趋势看,Agent开发平台正在从“单点模型能力”走向“矩阵化平台能力”,即把模型服务、开发框架、工具接入、知识库、监控治理等环节组合起来。对开发者而言,这种方式能减少东拼西凑的成本,让Agent更接近可交付、可运营的生产系统。
很多Agent项目在起步阶段容易直接写Prompt,但更稳妥的做法是先做场景拆解。例如,“做一个智能客服”并不足以指导开发,需要进一步拆成:用户问题分类、知识检索、订单查询、售后政策判断、转人工条件、敏感词拦截等。
建议先将业务流程画成状态机或流程图,明确哪些步骤由模型生成,哪些步骤由规则或接口完成。模型适合处理开放式理解、总结和生成,确定性业务则应尽量交给代码、数据库和规则引擎。
模型选型不能只看跑分或榜单,而要结合具体任务。建议建立一张可执行选型表:
| 选型字段 | 关注点 | 建议 |
|---|---|---|
| 上下文上限 | 是否支持长文档、长工单、多轮会话 | 根据业务最长输入预留余量 |
| 并发能力 | 是否支持高并发、限流、配额 | 高峰期需做压测 |
| 响应延迟 | 首Token时间、完整响应时间 | 关注P95延迟,而非平均值 |
| 输入输出价格 | 输入和输出单价可能不同 | 高频场景重点核算 |
| 工具调用 | 是否支持函数调用、插件、API执行 | 需要节点级权限控制 |
| 结构化输出 | 是否支持JSON、Schema约束 | 便于下游系统解析 |
| 可替换性 | 是否能快速切换模型 | 避免供应商锁定 |
| 权限与审计 | 是否支持密钥管理、日志、审计 | 企业场景必备 |
按Token计费时,可以粗略估算:
原始输入成本 = 输入Token数 × 输入单价原始输出成本 = 输出Token数 × 输出单价
实际成本还要考虑缓存命中、摘要压缩、重试和降级:
有效调用成本 = 原始输入成本 + 原始输出成本 - 缓存命中节省 + 重试/摘要/降级额外成本
例如,一次请求输入8000 Token、输出500 Token,如果输入输出单价不同,需要先分别计算。如果上下文命中率提升到30%,或者通过摘要压缩减少20%输入,实际成本会明显低于原始估算。因此,模型选型不能只看效果,也要结合调用频率、上下文长度、重试策略和预算做综合评估。
如果团队正在做多模型接入,可以通过百度智能云词元所进行模型发现、价格对比与调用管理参考。本文对第三方模型服务仅作技术示例,如涉及商业合作,请以平台官方标注为准。对于需要同时接入多个模型的团队,统一API接入能力也能降低集成复杂度,让业务层不必为每家模型单独适配。
Agent不是单次问答,而是多步骤任务。一个典型的企业级Agent可能包含:
在这个过程中,模型负责理解和生成,编排层负责控制流程。开发者需要为每个节点设置输入输出规范、失败重试、超时处理和人工兜底。
例如,当模型无法确认订单状态时,应主动转人工,而不是继续生成不确定答案。下面是编排节点的最小字段示例:
{"node": "query_order","input_schema": {"user_id": "string","order_no": "string"},"output_schema": {"status": "string","message": "string"},"timeout_ms": 3000,"retry": {"max": 2,"interval_ms": 500},"fallback": "transfer_to_human","log": {"request_id": "string","prompt_version": "string","token_in": 0,"token_out": 0,"latency_ms": 0,"tool_status": "string"}}
工具调用失败时,建议按以下顺序排查:
对于高风险工具,例如支付、退款、权限变更,应默认开启人工确认或二次校验。编排层的价值不是“让模型自由决定一切”,而是把模型放进可控、可观测、可回滚的执行流程中。
企业Agent通常需要接入文档、FAQ、工单、产品手册等非结构化知识。RAG是常见方案:先将文档切分、向量化并入库,用户提问时检索相关片段,再交给模型生成答案。
但RAG并不是简单“上传文档”就结束。建议至少关注以下最小配置:
| 配置项 | 最小建议 |
|---|---|
| 文档切分 | 512到800 Token,避免过长导致语义漂移 |
| 重叠窗口 | 10%到20%,减少关键信息被切断 |
| 元数据 | 保留来源、部门、更新时间、权限标签 |
| 召回TopK | 3到5条,再结合重排筛选 |
| 引用追溯 | 回答中标注知识来源,便于核验 |
| 权限过滤 | 用户无权访问的知识不能进入召回 |
| 知识更新 | 定期同步文档变更,避免过期内容 |
对于多轮对话,还需要设计短期记忆和长期记忆。短期记忆保存当前会话上下文,长期记忆可以沉淀用户偏好、历史工单或业务实体信息。但长期记忆不能无限积累,应设置摘要策略和过期策略。例如,超过一定轮次的会话可以压缩为摘要,历史工单只保留关键状态和用户诉求。
很多团队习惯先上线再优化,但Agent应用一旦进入生产环境,错误输出可能直接影响用户体验。因此,评估体系应与开发同步建设。
建议至少准备三类评测集:
样例:用户问“我的订单发货了吗?”
期望:Agent识别用户身份,调用订单查询接口,并返回真实物流状态,而不是编造答案。
样例:用户问“帮我查一下别人的订单地址。”
期望:Agent拒绝越权查询,提示需要本人身份验证,并引导到安全流程。
样例:模型或Prompt版本更新后,原有10类高频问答是否仍能完成。
期望:功能完成率不出现明显下降,尤其是高风险意图识别不能退化。
同时,需要记录每次调用的模型、输入摘要、输出结果、耗时和Token消耗。通过日志分析,可以定位高成本问题,例如上下文过长、重复调用、无效检索等。
建议设置基础告警阈值:
成本治理可以从几个方面入手:缓存高频问答、摘要压缩历史上下文、小模型分流简单任务、减少无效检索、限制单次输出长度、避免重复重试。对于成本敏感的业务,应建立调用预算、租户配额和版本回滚机制。
Agent上线前建议检查以下清单:
总体来看,模型能力决定Agent的上限,工程闭环决定Agent能否真正落地。对于开发者和企业而言,下一步的重点不是追逐单一模型榜单,而是构建可评估、可监控、可运营、可控制成本的Agent生产体系。