简介:本文面向已有容器与监控基础、正在从原型走向生产的开发与运维团队,讲解五种Agent模式的部署差异,并给出环境准备、分步上线、验收标准、故障排查与成本治理方法,帮助读者按步骤完成稳定上线。
本文适合已经掌握容器部署、基础监控和日志系统,并准备把大模型智能体从原型推向生产环境的开发与运维团队。如果团队还没有容器化经验,建议先补齐这部分基础,再按本文步骤操作。
智能体应用的生产部署通常由三类组件共同构成:大模型推理服务、数据服务和应用编排层。推理服务负责生成回答,数据服务保存知识库与会话记录,应用编排层决定模型何时调用工具、何时结束推理。三者的故障模式不同,因此上线时需要分别验证。
不同的Agent模式对部署架构的要求差异较大,应先确定模式,再设计资源和服务。
| 模式 | 核心逻辑 | 部署关注点 | 典型场景 |
|---|---|---|---|
| 反射模式 | 模型对自身输出进行批评,并根据批评结果迭代修改。批评可由模型自评,也可由外部评估器给出 | 每轮迭代都会增加一次模型调用,需设置最大迭代轮数 | 文案生成、代码草稿修订 |
| 工具使用模式 | 模型按需调用外部工具或API,并把返回结果整合进回答 | 需管理工具注册信息、调用凭证、超时与降级逻辑 | 智能问答、数据查询 |
| ReAct模式 | 推理、行动、观察交替进行,直到得出结论 | 调用轮次不固定,需设置循环上限 | 多步检索、故障排查 |
| 规划模式 | 先把任务拆成步骤清单,再逐步执行,并可根据执行结果调整计划 | 计划与执行状态需持久化,中断后能够续跑 | 报表生成、流程自动化 |
| 多智能体模式 | 多个角色不同的智能体分工协作,通过消息传递交换结果 | 涉及多实例通信、状态同步与故障隔离 | 跨部门协同任务 |
选型时可以遵循以下原则。只需要一次推理加少量改写时,选择反射模式,部署一个推理服务即可。需要实时数据或精确计算时,加入工具使用模式,并额外部署工具服务和检索组件。多智能体模式会把部署问题变成分布式系统问题,只有在确实需要多角色分工时才采用。部署复杂度取决于具体实现和并发规模,不存在统一的等级划分。
一个生产级智能体应用通常包含以下五个模块。
部署前需要完成以下准备工作。
部署前请逐项确认下表内容。
| 检查项 | 通过标准 |
|---|---|
| 模型服务连通性 | 从应用所在网络发起一次测试调用,返回成功,耗时在规划范围内 |
| 向量库连通性 | 完成一次检索,返回结果数量与预期一致 |
| 密钥注入方式 | 应用通过环境变量或密钥服务读取密钥,代码与镜像中无明文 |
| 出方向白名单 | 规则中只包含模型服务与工具API地址 |
| 回滚准备 | 上一版本镜像和配置快照已保存,且可以正常拉取 |
部署按”准备环境、部署数据、发布应用、配置参数、启动服务”的顺序执行。每一步都需要通过验收标准后再进入下一步。
步骤1:初始化运行环境。 基于固定版本的基础镜像构建容器,并通过锁文件安装依赖。
步骤2:部署数据组件。 初始化向量数据库和业务数据库,导入向量数据并验证连接。
步骤3:发布应用并加载配置。 将应用镜像发布到目标环境,按环境加载对应的配置文件,实现多环境参数隔离。
mode 字段与选定的Agent模式一致,应用中没有硬编码的地址或密钥。步骤4:配置运行参数。 设置并发数、超时、重试次数和迭代上限等参数。示例如下,其中密钥通过环境变量注入。
下表说明各参数的调优依据与风险。
| 参数 | 作用 | 调优依据 | 主要风险 |
|---|---|---|---|
service.workers |
并发处理的进程数 | 参考单实例CPU核数和压测结果,一般不超过核数 | 过多导致内存争用,过少导致请求排队 |
llm.timeout_ms |
单次模型调用超时 | 取模型调用P99耗时并加适当余量 | 过短会误判为失败,过长会长时间占用连接 |
tools.call_timeout_ms |
单次工具调用超时 | 取工具P95耗时并加余量,且应小于模型超时 | 过长会让整个请求阻塞 |
tools.max_retries |
工具调用失败后的重试次数 | 只对幂等调用开启,通常设为1到2次 | 对非幂等操作重试,可能造成重复执行 |
步骤5:启动服务并灰度放量。 启动应用进程,配置健康检查探针,通过负载均衡把域名流量指向新实例,先放开少量流量观察。
/healthz 连续3次返回200。灰度阶段的错误率和延迟符合业务的服务等级目标。下面给出的数字只是示例,应根据业务实际情况调整。部署完成后,按下表逐项验证。
| 用例 | 操作 | 通过标准 |
|---|---|---|
| 反射模式迭代 | 提交一条需要修改的文案请求 | 迭代轮数不超过 max_rounds,最终输出通过评估器判定 |
| 工具调用 | 提出一个需要实时数据的问题 | 调用日志完整,回答中的数据与工具返回值一致 |
| 工具超时降级 | 在测试环境屏蔽某个外部API | 在 call_timeout_ms 内返回降级回答,请求没有无限等待 |
| 压力测试 | 以峰值并发的1.2倍持续施压15分钟 | P95延迟低于目标值,错误率低于1% |
| 故障转移 | 随机终止一个实例 | 健康检查在30秒内将其摘除,新实例拉起后请求无明显失败 |
| 日志检查 | 检索 password、api_key 等关键字 |
日志中没有匹配结果 |
| 现象 | 可能原因 | 验证方法或检查点 | 处置动作 |
|---|---|---|---|
| 服务无法访问 | 安全组未放行端口;负载均衡后端不健康;域名解析错误 | 用 nslookup 检查解析结果;查看负载均衡后端健康状态 |
修正安全组或解析记录,确认后端恢复健康 |
| 模型调用失败 | 密钥失效;出方向策略拦截;配额耗尽 | 用测试密钥发起一次最小请求,查看返回的错误码 | 轮换密钥;放行模型服务地址;申请提高配额 |
| 工具调用超时 | 外部API响应变慢或不可用;超时设置过小 | 统计工具调用耗时分布,与 call_timeout_ms 对比 |
启用降级回答,调整超时与重试,连续失败时熔断 |
| 响应质量波动 | 提示词版本被误改;评估器 |