简介:本文面向开发者、运维人员和架构师,讲解终端编程智能体服务的部署方法,涵盖资源规划、端口权限矩阵、模型与沙箱配置、上线验收指标、故障排查清单和回滚步骤。读者可据此搭建隔离可控的环境,并通过日志和监控及时发现智能体的死循环与静默失败。
部署包含三类组件。模型推理服务运行在GPU实例或推理容器中,对外提供文本生成接口。智能体运行时运行在普通计算实例中,负责维护任务状态、调度模型调用并执行恢复策略。执行沙箱池运行在独立的隔离环境中,承接命令执行和文件读写。
智能体运行时与沙箱是最容易被低估的部分。模型服务出错通常会直接报错,容易被发现。运行时的恢复逻辑出错则可能表现为任务静默失败,或反复执行同一条命令,排查难度更高。因此,应为运行时单独配置指标和日志。
端口与权限矩阵
下表中的地址为示例网段,上线时替换为实际值。
| 源 | 目标 | 端口 | 协议 | 策略 |
|---|---|---|---|---|
| 负载均衡 | 智能体运行时 | 8080 | HTTPS | 允许,鉴权后转发 |
| 智能体运行时 | 模型推理服务 | 8000 | HTTP | 仅允许运行时子网访问 |
| 智能体运行时 | 执行沙箱代理 | 2222 | gRPC | 仅允许运行时子网访问 |
| 执行沙箱 | 受控镜像源 | 443 | HTTPS | 允许,仅限域名白名单 |
| 执行沙箱 | 外网 | 全部 | 全部 | 默认拒绝 |
| 监控系统 | 各组件 | 9100、9090 | HTTP | 仅允许监控子网拉取指标 |
| 运维跳板机 | 各组件 | 22 | SSH | 按角色授权,禁用密码登录 |
权限遵循最小化原则。运行时使用专用服务账号,不持有云平台管理密钥。对象存储只授予任务前缀下的写权限。沙箱内不保存任何长期凭据。
资源规划
模型以FP16精度加载时,权重占用约为参数量乘以2字节。90亿参数对应约18GB权重显存。实际占用还包括以下部分:
实例规格的确定方法如下。先从模型配置中读取真实的层数和KV头数,代入公式估算目标并发下的显存。再用真实任务集压测,记录峰值显存。最后选择峰值显存加余量后仍能容纳的实例规格。
沙箱的初始配额可参考以下设置,正式值需根据任务特征调整:
沙箱池规模按”日任务量 × 平均任务时长”估算占用,并保留峰值余量。
2.1 模型服务
模型路径:/models/<模型版本目录>最大上下文长度:<按业务需要设定>并发上限:<压测确定的值>显存使用比例:<留出余量后的值>监听地址:<内网地址>:8000
2.2 沙箱隔离
隔离强度取决于技术选型。共享宿主机内核的容器隔离能力有限。执行不可信代码或涉及敏感数据时,应选用隔离强度更高的方案,例如轻量虚拟机。
2.3 恢复策略参数
以下数值为初始建议,需在评测集上验证后调整。
按以下顺序验证,全部通过后再开放业务流量。
验收指标如下。
| 指标 | 统计口径 | 验收要求 |
|---|---|---|
| 模型响应延迟 | 首字延迟和完整响应时间的P95 | 由团队根据业务场景定义,并记录在压测报告中 |
| 任务成功率 |