简介:上线前最怕显存不够、版本对不上、出问题切不回去。本文给出显存估算公式和单卡、多卡判断方法,附带完整算例,并提供上线配置、验证清单、故障排查表和回滚演练步骤。读者可以直接套用这些检查项,判断部署规模,降低上线风险。
本文适用于将固定基座模型经后训练增强后,部署为企业内部推理服务的团队。典型场景包括编码辅助、软件工程任务处理(如代码审查、单元测试生成、文档整理)等。服务只面向受控的企业内部用户,所有请求都须经过身份认证。
上线前要先回答三个问题:
三个问题的答案分别对应容量估算、版本记录和回滚方案。后文第三节到第五节给出具体做法。
部署方式有两种。
| 维度 | 全部自建 | 训练自建、推理托管 |
|---|---|---|
| 初始投入 | 硬件采购和机房成本高 | 以按需资源为主,初始投入低 |
| 运维负担 | 需要专职团队维护驱动、网络和存储 | 平台承担底层维护,团队专注模型服务 |
| 数据驻留 | 数据完全留在自有环境 | 需确认托管区域和数据保留条款 |
| 弹性 | 扩容周期长 | 可按需扩缩,但受平台配额限制 |
| 可调范围 | 内核参数、网络拓扑、镜像内容均可调 | 可调范围受平台约束 |
选择时应综合团队规模、数据驻留要求和预算。无论选哪种方式,都应以所用平台和推理框架的公开文档为准。本文讨论的是通用方法,不涉及任何特定厂商的接口或计费规则。
部署完成后,应能通过第四节的验证清单逐项确认以下状态:推理服务按权限和限流策略接收请求;基座权重与后训练产物可以双向追溯;训练、验证、推理三类环境网络隔离、账号分离;日志、指标、告警和回滚机制经过演练。
每个模块都应明确输入、输出、需登记的版本、访问角色和关键监控指标。
| 模块 | 输入 | 输出 | 需登记的版本 | 访问角色 | 关键监控指标 |
|---|---|---|---|---|---|
| 基座权重管理 | 基座权重文件 | 带校验值的版本化路径 | 基座版本号、SHA-256 校验值 | 基座管理员,只读 | 导入失败次数 |
| 后训练集群 | 版本化基座、任务集、超参 | 后训练权重、训练日志 | 训练镜像、驱动版本、超参文件哈希 | 训练工程师 | GPU 利用率、任务成功率 |
| 自动验证器 | 模型输出、判定规则 | 通过或失败标记、误判样本 | 判定规则版本 | 验证工程师 | 验证超时率、误判率 |
| 模型注册 | 训练产物、评估报告 | 模型版本记录 | 注册表版本 | 发布负责人 | 注册成功率 |
| 推理服务 | 注册模型、服务配置 | 推理结果 | 推理框架版本、配置文件哈希 | 生产运维 | 首字延迟、错误率、显存占用 |
| API 网关 | 外部请求 | 鉴权后的请求、审计日志 | 网关策略版本 | 安全管理员 | 401/403 比例、限流触发次数 |
数据按以下顺序流动,每一步都要留下版本记录:
回滚时,团队只需把推理服务指向上一个注册版本记录。如果第 2 步或第 4 步的记录缺失,就无法确认某个权重来自哪次训练,回滚和问题定位都会变得困难。
| 类别 | 准备内容 | 注意事项 |
|---|---|---|
| 账号权限 | 训练、推理、存储、网关、日志监控的独立账号 | 训练与生产账号分离,按最小权限分配,密钥建议每 90 天轮换 |
| 计算资源 | 推理加速卡数量、单卡显存、CPU 与内存 | 按 3.3 节公式估算,并预留 20% 峰值余量 |
| 存储资源 | 权重存储、日志存储、备份空间 | 按 3.5 节估算,至少保留一个已验证的回滚版本 |
| 审计日志 | 请求日志、变更日志、访问日志 | 建议保留 180 天,实际周期以合规要求为准 |
| 符号 | 含义 | 取值来源 |
|---|---|---|
| P | 模型参数量(个) | 模型配置文件 |
| b | 每个参数占用的字节数,BF16 为 2,FP8 为 1 | 推理精度设置 |
| C | 峰值同时在途请求数 | 业务日志中 P99 时段的统计 |
| L_in | 平均输入 token 数 | 业务日志 |
| L_out | 平均输出 token 数 | 业务日志 |
| s_kv | 每个 token 的 KV 缓存字节数 | 2 × 层数 × KV 头数 × 头维度 × 每元素字节数 |
| U | 单卡可用显存 | 单卡显存 × 0.9,预留 10% 给运行时 |
多卡张量并行后,每卡需求约为 M_total ÷ n。但卡间通信会降低吞吐,因此最终卡数必须以压测结果确认。上面的系数是起算值,应按实际压测数据修正。
假设条件如下:参数量 32B,精度 BF16,64 层,KV 头数 8,头维度 128,单卡显存 80 GB,峰值并发 C = 8,平均输入加输出为 4096 token。按 1 GB = 1024 MB 计算。
80 GB 大于 72 GB,单卡不足。卡数 n = ⌈80 ÷ 72⌉ = 2,取张量并行度 2。每卡需求约 40 GB,两卡合计可用 144 GB,余量充足。
如果改用 FP8 量化,M_w = 32 × 10⁹ × 1 字节 × 1.1 ≈ 35.2 GB,总需求约 44.8 GB,低于 72 GB,可以单卡部署。但量化会改变输出质量,必须重新跑完第四节的验证清单后才能启用。
存储需求按下面的公式计算:
存储总量 = 保留版本数 × 单版本体积 × 1.2 + 备份空间
沿用 3.4 节的模型,单个 BF16 检查点约 64 GB。建议保留三个版本:当前生产版本、上一已验证版本(用于回滚)、一个待验证候选版本。3 × 64 GB × 1.2 ≈ 230 GB,再加上配置和注册表备份,实际预留 240 GB 以上较为稳妥。
版本保留策略建议如下:生产版本和上一已验证版本长期保留;候选版本在验证通过或被否决后清理;训练中间检查点按固定步数保留最近几个,其余删除。
| 配置项 | 建议起始值 | 说明 |
|---|---|---|
| 实例数 | ⌈峰值 QPS ÷ 单实例稳定 QPS⌉ + 1 | 多出的 1 个实例用于冗余 |
| 张量并行度 | 由 3.3 节判断得出,例如 2 | 必须与每个实例分配的卡数一致 |
| 最大并发 | 单实例压测稳定值的 80% | 留出排队余量 |
| 最大输入长度 | 按业务上限设定 | 超出的请求直接拒绝,防止长请求占满显存 |
| 最大输出长度 | 按业务上限设定,例如 2048 token | 限制单个请求的占用时长 |
| 批处理 | 开启连续批处理(continuous batching) | 具体参数以推理框架文档为准 |
| 请求超时 | 首字超时 10 秒,整体超时按输出长度估算 | 超时请求应及时释放显存 |
| 限流 | 按密钥设置每分钟请求数和每分钟 token 数 | 超限返回 429,并记入审计日志 |
| 健康检查 | 就绪检查每 10 秒一次,连续 3 次失败则摘除实例 | 摘除后不再分发请求 |
| 灰度发布 | 新版本先接收 5% 流量,观察 30 分钟 | 指标达标后再全量切换 |
以上均为起始值,需要按压测结果调整。
| 指标 | 触发条件(建议值) | 处置动作 |
|---|---|---|
| 5xx 错误率 | 连续 5 分钟超过 1% | 回滚到上一已验证版本 |
| 首字延迟 P95 | 超过基线的 1.5 倍,持续 10 分钟 | 先扩容,扩容无效则回滚 |
| 401/403 比例 | 较基线翻倍,持续 5 分钟 | 核对网关策略版本,必要时回滚网关 |
| 自动验证器失败率 | 超过基线的 2 倍 | 冻结发布,回滚并保留样本供排查 |
阈值应按服务等级目标(SLO)和历史基线设定,上表数值只作为出发点。
| 编号 | 检查项 | 验证方法 | 责任角色 | 通过标准 |
|---|---|---|---|---|
| V1 | 版本可追溯 | 随机抽取 3 个线上版本,反查权重哈希、训练配置和评估报告 | 发布负责人 | 每个版本都能查到全部记录 |
| V2 | 网络隔离 | 从推理实例尝试访问训练存储网段 | 安全管理员 | 访问被拒绝 |
| V3 | 账号分离 | 审计生产账号在训练环境中的权限 | 安全管理员 | 无交叉权限 |
| V4 | 显存余量 | 按峰值并发压测 30 分钟 | 生产运维 | 显存占用不超过单卡可用容量 |
| V5 | 延迟达标 | 压测首字延迟和整体延迟 | 生产运维 | 满足团队设定的 SLO |
| V6 | 限流生效 | 发送超量请求 | 安全管理员 | 返回 429,并写入审计日志 |
| V7 | 故障摘除 | 人工停止一个实例的服务进程 | 生产运维 | 流量在 30 秒内转移到其他实例 |
| V8 | 回滚演练 | 切换到上一已验证版本并执行冒烟测试 | 发布负责人 | 在约定时间内完成切换,测试通过 |
| V9 | 告警触达 | 注入一次错误请求,观察告警链路 | 生产运维 | 值班人员在 5 分钟内收到告警 |
| V10 | 密钥轮换 | 检查最近一次轮换记录 | 安全管理员 | 距上次轮换不超过 90 天 |
| 现象 | 可能原因 | 处置方法 |
|---|---|---|
| 启动时显存溢出 | 权重与 KV 缓存合计超出可用显存,或并行度设置不当 | 降低最大并发或最大输入长度,提高张量并行度,或评估量化方案 |
| 首字延迟突增 | 批处理队列堆积,长输入请求占满计算资源 | 检查队列深度,限制最大输入长度,扩容实例 |
| 401/403 比例升高 | 密钥过期,或网关策略版本变更 | 核对网关策略版本,检查密钥有效期 |
| 429 比例升高 | 限流阈值偏低,或客户端重试过于集中 | 调整限流阈值,检查客户端的退避重试策略 |
| 输出质量明显下降 | 推理实例加载的模型与注册记录不一致 | 比对模型哈希,回滚到上一已验证版本 |
| 部分实例错误率高 | 驱动或镜像版本不一致 | 核对镜像 digest 和驱动版本,替换异常实例 |
| 模型注册失败 | 评估报告缺失,或注册表版本不兼容 | 补齐评估报告,核对注册表版本 |
回滚能力只有经过演练才可靠。建议每季度演练一次,步骤如下:
演练结果应写入变更记录,耗时超过目标时,需要更新回滚步骤或减少发布前的人工确认环节。
月成本的计算方式如下:
月成本 = 单实例每小时费用 × 实例数 × 730 小时 + 存储费用 + 备份费用
假设单实例每小时费用为 20 元,实例数为 3,则计算资源月费用为 20 × 3 × 730 = 43,800 元,存储和备份另计。实际单价以所用平台的计费规则为准。
建议监控以下指标:GPU 平均利用率、空闲时长、单次请求成本(月成本除以月请求数)。成本控制措施如下: