简介:本文面向开发者和运维团队,说明如何把总参数2760亿、激活参数120亿的轻量级混合专家模型部署为可访问、可观测、可回滚的云边协同推理服务。读完可以掌握显存估算方法、云边分工规则、分步上线流程、故障排查思路以及回滚触发条件。
本文以公开规格为总参数2760亿、激活参数120亿的轻量级混合专家模型为例,讨论在线推理服务的部署方法。文中不假定具体的模型名称、运行时或私有接口,所有命令、参数名和端点都需要替换为你团队实际使用的版本。
部署完成后,服务应满足以下条件:调用方可以通过统一接口提交文本、图像或音频请求;短请求和长上下文请求都能在设定上限内返回结果;鉴权、限流和超时策略真实生效;日志、指标和告警能定位问题;新版本可以灰度发布,并能在几分钟内回滚到旧版本。
本文适合开发者、运维人员和系统架构师阅读。阅读前需要知道,激活参数较少并不代表资源需求低。权重常驻、KV 缓存和媒体处理都会占用额外资源,规划时必须单独计算。
混合专家模型的推理显存主要由三部分组成:权重、KV 缓存和运行时开销。其中权重部分可以直接估算。
权重显存约等于参数量乘以每个参数占用的字节数。对 2760 亿参数而言:
这些数字只包含权重本身,没有计入 KV 缓存、激活值、通信缓冲区和框架开销。实际部署时,单卡显存加上多卡分片后的总量应至少比权重估算值高出 20% 到 30%,并以压测结果为准。
KV 缓存的占用取决于上下文长度和并发数,计算方式如下:
KV 缓存显存 ≈ 2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 每元素字节数 × 并发请求数
层数、KV 头数和头维度需要从模型配置文件中读取。100 万词元上下文会让单个请求的 KV 缓存非常大,因此不能把最大上下文当作默认值。合理的做法是先统计业务真实请求长度的 P99 值,再以此为基础设定上限。起始上限可以取 P99 长度的 1.5 倍,然后通过压测逐步调整。
媒体请求也需要预留资源。图像和音频需要解码,解码过程会占用内存和临时磁盘空间。规划时应按照最大单文件大小、并发数和临时文件保留时长计算磁盘容量。
云边协同的核心是把轻量工作放在边缘,把重计算放在中心。下表列出各层职责:
| 层次 | 部署位置 | 主要职责 |
|---|---|---|
| 接入网关 | 边缘 | TLS 终止,令牌校验,租户级限流,请求大小检查 |
| 媒体预检 | 边缘 | 文件类型白名单,大小限制,临时文件管理 |
| 结果缓存 | 边缘 | 缓存重复请求的结果,支持断网时返回缓存 |
| 推理服务 | 中心 | 加载权重,批处理,执行文本、图像、音频推理 |
| 对象存储与版本目录 | 中心 | 保存权重包、配置快照和校验值 |
| 日志与监控 | 中心 | 汇总指标、日志和告警 |
路由规则需要写成明确条件,避免由人工临时判断。建议的规则如下:
缓存键必须包含模型版本号、分词配置、思考预算和请求参数的规范化哈希。如果缺少模型版本号,升级后的服务可能返回旧版本生成的结果。切换版本时,应同时更新缓存命名空间,让旧缓存自然失效。
上线前需要完成以下检查。
权限与密钥。 部署账号只授予资源创建、对象存储读取、密钥读取和日志查看权限。密钥通过密钥管理服务注入,以文件或环境变量形式挂载到容器中,不写入镜像、配置模板或日志。
端口与网络。 推理进程只监听内网地址或 127.0.0.1,公网入口只开放 443 端口。推理端口不对公网开放,边缘网关通过内网访问它。
媒体输入安全。 只允许白名单内的格式,例如图像支持 PNG、JPEG、WebP,音频支持 WAV、MP3。单文件大小建议不超过 20 MB。上传文件需要经过病毒扫描,临时文件在处理完成后 15 分钟内删除。
日志脱敏。 默认不记录请求正文、图像内容和音频内容。日志中保留请求标识、租户标识、模型版本、输入词元数、输出词元数、排队耗时、推理耗时、状态码和错误码。
版本基线。 固定运行时镜像版本和模型权重版本,禁止使用 latest 标签。权重下载后必须校验 SHA-256 值,校验失败时不启动服务。
以下命令是骨架,需要替换方括号中的内容。参数名以所选运行时文档为准。
第一步,准备运行时镜像。选择团队已经验证过的推理运行时,并固定版本号:
docker pull registry.internal/infer/[运行时名称]:[版本号]
第二步,下载权重并校验:
cd /models/moe/[版本号]sha256sum -c model.sha256
输出全部为 OK 才能继续。
第三步,从模板生成配置文件。最大上下文长度通过环境变量传入,不要写死为模型支持的最大值。
第四步,启动推理容器:
docker run -d --name moe-infer \--gpus all \-v /models/moe/[版本号]:/models:ro \-v /run/secrets/api_key:/run/secrets/api_key:ro \-e MAX_CONTEXT_TOKENS=[压测后确定的上限] \-p 127.0.0.1:8000:8000 \registry.internal/infer/[运行时名称]:[版本号] \--model-path /models --config /etc/infer/config.yaml
第五步,配置健康检查。存活检查判断进程是否存在,就绪检查判断权重是否加载完成,并且一次极小请求能够返回结果。端点路径以运行时实际提供的为准,例如 /healthz 和 /readyz。
第六步,执行冒烟测试。依次发送文本问答、图像理解、音频推理和一条接近上限的长上下文样本。每类请求都要检查返回码、响应时间和日志字段。
第七步,灰度发布。流量按 1%、10%、50%、100% 逐步切换,每个阶段观察 15 到 30 分钟。只有错误率、延迟和质量样本都在基线范围内,才进入下一阶段。
下面的配置是通用结构,字段名需要替换为运行时实际使用的名称:
inference:max_context_tokens: ${MAX_CONTEXT_TOKENS}max_batch_size: 4request_timeout_s: 60max_queue_length: 128thinking_budget:default: 2048max: 8192security:api_key_file: /run/secrets/api_keyrate_limit_qps_per_tenant: 10max_request_bytes: 20971520
各项配置的选择依据如下。
最大上下文长度。 以业务请求长度分布为依据。压测时从较小值开始,每次增加一档,记录显存峰值。显存峰值超过总显存的 85% 时停止增加。
批大小。 从 1 或 2 开始,逐步增加。当 P95 推理延迟超过服务等级目标时,回退到上一档。
量化策略。 先用业务评测集做质量回归。可接受的质量下降幅度应由业务方和算法方共同确定,并写入发布标准。没有评测数据时,不应直接上线量化版本。
专家并行度。 与可用计算单元数量对齐。如果某些专家的请求排队时间明显长于平均值,例如超过平均值的 2 倍,说明负载不均,需要调整并行策略或路由权重。
超时时间。 短文本请求的超时可以设为正常 P99 响应时间的 1.5 倍左右。长上下文请求应使用单独路由和更长超时,避免拖慢短请求。
限流阈值。 初始值设为压测容量的 70%,再根据线上排队情况逐步调整。限流需要按租户和接口分别设置。
思考预算。 默认值用于日常请求,上限用于防止单个请求占用过多计算资源。上限应根据单次请求可接受的成本和延迟确定。
排查时按以下顺序进行:先看健康检查和启动日志,再看错误日志,然后看资源指标和请求指标,最后检查网络和配置变更。
| 现象 | 先看什么 | 判断依据与处理 |
|---|---|---|
| 启动失败 | 启动日志中的权重加载段 | 出现校验错误时重新下载权重;出现算子或接口错误时检查运行时镜像版本 |
| 显存溢出 | 显存峰值与 KV 缓存占用 | 显存使用率连续 5 分钟超过 90% 时,降低最大上下文或并发数 |
| 首响应延迟高 | 就绪检查时间与排队耗时 | 就绪后首请求仍然慢,多为冷加载,需要预热;排队时间占总延迟超过一半,说明并发不足 |
| 长上下文请求失败 | 请求长度分布与超时日志 | 超过配置上限的请求应在网关直接拒绝,不应进入推理队列 |
| 图像或音频请求异常 | 媒体解码报错与文件属性 | 检查格式白名单、文件大小和解码库依赖 |
| 鉴权失败 | 状态码 401 与 403 的比例 | 401 多为密钥过期或未传入,403 多为权限策略变更 |
| 调用超时但服务无错误 | 网关、推理服务和客户端三处超时配置 | 下游超时必须小于上游超时,否则上游会先断开 |
| 发布后指标下降 | 配置快照差异与模型版本哈希 | 对比配置和权重哈希,确认是否混用版本,必要时回滚 |
日志应包含以下字段:request_id、tenant_id、model_version、input_tokens、output_tokens、queue_ms、infer_ms、status_code 和 error_code。有了这些字段,才能按租户、版本和请求长度分组分析问题。
回滚应在部署前就准备好。需要