简介:本文面向架构师和开发者,说明如何在云上部署30B基座模型推理服务,并接入RSI评估流程。内容包括显存与张量并行规划、容器启动参数、健康检查与压测口径、评估数据流以及常见故障排查,读者可据此完成一次可验证的上线。
本文介绍如何把约300亿参数(30B)的预训练基座模型部署为云上推理服务,并在其上接入RSI评估服务。这里的RSI指评估驱动的迭代:用评测结果筛选样本,为后续SFT微调提供候选数据。
本文不覆盖从零预训练。预训练需要多机多卡训练框架、训练数据管线和检查点管理,资源量远高于推理部署。文中的显存数字均按推理场景计算。本文也不证明RSI能带来能力提升,验证提升效果需要单独设计实验和对照组。
模型权重按每参数2字节(FP16或BF16)计算,30B参数的权重约占60 GB(30×10^9×2字节)。
推理时还需要KV Cache,即每个已生成token的Key和Value缓存。单个token的占用可按下式估算:
每token字节数 = 2 × 层数 × KV头数 × 头维度 × 每元素字节数
以层数60、KV头数8、头维度128、FP16为例,单token约占240 KB。并发16、上下文长度8192时,KV Cache约需31 GB。实际数值以模型config.json中的参数为准。
框架运行时和激活值还需要额外显存。建议在总显存中预留10%到15%。
| 配置 | 总显存 | 适用场景 |
|---|---|---|
| 2卡80 GB GPU,TP=2 | 160 GB | 功能验证,并发较低 |
| 4卡80 GB GPU,TP=4 | 320 GB | 推荐基线,支持较高并发和较长上下文 |
| 8卡80 GB GPU,TP=8 | 640 GB | 高并发或多副本场景 |
如需量化(如INT8、INT4)降低显存,需要用评测集对比量化前后的输出质量。量化会改变输出,不能只看显存是否够用。
创建专用VPC和子网,按规划创建GPU实例。同一批推理节点部署在同一可用区,以降低节点间通信延迟。安全组只开放必要端口,并限制访问来源为内网网段。
将高性能文件存储挂载到GPU节点的/mnt/models目录。上传模型权重、Tokenizer文件和配置文件后,用发布方提供的校验文件核对完整性:
cd /mnt/models/30b-basesha256sum -c model.sha256
所有文件校验通过后再启动服务。Tokenizer文件缺失或损坏会直接导致输出乱码,这类问题很难从接口返回中看出来。
镜像中只包含运行环境,不包含模型权重。模型在运行时挂载进容器。基础镜像需要固定版本:
FROM registry.example.com/base/cuda-runtime:12.4-py310RUN useradd -m -u 10001 appWORKDIR /appCOPY requirements.txt .RUN pip install --no-cache-dir -r requirements.txtCOPY entrypoint.sh .RUN chmod 755 entrypoint.shUSER appEXPOSE 8000ENTRYPOINT ["./entrypoint.sh"]
镜像以非root用户运行,依赖版本全部锁定。registry.example.com需替换为你们自己的镜像仓库地址。
以vLLM为例,启动命令如下:
export MODEL_PATH=/mnt/models/30b-baseexport CUDA_VISIBLE_DEVICES=0,1,2,3vllm serve "$MODEL_PATH" \--served-model-name base-30b \--tensor-parallel-size 4 \--dtype bfloat16 \--max-model-len 8192 \--max-num-seqs 16 \--gpu-memory-utilization 0.90 \--host 0.0.0.0 \--port 8000
关键参数说明如下:
| 参数 | 建议值 | 说明 |
|---|---|---|
| tensor-parallel-size | 与可见GPU卡数一致 | 把权重切分到多卡,需与模型注意力头数兼容 |
| max-model-len | 8192 | 上下文上限,直接决定KV Cache占用 |
| max-num-seqs | 16 | 同时处理的最大序列数,控制显存峰值 |
| gpu-memory-utilization | 0.90 | 框架可使用的显存比例,设得过高容易在峰值时OOM |
| dtype | bfloat16 | 与权重精度保持一致 |
tensor-parallel-size与CUDA_VISIBLE_DEVICES中的卡数不一致时,服务会启动失败或只用到部分显卡。两者需要同时修改。
负载均衡后端配置健康检查路径/health,框架返回HTTP 200表示服务已就绪。30B模型加载通常需要数分钟。建议把健康检查的初始延迟设为300秒,避免启动中的节点被误判为异常并反复重启。检查间隔、超时和失败阈值可按业务需要调整,例如间隔10秒、超时3秒、连续3次失败才摘除节点。
评估服务调用推理API,不直接访问GPU节点。数据流如下:
模型输出不会自动