简介:面向多节点GPU运维团队,给出2.4T多模态MoE模型的卡数测算、TP/PP/EP并行与分片加载配置、版本校验、上线验证、排错和回滚步骤。读者可以复算卡数,并按清单完成上线。
本文面向多节点GPU集群的运维团队,包括算法工程师、平台开发人员和运维架构师。读者需要理解KV Cache、张量并行(TP)、流水线并行(PP)和专家并行(EP)的基本概念,并能熟练操作Linux、容器和RDMA网络。
目标模型总参数为2.4T(2.4×10¹²),采用稀疏混合专家(MoE)架构。每个token激活约95B参数,支持文本、图像和视频输入。标准上下文为128K token。本文配置不覆盖1M token场景,扩展上下文后需要单独评估显存。
开始部署前,请确认以下条件:
本文统一使用十进制单位,即1TB等于1000GB,1GB等于10⁹字节。如果监控工具按二进制(GiB)显示显存,换算结果会有差异。计算和验收时请统一口径。
上线前,全集群的软件和固件版本必须一致。具体版本号以所用推理框架的官方兼容矩阵为准,下表列出需要核对的检查项。
| 组件 | 检查要求 | 检查命令(示例) | |
|---|---|---|---|
| GPU驱动 | 全集群相同,且满足框架要求的CUDA版本 | `nvidia-smi —query-gpu=driver_version —format=csv,noheader \ | sort -u` |
| CUDA与NCCL | 与推理框架镜像内的版本匹配 | nvidia-smi 查看顶部CUDA版本,进入容器后检查NCCL版本 |
|
| 容器运行时 | 全集群相同版本 | docker version --format '{{.Server.Version}}' |
|
| RDMA网卡与OFED | 固件和OFED版本统一,端口状态为Active | ibstat,ofed_info -s |
|
| 推理框架镜像 | 使用固定镜像digest,不使用latest标签 | docker images --digests <镜像名> |
|
| 模型权重 | 与转换工具输出的校验文件一致 | sha256sum -c SHA256SUMS |
版本校验建议写成脚本,通过并行SSH工具在所有节点执行,并把输出汇总为一份报告。下面的示例检查所有节点的GPU型号和显存是否一致:
pdsh -w node[01-12] \"nvidia-smi --query-gpu=name,memory.total --format=csv,noheader" | sort | uniq -c
预期结果只有一种输出,且共96行、每行的型号和显存完全相同。出现第二种输出时,应先定位异常节点,再决定是否继续上线。
显存容量决定卡数下限。MoE模型的全部专家权重都必须常驻显存,因为每个token会被路由到哪些专家事先无法确定。激活参数只有约95B,计算量较小,但这不能减少显存规划。
按以下公式逐步计算:
gpu_mem_utilization=0.9 一致30%~50%的额外开销是规划假设,不是实测值。它与序列长度、batch大小、KV Cache精度和碎片率直接相关。团队应在目标序列长度下实测峰值显存,再修正这个比例。
下表比较三种卡数方案。每卡权重按全部权重平均分摊计算,实际分布取决于第四节的并行配置。
| 方案 | 卡数 | 可用显存合计 | 每卡权重 | 每卡余量(扣除权重) | 结论 |
|---|---|---|---|---|---|
| 8节点 | 64 | 约5.53 TB | 约75 GB | 约11.4 GB | 不建议。低于6.24 TB的总需求下限 |
| 11节点 | 88 | 约7.60 TB | 约54.5 GB | 约31.9 GB | 最低可用方案 |
| 12节点 | 96 | 约8.29 TB | 约50 GB | 约36.4 GB | 推荐方案 |
8节点方案的64张卡合计可用显存约5.53 TB,高于4.8 TB的权重本身,所以权重可以装下。但它低于6.24 TB的总需求下限,按本文的额外开销假设,加载完成后在运行阶段,KV Cache、激活值和通信缓冲很可能超出可用显存,出现OOM。因此不建议采用8节点方案。团队若要验证该结论,可以在目标序列长度下实测峰值显存。
推荐的12节点、96张卡方案合计可用显存约8.29 TB,比7.2 TB的规划上限多约1.09 TB。这部分余量用于应对碎片和长上下文峰值。表中数字是十进制理论值,没有扣除通信库和推理框架的常驻开销,正式上线前需要用实测数据修正。
推荐配置为TP=8、PP=12,每个流水线阶段占用一个节点的8张卡。TP组在节点内通过NVLink通信,阶段之间的激活值通过RDMA传输。
本方案的单副本占满全部节点,不能做数据并行的多副本。原因是任何一个副本都必须容纳全部专家权重。以TP=8、PP=6为例,一个副本占48张卡,每卡权重约100 GB,超过86.4 GB的可用显存,无法加载。因此单副本至少要跨11个节点。
TP跨节点会带来大量的跨节点all-reduce通信,延迟和带宽压力都更大,所以本文不建议TP跨节点。PP阶段越多,流水线气泡越明显,首token延迟也会增加。团队需要根据延迟目标在压测阶段确认这一折中。
| 节点编号 | 流水线阶段 | 卡编号 | TP组 | 本阶段权重(约) |
|---|---|---|---|---|
| node01 | PP stage 0 | GPU 0~7 | TP=8 | 约400 GB,每卡约50 GB |
| node02 | PP stage 1 | GPU 0~7 | TP=8 | 约400 GB,每卡约50 GB |
| … | … | … | … | … |
| node12 | PP stage 11 | GPU 0~7 | TP=8 | 约400 GB,每卡约50 GB |
若采用88张卡的11节点方案,把PP设为11即可,每卡权重约54.5 GB。配置变化后,分片必须重新转换。
专家并行放在TP组内实现。每个阶段的8张卡共同持有该阶段的专家,EP组大小等于TP组大小,即8。启用EP后,每张卡只保存一部分专家,路由结果通过节点内的NVLink通信完成汇聚。
权重转换必须使用推理框架或模型厂商提供的转换工具,并把TP、PP和EP参数写入转换命令。下面是通用流程,其中脚本名为占位符,需要替换为实际工具:
# 1. 校验原始权重cd /data/models/raw/2p4t-moe && sha256sum -c SHA256SUMS# 2. 转换分片(占位符,参数以所用工具为准)<厂商转换脚本> \--src /data/models/raw/2p4t-moe \--dst /data/models/converted/2p4t-moe-tp8-pp12 \--tp 8 --pp 12 --ep 8 --dtype bf16# 3. 生成新版本的校验文件cd /data/models/converted/2p4t-moe-tp8-pp12 && sha256sum * > SHA256SUMS
转换完成后,同时检查目标目录的容量和文件数。文件数与分片数应一致,否则说明转换中断。
下面以vLLM类推理框架为例给出启动参数。参数名和取值以所用框架版本为准,取值应先在测试环境验证:
# 在 node01 启动 Ray 头节点ray start --head --port=6379# 在 node02~node12 加入集群ray start --address=node01:6379# 在 node01 启动服务export NCCL_IB_HCA=<RDMA网卡名>export NCCL_SOCKET_IFNAME=<管理网卡名>export NCCL_DEBUG=WARNvllm serve /data/models/converted/2p4t-moe-tp8-pp12 \--tensor-parallel-size 8 \--pipeline-parallel-size 12 \--enable-expert-parallel \--distributed-executor-backend ray \--gpu-memory-utilization 0.9 \--max-model-len 131072 \--max-num-seqs 64
--max-model-len 131072 对应128K上下文。--max-num-seqs 64 只是起始值,应在压测阶段按显存峰值和延迟目标调整。
权重加载完成后,每张卡的显存占用应接近该卡的权重份额加上框架开销。在96卡方案下,每卡权重约50 GB,观察值明显偏离这个范围时,应先检查分片参数是否生效:
pdsh -w node[01-12] \"nvidia-smi --query-gpu=index,memory.used --format=csv,noheader"
若某些节点显存明显偏高,通常是转换参数与启动参数不一致,或某个节点加载了旧版本的分片。
上线验证分为五项。每项的阈值由团队在同批硬件上先测定基线,不要直接沿用他人的数字。
使用nccl-tests检查跨节点通信,记录带宽和延迟,并与团队基线对比:
mpirun -np 96 -H node01:8,node02:8,node03:8,node04:8,node05:8,node06:8,node07:8,node08:8,node09:8,node10:8,node11:8,node12:8 \-x NCCL_IB_HCA -x NCCL_DEBUG=WARN \./build/all_reduce_perf -b 8 -e 1G -f 2 -g 1
若跨节点带宽远低于基线,应进入第六节的RDMA排错流程。
在目标最大上下文(128K)和目标并发下运行压测,持续记录每张卡的显存占用:
nvidia-smi --query-gpu=index,memory.used,memory.total \--format=csv,noheader -l 5 > /var/log/gpu_mem_$(date +%F).log
峰值显存应低于86.4 GB,即96 GB的90%。若实测峰值接近或超过该值,应降低并发或上下文长度,不要提高 gpu-memory-utilization。
准备一组固定测试集,覆盖文本、图像和视频输入。使用同一镜像版本生成参考输出,并在上线版本上以temperature=0重新生成,比较两者的差异。多模态输入路径需要单独测试,因为图像和视频的预处理环节出错时,纯文本测试无法发现问题。
验收标准由团队根据业务定义。例如,可以要求完全一致的样本比例达到团队设定的阈值,并对差异样本做人工抽检。
使用推理框架自带的压测工具或团队内部压测脚本,记录首token延迟、平均生成延迟和总吞吐。压测时间应覆盖典型业务高峰。结果与团队基线对比,偏差超过约定阈值时,先排查配置和版本,再考虑扩容。
在正式流量前,服务需要连续运行一段时间,时长由团队的发布规范决定。运行期间检查GPU错误和系统日志:
pdsh -w node[01-12] "dmesg -T | grep -i -E 'xid|nvrm' | tail -n 20"
出现GPU Xid错误时,应先隔离对应节点,再排查硬件和驱动问题。
| 现象 | 可能原因 | 处理方式 |
|---|---|---|
| 加载阶段显存不足 | 分片参数与启动参数不一致,或某节点加载了旧分片 | 核对转换参数,重新校验分片文件,比较各节点的加载后显存 |
| 运行期显存不足 | 上下文或并发超出实测范围 | 降低 --max-model-len 或 --max-num-seqs,复测峰值;不要把 gpu-memory-utilization 调高 |
| NCCL超时或挂起 | RDMA链路异常、网卡名配置错误 | 运行 ibstat 检查端口状态,确认 NCCL_IB_HCA 与实际网卡一致,检查MTU是否统一 |
| 跨节点带宽偏低 | 通信退化到TCP socket | 设置 NCCL_DEBUG=INFO,确认日志中跨节点传输使用IB而非socket |
| Ray节点掉线 | 网络不通、时间不同步或端口被防火墙拦截 | 检查 chronyc tracking 的时间偏差,确认6379及Ray所用端口互通 |
| 同一请求输出不一致 | 镜像版本或采样参数不同 | 固定镜像digest,测试时使用temperature=0 |
NCCL_IB_DISABLE=1 可以在排查时临时关闭RDMA,用于确认问题是否出在RDMA链路。该设置会显著降低跨节点性能,只能用于诊断,不能作为生产配置。
每次上线前,必须保留以下内容:
旧版本权重的保留期限由团队的发布规范决定。删除旧权重属于不可逆操作,需要负责人审批后再执行。
ray stop,停止服务和Ray集群。
ln -sfn /data/models/converted/<上一版本目录> /data/models/current
不要把集群缩到8节点。8节点方案的显存已经低于总需求下限,属于第三节的不可行方案。
若某个节点故障,应优先用备用节点替换,保持12节点或至少11节点的规模。若确需从12节点改为11节点,PP阶段数需要同步改为11,权重分片必须按新参数重新转换,并重新执行全部上线验证。