简介:本文说明在本地AI算力设备上部署千亿参数大模型的关键步骤:先估算显存,再确定张量并行与流水线并行方案,接着核对网络带宽、挂载共享存储并启动容器。文末给出上线验证指标与常见故障排查方法,帮助技术团队判断单机还是多机方案可行,避免部署后显存不足或多机通信变慢。
千亿参数大模型能否在本地跑起来,首先取决于显存是否装得下。只知道参数量是千亿,无法判断部署形态,还要看数值精度、并发请求数和上下文长度。
模型权重的显存占用可以按下面的方式粗略估算:
权重显存 ≈ 参数量 × 每个参数的字节数
以100B(1000亿)参数为例:
实际运行还要加上推理框架的运行时开销,通常按权重的15%至25%预留。另一部分是KV Cache,它随并发数和上下文长度增长,大小可按下式估算:
KV Cache ≈ 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发数 × 每个元素字节数
假设某模型有80层、8个KV头、头维度128,采用BF16精度。序列长度4096、并发4时,KV Cache约5GB。序列长度提高到32768,同样并发下约40GB。上下文越长,显存压力越大。
下表以单卡80GB为例给出参考值,只用于选型讨论。正式部署前需用实际模型配置复核。
| 精度 | 权重 | 含开销的估算总量 | 80GB卡的参考配置 |
|---|---|---|---|
| BF16 | 约200GB | 约260至290GB(含KV Cache) | 至少4卡,建议8卡留出余量 |
| INT8 | 约100GB | 约130至160GB | 至少2卡,建议4卡 |
| INT4 | 约50GB | 约70至90GB | 1至2卡,并发较高时选2卡 |
原方案称单台设备可以承载千亿参数模型,这一点需要核对。能否单机部署,取决于设备的GPU数量和每块计算单元的显存总量,应以设备规格书为准。若单机总显存不足以覆盖上表的估算值,就需要用DAC线缆把两台设备直连,组成多机集群。
并行方式分为两层:
张量并行的大小必须能整除模型的注意力头数,且通常不超过单机卡数。例如两台机器各4卡,可采用张量并行4、流水线并行2,共8卡。
部署前需要逐项核对以下接口和链路。
ib_write_bw或iperf3实测,若结果明显低于线速,应排查链路与绑定设置。网卡协商速率可用下面的命令确认,输出应为200000Mb/s。网卡名称以实际系统为准:
ethtool eth200g0 | grep -i speed
从本地镜像源拉取镜像时,应使用固定摘要(digest)而不是latest标签,保证每次部署的内容一致:
docker login local-registry.internaldocker pull local-registry.internal/llm-models/100b-chat@sha256:<digest>docker image inspect --format '{{.RepoDigests}}' local-registry.internal/llm-models/100b-chat:<tag>
在无法访问镜像源的环境中,使用离线导入方式。导入前先校验文件的哈希值:
sha256sum -c model-image.tar.sha256docker load -i model-image.tar
模型权重目录中也应附带哈希清单,启动前逐一校验,防止权重文件损坏:
cd /mnt/shared/models/100b-chat && sha256sum -c weights.sha256
以下模板以两台机器、每台4卡为例。镜像的入口命令以镜像文档为准,下面的参数含义适用于常见的开源推理框架。
第1台机器(头节点): 启动Ray集群的头节点,并同时运行推理服务的容器。
docker run -d --name llm-head --gpus all --network host --ipc host \--restart unless-stopped \-v /mnt/shared/models:/models:ro \-e NCCL_SOCKET_IFNAME=eth200g0 \-e NCCL_IB_DISABLE=0 \-e NCCL_DEBUG=WARN \--health-cmd "curl -fsS http://localhost:8000/health || exit 1" \--health-interval 30s --health-retries 3 \local-registry.internal/llm-models/100b-chat@sha256:<digest> \bash -c "ray start --head --port=6379 --node-ip-address=10.10.0.1 && \vllm serve /models/100b-chat \--tensor-parallel-size 4 \--pipeline-parallel-size 2 \--dtype bfloat16 \--max-model-len 8192 \--max-num-seqs 16 \--gpu-memory-utilization 0.90 \--host 0.0.0.0 --port 8000"
第2台机器(工作节点): 加入头节点的Ray集群,不对外提供API。
docker run -d --name llm-worker --gpus all --network host --ipc host \--restart unless-stopped \-v /mnt/shared/models:/models:ro \-e NCCL_SOCKET_IFNAME=eth200g0 \-e NCCL_IB_DISABLE=0 \-e NCCL_DEBUG=WARN \local-registry.internal/llm-models/100b-chat@sha256:<digest> \bash -c "ray start --address=10.10.0.1:6379 --node-ip-address=10.10.0.2 --block"
参数说明:
--tensor-parallel-size 4:单机内4卡切分同一层的计算,与机内互联配合使用。--pipeline-parallel-size 2:两台机器各承担一半的层。--gpu-memory-utilization 0.90:推理框架可使用90%的显存,其余留给系统和突发占用。--max-model-len 与 --max-num-seqs:控制单请求上下文长度和并发数,是排查OOM时优先调整的参数。NCCL_SOCKET_IFNAME:指定通信使用的网卡。如果RDMA没有配置完成,可将NCCL_IB_DISABLE设为1,改用TCP通信。这样能保证连通,但带宽会明显下降,只能作为临时方案。NCCL_DEBUG=WARN:只输出告警和错误。调试时可改为INFO,但正式运行时应调回,避免日志量过大。单机只有4卡且权重能装下时,去掉流水线并行,只保留--tensor-parallel-size 4即可。
上线验证应包含功能、显存、通信、性能、稳定性五类检查。每类都要有明确的通过标准。
curl -fsS http://localhost:8000/health返回成功,/v1/models中能看到目标模型名称。NCCL WARN或NCCL error,通过标准为零条记录。性能指标:使用固定输入长度、输出长度和并发数的压测脚本,记录以下指标:
以下阈值为示例,应按业务的服务等级目标(SLO)设定:交互问答场景可参考TTFT的P95不超过2秒,TPOT不超过50毫秒。
docker inspect -f '{{.RestartCount}}' llm-head llm-worker
判定规则:全部项目通过即为上线通过。出现健康检查失败、OOM或NCCL错误中的任何一项,判定为不通过,应回退到上一个已验证的镜像版本。
问题一:模型加载缓慢或卡死
先确认共享存储的读取速度是否达到预期。可用下面的命令查看挂载类型,并用fio测试顺序读取速度:
df -hT /mnt/shared/modelsfio --name=readtest --filename=/mnt/shared/models/testfile --rw=read --bs=1M --size=4G --direct=1
如果读取速度明显偏低,检查权重是否存放在高速NVMe固态硬盘或高性能并行文件系统上,避免使用普通机械硬盘。
问题二:多机互联时推理延迟异常增高
按顺序检查以下内容:
ethtool确认网卡协商速率为200G,双端均为全双工。ib_write_bw或iperf3测试两台机器间的实际带宽。问题三:容器启动后立即退出
查看日志的末尾部分,并检查退出码:
docker logs --tail 200 llm-headdocker inspect -f '{{.State.ExitCode}}' llm-head
退出码137通常表示进程被系统强制终止(SIGKILL),多由内存或显存耗尽引起。此时应降低--max-model-len、--max-num-seqs或--gpu-memory-utilization,也可增加计算节点。
问题四:加载后推理时发生OOM
加载成功但在高并发时发生OOM,说明KV Cache占用超出预期。优先按以下顺序调整:减少--max-num-seqs,降低--max-model-len,然后把--gpu-memory-utilization调低到0.85左右,为突发占用留出余量。
问题五:权重损坏或版本不兼容
先执行哈希校验,确认文件完整。再对比模型配置文件中的架构信息与镜像版本要求是否一致:
cd /mnt/shared/models/100b-chat && sha256sum -c weights.sha256grep -E '"architectures"|"model_type"' config.json
本地部署的运维可以参考通用的云原生实践,重点落在以下几点。
单位成本 = (电费 + 折旧)÷ 有效输出字数
提高吞吐、降低单机功耗,都能降低这个数值。
| 检查项 | 检查方法 | 通过标准 |
|---|---|---|
| 硬件接口 | 设备自检与设备查询工具 | 所有卡被正确识别 |
| 网络互通 | ping、iperf3、ib_write_bw |
实测带宽接近线速,无丢包 |
| 驱动与容器 | 设备查询工具、docker info |
驱动版本一致,容器运行时正常 |
| 镜像源 | docker pull加摘要校验 |
摘要与记录一致 |
| 模型权重 | sha256sum -c weights.sha256 |
全部文件校验通过 |
| API网关 | 带认证的测试请求 | 认证生效,白名单外请求被拒绝 |
| 监控告警 | 人工触发一次告警 | 告警能正常送达 |
在本地算力设备上部署千亿参数大模型,应先依据参数量、精度和并发数估算显存,据此确定单机或多机方案。网络部分要核对200G链路的实际带宽,并把张量并行限制在机内。上线前按功能、显存、通信、性能和稳定性五类完成验证,出现问题时依据日志和退出码逐项排查。按照这些步骤执行,团队可以较快得到一个可用、可回滚的本地推理服务。