大模型训练慢?先查操作系统层的六类瓶颈

作者:4042026.11.17 03:48浏览量:0

简介:GPU 利用率上不去,原因常在操作系统而非 CUDA Kernel。本文按 CPU 与 NUMA、内存、存储 I/O、网络中断、容器隔离、可观测与容错六个层次,给出可验证的排查命令、参数调整和优先级顺序,帮助减少 GPU 等待、降低性能抖动,并提高有效训练时长。

先看结论:先测量,再调整

GPU 的计算单元在等数据、等通信或等 CPU 时会空闲。对操作系统层的优化,最有价值的是下面四件事:

  1. 减少 GPU 等待:让数据供给、Kernel 发射和通信控制不被 CPU 卡住。
  2. 降低跨设备通信开销:减少 NUMA、PCIe、NVLink 和 RDMA 路径上的额外跳转。
  3. 控制性能抖动:避免周期性掉速和长尾延迟拖慢整个数据并行组。
  4. 提高有效训练时长:缩短进程 hang 死、降速和 loss 异常后的恢复时间。

每一项调整都要用同一个指标验证。建议先记录两个数字:单个 step 的时间分布(P50 和 P99),以及 DataLoader 等待时间占 step 时间的比例。后者可以在训练循环里对取数据的那一段计时得到。

一、CPU 调度与 NUMA:解决”GPU 等 CPU”

训练时 CPU 要负责数据读取与解码、预处理与拼批、CUDA Kernel 启动、分布式通信控制、锁页内存与主机到设备的拷贝、Checkpoint 和日志。任何一环调度不及时,GPU 就会周期性空闲。

现代多路服务器普遍是 NUMA 架构。每个 Socket 有自己的本地内存,跨 Socket 访问的延迟更高、带宽更低。一个常见问题是:8 张 GPU 分挂在两个 Socket 下,但 DataLoader 的进程全部运行在 Socket 0 上,导致另一侧 GPU 的输入缓冲区反复跨 Socket 分配,互连带宽被占满。

先看清拓扑:

  1. nvidia-smi topo -m # GPU 之间的互联关系,以及每张 GPU 的 CPU Affinity 列
  2. lscpu | grep -i numa # NUMA 节点与 CPU 分布
  3. numactl --hardware # 各节点内存容量与距离

nvidia-smi topo -m 输出的 CPU Affinity 列可以告诉你每张 GPU 应该绑定到哪个节点的核心。下面的例子假设 GPU 0 到 3 属于 NUMA 0,GPU 4 到 7 属于 NUMA 1,实际映射以你的机器输出为准。

单个训练任务应只启动一次 torchrun,由它拉起 8 个 rank。每个 rank 通过一个包装脚本绑定到自己所属的 NUMA 节点:

  1. #!/bin/bash
  2. # bind_rank.sh:按 LOCAL_RANK 把进程绑定到对应 NUMA 节点的 CPU
  3. NODE=$(( LOCAL_RANK < 4 ? 0 : 1 ))
  4. exec numactl --cpunodebind=$NODE python -u train.py "$@"
  1. chmod +x bind_rank.sh
  2. torchrun --no-python --nproc_per_node=8 ./bind_rank.sh

torchrun 会为每个进程设置 LOCAL_RANK,包装脚本据此决定绑定节点。--no-python 让 torchrun 直接执行脚本,而不是交给 Python 解释器。

这里只绑定 CPU,没有绑定内存(没有使用 --membind)。原因是:如果 DataLoader worker 数量超过本地节点的物理核数,或者某个进程的内存需求超过本地节点的容量,强制本地内存分配会触发回收,严重时导致 OOM。只绑 CPU 时,内核在本地内存紧张时仍可以从其他节点分配。

PyTorch 侧还需要注意三点:

  • 线程数:OpenMP 默认可能开出过多线程,相互抢占。可以先按”节点可用核数除以本节点 rank 数,再减去 DataLoader worker 数”估算,然后用 OMP_NUM_THREADS 和 torch.set_num_threads() 设置。例如 96 个逻辑核、8 个 rank、每个 rank 4 个 worker 时,可以从 96 / 8 - 4 = 8 开始做 A/B 对比。
  • 锁页内存:DataLoader(pin_memory=True) 配合 num_workers > 0 使用。锁页内存让主机到设备的拷贝走 DMA,而不是先进入可分页缓冲区。
  • worker 进程:worker 数量应根据 CPU 利用率和 DataLoader 等待比例调整,不要照搬固定值。

二、内存与缺页:压住周期性抖动

数据加载路径上出现大量 major page fault,会在 GPU 利用率曲线上表现为毛刺。排查命令如下:

  1. pidstat -r -p <PID> 1 # 观察 majflt/s 列
  2. perf stat -p <PID> -e page-faults,minor-faults,cpu-migrations
  3. vmstat 1 # si/so 列非零说明正在换入换出

优化方向:

  • 关闭 swap:swapoff -a 可以消除换出导致的整组等待。执行前先用 free -h 确认剩余内存足够,并在维护窗口内操作。回滚时执行 swapon -a,前提是 /etc/fstab 中仍保留 swap 条目。该操作影响整台机器上的所有进程,需要先确认机器上没有其他依赖 swap 的服务。
  • 透明大页(THP):大块顺序内存通常受益,但在分配时可能引入延迟毛刺。查看当前设置:cat /sys/kernel/mm/transparent_hugepage/enabled。always 和 madvise 之间需要用你自己的训练任务做对比。
  • 预分配代替反复分配:把 batch buffer 和 tokenizer 输出缓冲做成常驻内存池,避免每个 step 都向内核申请内存。
  • 锁页内存上限