简介:GPU 利用率上不去,原因常在操作系统而非 CUDA Kernel。本文按 CPU 与 NUMA、内存、存储 I/O、网络中断、容器隔离、可观测与容错六个层次,给出可验证的排查命令、参数调整和优先级顺序,帮助减少 GPU 等待、降低性能抖动,并提高有效训练时长。
GPU 的计算单元在等数据、等通信或等 CPU 时会空闲。对操作系统层的优化,最有价值的是下面四件事:
每一项调整都要用同一个指标验证。建议先记录两个数字:单个 step 的时间分布(P50 和 P99),以及 DataLoader 等待时间占 step 时间的比例。后者可以在训练循环里对取数据的那一段计时得到。
训练时 CPU 要负责数据读取与解码、预处理与拼批、CUDA Kernel 启动、分布式通信控制、锁页内存与主机到设备的拷贝、Checkpoint 和日志。任何一环调度不及时,GPU 就会周期性空闲。
现代多路服务器普遍是 NUMA 架构。每个 Socket 有自己的本地内存,跨 Socket 访问的延迟更高、带宽更低。一个常见问题是:8 张 GPU 分挂在两个 Socket 下,但 DataLoader 的进程全部运行在 Socket 0 上,导致另一侧 GPU 的输入缓冲区反复跨 Socket 分配,互连带宽被占满。
先看清拓扑:
nvidia-smi topo -m # GPU 之间的互联关系,以及每张 GPU 的 CPU Affinity 列lscpu | grep -i numa # NUMA 节点与 CPU 分布numactl --hardware # 各节点内存容量与距离
nvidia-smi topo -m 输出的 CPU Affinity 列可以告诉你每张 GPU 应该绑定到哪个节点的核心。下面的例子假设 GPU 0 到 3 属于 NUMA 0,GPU 4 到 7 属于 NUMA 1,实际映射以你的机器输出为准。
单个训练任务应只启动一次 torchrun,由它拉起 8 个 rank。每个 rank 通过一个包装脚本绑定到自己所属的 NUMA 节点:
#!/bin/bash# bind_rank.sh:按 LOCAL_RANK 把进程绑定到对应 NUMA 节点的 CPUNODE=$(( LOCAL_RANK < 4 ? 0 : 1 ))exec numactl --cpunodebind=$NODE python -u train.py "$@"
chmod +x bind_rank.shtorchrun --no-python --nproc_per_node=8 ./bind_rank.sh
torchrun 会为每个进程设置 LOCAL_RANK,包装脚本据此决定绑定节点。--no-python 让 torchrun 直接执行脚本,而不是交给 Python 解释器。
这里只绑定 CPU,没有绑定内存(没有使用 --membind)。原因是:如果 DataLoader worker 数量超过本地节点的物理核数,或者某个进程的内存需求超过本地节点的容量,强制本地内存分配会触发回收,严重时导致 OOM。只绑 CPU 时,内核在本地内存紧张时仍可以从其他节点分配。
PyTorch 侧还需要注意三点:
OMP_NUM_THREADS 和 torch.set_num_threads() 设置。例如 96 个逻辑核、8 个 rank、每个 rank 4 个 worker 时,可以从 96 / 8 - 4 = 8 开始做 A/B 对比。DataLoader(pin_memory=True) 配合 num_workers > 0 使用。锁页内存让主机到设备的拷贝走 DMA,而不是先进入可分页缓冲区。DataLoader 等待比例调整,不要照搬固定值。数据加载路径上出现大量 major page fault,会在 GPU 利用率曲线上表现为毛刺。排查命令如下:
pidstat -r -p <PID> 1 # 观察 majflt/s 列perf stat -p <PID> -e page-faults,minor-faults,cpu-migrationsvmstat 1 # si/so 列非零说明正在换入换出
优化方向:
swapoff -a 可以消除换出导致的整组等待。执行前先用 free -h 确认剩余内存足够,并在维护窗口内操作。回滚时执行 swapon -a,前提是 /etc/fstab 中仍保留 swap 条目。该操作影响整台机器上的所有进程,需要先确认机器上没有其他依赖 swap 的服务。cat /sys/kernel/mm/transparent_hugepage/enabled。always 和 madvise 之间需要用你自己的训练任务做对比。