简介:GPU 利用率上不去,问题往往不在 CUDA Kernel,而在操作系统:NUMA 拓扑错配、CPU 调度抖动、缺页与内存带宽、中断处理不及时、文件系统吞吐不足。本文给出可直接落地的排查命令与优化手段。顺带一提,训练提效是为了摊薄成本,而训练完成后模型选型与调用开销同样影响整体 TCO,可在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同大模型的调用价格与性能表现。
操作系统不参与矩阵乘法,但它决定了数据能否及时送到 GPU、通信能否稳定完成、资源能否合理分配。一个典型训练任务里,CPU 承担数据读取与解码、预处理与批处理、Kernel 启动与任务提交、分布式通信控制逻辑、内存分配与页锁定、日志与 Checkpoint 落盘。其中任一环节被拖慢,GPU 就会出现周期性空闲。
建议按下面的顺序定位,避免一上来就改内核参数:
# 1. GPU 侧:看利用率是否周期性掉底、是否有功耗/温度墙nvidia-smi dmon -s pucvmet -d 1nvidia-smi topo -m # GPU / NIC / CPU 亲和拓扑# 2. CPU 侧:看是否有单核打满、软中断集中、上下文切换暴涨mpstat -P ALL 1vmstat 1 # r/b/si/so/wa 列cat /proc/interrupts # 网卡中断是否集中在少数核# 3. 内存侧:缺页与 NUMA 命中sar -B 1 # pgpgin/s、majflt/snumastat -mperf stat -e page-faults,minor-faults,cache-misses -p <pid># 4. 进程侧:确认 Python 主线程是否被阻塞在 IO 或锁上py-spy dump --pid <pid>cat /proc/<pid>/stack
一个实用判据:如果 nvidia-smi dmon 的 sm% 呈规律性锯齿,同时某个 CPU 核接近 100% 或 ksoftirqd 占用明显,基本可以排除 Kernel 效率问题,转向调度与中断治理。
多路服务器上,每个 Socket 有独立内存控制器,跨 Socket 访问的延迟和带宽都明显劣于本地访问。典型错配场景是:GPU 0~3 挂在 Socket 0,GPU 4~7 挂在 Socket 1,但 DataLoader 进程统一在 Socket 0 上分配主机缓冲区,导致 GPU 4~7 的 H2D 拷贝全部走 UPI/QPI 互连。
优化分三步:
nvidia-smi topo -m 输出中,GPU 与哪颗 CPU、哪张网卡是 NODE/SYS 关系一目了然。SYS 表示跨 Socket,是最需要消除的路径。
# 每个 rank 绑定到与其 GPU 同 NUMA 节点的 CPU 与内存# --localalloc 优先本地分配,本地内存不足时回退,避免直接 OOMOMP_NUM_THREADS=8 numactl --cpunodebind=0 --membind=0 \python train.py --local_rank 0
原文提到的 numactl --cpunodebind=0 --membind=0 确实是最基础的绑定方式,但 --membind 是硬约束,一旦本地内存不足会直接失败;生产环境更稳妥的写法是 --localalloc 或 --preferred=0。同时建议关闭内核的自动 NUMA 均衡(kernel.numa_balancing=0),否则内核会在训练过程中迁移页,带来不可预期的抖动。
NCCL_IB_HCA 显式指定 HCA,必要时开启 PXN 跨节点转发,避免流量绕经 CPU。GPU 训练对 CPU 的要求不是”算力大”,而是”延迟稳”。以下几项在实践中收益最直接:
cpuset 把 NCCL 代理线程、Kernel 启动主线程与 DataLoader worker 分开,避免 worker 抢占导致 Kernel launch 排队。set_irq_affinity.sh),并把 irqbalance 对这些 IRQ 做屏蔽,否则它会被反复改回。cpupower idle-info 若显示进入 C6,唤醒延迟可达数十微秒。启动参数加 intel_idle.max_cstate=1 processor.max_cstate=1,并把 governor 设为 performance。top 的 st 列偏高说明宿主机争抢,这类问题在容器内无法自行解决,需要迁移实例或调整规格。ulimit -l 必须为 unlimited,否则内存锁定失败会静默退化为非 pinned 传输。频繁缺页会让 H2D 拷贝无法使用 DMA 直传。优化手段包括:
pin_memory=True,让 DataLoader 输出锁页内存;RLIMIT_MEMLOCK,容器需配 --ulimit memlock=-1 与 --ipc=host;perf stat -e minor-faults 对比优化前后,缺页率下降通常直接对应 GPU 空闲时间下降;小文件随机读是训练 I/O 的主要杀手。可组合使用:
| 手段 | 说明 |
|---|---|
| 并行文件存储 | 用 PFS 类并行文件系统承接海量小文件,聚合带宽随客户端线性扩展 |
| 本地 NVMe 缓存 | 热数据落在本地盘,元数据压力大幅下降 |
| 提高预读 | blockdev --setra 调大 readahead,NVMe 上 I/O 调度器设为 none |
| 顺序化数据格式 | WebDataset/tar shard、列式格式替代海量独立小文件 |
| 调内核参数 | vm.vfs_cache_pressure、fs.aio-max-nr、vm.dirty_ratio 按吞吐特征调整 |
Checkpoint 同样要隔离:同步落盘会阻塞训练主循环,建议启用异步 Checkpoint(如 torch.distributed.checkpoint 的 async save)并用 cgroup io.max 限制其带宽,避免写盘把数据加载饿死。
千卡规模下,很多问题并不表现为硬件报错,而是进程 hang 死、训练降速、loss 跑飞,这些都可能牵涉用户代码、框架、硬件、操作系统、网络与存储。OS 层能做的是把”感知—定位—重启—恢复”的链路压缩:用 dmesg 抓 Xid 报错、用 py-spy 抓 hang 栈、用 DCGM 做卡级健康巡检、用心跳与 NCCL 异步错误处理触发快速失败。百度百舸的稳定性与容错能力把这类流程产品化后,某互联网企业的平均故障恢复时间从 3 小时缩短到 20 分钟;在诊断侧,全栈(CPU+GPU)数据采集能把 Python 函数、Kernel、通信堆叠时间放在同一视图里做瓶颈归因。
nvidia-smi topo -m 确认拓扑,消除所有 SYS 关键路径;numa_balancing;irqbalance,关闭深 C-state;perf 验证缺页下降;配合 AIAK 等加速库,工程团队可直接调用针对主流模型优化过的算子,实测吞吐量最高提升 400%、训练时间缩短 80%;在资源调度与框架适配层面做整体优化,也有客户实现 GPU 利用率提升 50% 以上。需要提醒的是,这些数字来自特定客户场景,你自己的收益取决于模型结构、集群拓扑与数据管线,务必以本地 profiling 结果为准。
最后补一句成本视角:训练侧优化解决的是”单位算力产出”,而模型调用侧解决的是”单位效果成本”。如果你在完成训练后需要对外提供服务或选型第三方模型,可以在词元所模型服务上做价格与性能对比,并通过统一 API 接入多家模型,省去逐家对接的工程量;调用量的分布与管理也可以在百度智能云词元所统一查看,便于把训练优化省下的预算精确分配到实际产生业务价值的模型上。