简介:本文面向开发者、运维人员和架构师,讲解数万至十万级加速卡训练集群的规划方法、液冷与供电要点、高速网络验证、分布式训练启动检查和常见故障排查顺序。读者可据此建立验收清单,减少上线后的返工与停机。
本文适用于需要规划或运维大规模训练集群的人员。文中不引用具体厂商的接口、部署命令或未经核实的建设数据。供电功率、机柜数量、卡数等规模数字,需要以设备厂商规格书、项目方正式文件或可追溯的公开来源为准。下文给出的阈值多为检查思路,实际取值以设备规格和现场测试结果为准。
资源规划应从训练目标反推。常用的近似估算方法是:
训练总计算量 ≈ 6 × 模型参数量 N × 训练令牌数 D有效算力 = 单卡峰值算力 × 模型算力利用率(MFU)× 卡数训练时长 ≈ 训练总计算量 ÷ 有效算力
其中 6ND 只估算前向和反向传播的浮点运算量级,没有计入检查点写入、数据预处理、重算和等待通信的时间。MFU 需要通过小规模实测得到,不能直接套用理论峰值。规划时应预留 20% 至 30% 的时间余量,用于覆盖故障恢复和重跑。
十万级设备并不意味着训练效率会按比例增长。卡数增加后,通信开销、数据管道和故障恢复成本都会上升。有效算力增长可能低于线性预期,因此需要通过不同规模的扩展测试来确认。
供电容量应分开计算以下项目:
建议分别按平均负载、峰值负载和冗余后的容量建模,并为关键设备配置独立的供电路径。电能质量监测应能及时发现电压跌落和频率异常,因为短时波动可能使大量任务同时退出。
液冷系统上线前应逐项确认以下内容:
若回液温度突然升高,应先判断原因,再做调整:
在原因确认前,不要直接提高设备功耗上限。否则局部过热可能引发降频,甚至硬件损坏。
“单一高速网络”通常指用于集合通信的计算网络,不代表数据访问、管理和监控流量也共用同一套链路。建议至少将以下网络分开:
计算网络常见的拓扑包括胖树(fat-tree)和面向多轨道的优化拓扑。规划时需要确认汇聚层的收敛比,避免跨机柜流量在汇聚层形成瓶颈。
采用 RoCEv2 时,PFC 和 ECN 的配置必须成对考虑。PFC 配置不当可能引起拥塞扩散,甚至死锁;ECN 阈值设置过低则会降低吞吐。采用 InfiniBand 时,应确认子网管理器的冗余方式和链路的基于信用的流控参数。具体数值以交换机和网卡厂商的配置指南为准。
可使用 nccl-tests 等通用集合通信基准工具,对不同范围的节点组做测试:
for each node_group in [同机柜, 跨机柜, 跨网络分区]:run_collective_benchmark(node_group) # 例如 all_reduce 基准record(bandwidth, latency, retransmission)record(packet_drop, pfc_pause_count, ecn_mark_count)if bandwidth 低于基线 且 pfc_pause_count 持续增加:检查交换机端口拥塞与链路误码检查网卡固件版本和驱动版本
测试不能只抽查相邻节点,还应覆盖不同故障域的节点组合,因为跨域路径最容易暴露配置不一致的问题。
大规模集群最怕节点环境不一致。应通过统一镜像或自动化配置,确保以下内容在所有节点一致:
任何版本差异都可能导致任务启动失败,或产生难以复现的训练错误。上线前应用自动化脚本比对各节点版本,并把结果保存为记录。
每个用户、项目和任务都应设置配额,包括可用节点数、加速卡数、单任务最长运行时间、存储容量、数据访问带宽和优先级。生产环境建议采用队列调度,避免多个大任务同时争抢相同的网络路径和存储带宽。
启动前应逐项确认以下内容:
训练任务能启动,并不代表集群运行正常。验证应分层进行,每层都要有基线。
基线应按模型、批次大小和并行策略分别建立。不同任务之间不能直接比较,也不应使用没有来源的通用百分比作为验收标准。
排查时应从基础设施向上层逐步推进,避免一开始就更换计算设备。
先查看供电、液冷告警时间线,再查看网络丢包和重传记录,接着查看计算节点的设备错误日志,最后检查存储和软件。若多个节点在同一时间段退出,通常说明问题在共享设施或共享网络上,而不是单个节点。
按以下顺序检查:
每一层都应分别运行基准测试,不能只依据综合训练指标下结论。
检查顺序是:液体流量、进回液温差、换热设备状态、机柜局部负载。若只有少数节点异常,应优先检查节点侧冷却接口和温度传感器。
常见原因包括文件不完整、版本不兼容、存储空间不足和任务元数据丢失。写入检查点时,应先写入临时文件,全部完成后再原子替换,同时保存分片校验值,并保留多个历史版本。
| 类别 | 验收项 | 通过标准 |
|---|---|---|
| 供电 | 冗余与切换 | 按厂商规格完成切换测试,记录切换时间 |
| 液冷 | 冗余与泄漏联动 | 单台 CDU 故障时训练不中断,泄漏时自动切断回路 |
| 液冷 | 温度与流量 | 供回液温度、流量、压力均在规格范围内并已设报警 |
| 网络 | 通信基线 | 跨机柜与跨分区的集合通信带宽达到实测基线 |
| 网络 | 丢包与拥塞 | 丢包计数稳定,PFC 暂停次数无持续增长 |
| 软件 | 版本一致性 | 所有节点的驱动、通信库和镜像版本一致 |
| 调度 | 资源释放 | 任务失败后节点和显存在规定时间内释放 |
| 稳定性 | 连续运行 | 长时间试运行期间的非计划退出次数低于约定值 |
建设超大规模训练集群,需要同时处理供电、散热、高速互联、软件一致性、数据访问、任务调度和故障恢复。较稳妥的实施顺序是:先明确训练目标,再完成基础设施建设,然后做网络验证和环境统一,之后进行小规模试跑,最后逐步扩容并长期监控。
对于液冷和高速远程直接内存访问网络,温度、流量、带宽、延迟、设备利用率和任务稳定性都应作为验收指标,并且每项都要有可追溯的基线。只有这样,理论算力才能转化为可复现、可管理的有效训练能力。