GPU硬件维修科普：算力忽高忽低，先查PDU负载失衡

在GPU算力机房的日常运维中，有一类问题反复出现却极难定位：同一集群里部分节点算力忽高忽低；业务高峰时段，某些机柜的显卡集中降频；换卡、重启之后问题依旧。多数团队的第一反应是排查显卡本身、服务器电源模块，甚至怀疑机房市电质量，却常常跳过了更靠近负载的一个环节——机柜内的PDU（Power Distribution Unit，电源分配单元）负载分配。

本文从GPU硬件维修的视角出发：先把“显卡降频”的触发机制讲清楚，再拆解PDU三相负载不均、单回路过载、容量规划不足三类典型隐患的形成机理，最后给出一套可落地的排查流程与整改实践。需要提醒的是，涉及配电的检测与改造属于带电作业，应由具备资质的电气人员执行，运维与开发者负责提供现象数据与判定思路即可。

一、先理解：GPU为什么会“算力波动”

现代GPU在高负载下有多重自我保护机制，业界通常概括为“功耗墙”与“温度墙”：当实时功耗或温度触及上限，驱动会主动压低核心频率以维持稳定。表现就是吞吐下降、时延抖动、算力曲线呈锯齿状。

关键在于：降频的直接诱因不一定是显卡故障。当供电侧出现电压跌落、纹波增大或瞬态供能不足时，GPU往往在触及功耗墙之前就提前降频，同时内存纠错与重试增加，进一步侵蚀有效算力。换句话说，“显卡降频”是结果，“供电质量”才是常见原因之一。

另一个放大因素是推理与训练负载的变化：低比特量化等优化手段让GPU能长时间维持高利用率、高功耗区间。过去跑不满的工作负载现在能跑满了，配电环节的历史欠账随之集中暴露——这也是很多“老机房跑新模型才掉速”的原因。

二、PDU：被忽视的供电“最后一公里”

机房配电链路通常为：市电→变压器→低压配电柜→列头柜/母线→机柜PDU→服务器电源→GPU。PDU处在链路末端，直接决定每台设备实际拿到的电压质量，却最容易在规划与接插环节被草率对待。

2.1 三相负载不均

机柜PDU一般接入三相供电，内部将A/B/C三相分配到不同插座组或回路。如果上架接插时不做相序规划，十几台高功耗GPU服务器的大多数被插到同一相上，会出现三类后果：

• 重载相电压偏低、轻载相电压偏高，同一机柜内不同节点“待遇不同”，插在重载相的节点更容易降频，插在轻载相的节点表现正常——这正是“同一机柜内节点算力参差”的典型来源；
• 三相不平衡使中性线出现显著不平衡电流，叠加服务器开关电源的谐波电流后，中性线发热与压降进一步加大；
• 电压偏差长期存在，加速电源模块老化，形成“越用越差”的恶性循环。

2.2 单回路过载

很多PDU按回路划分：若干插座共享一个断路器与电流上限。接插时只看“插座有没有空位”、不看“回路还剩多少余量”，是多台GPU服务器挤进同一回路的常见成因。后果有两档：轻则在开机浪涌或业务峰值时断路器跳闸，节点直接掉电重启；重则回路长期逼近上限，线缆与接头温升、压降增大，电压质量恶化，GPU出现间歇性降频甚至掉卡。

这类问题有鲜明的“昼伏夜出”特征：白天业务高峰、整机功耗上探时集中掉速，夜间负载回落、电压回稳，症状消失。如果掉速曲线与业务高峰高度重合，且夜间复测一切正常，应优先怀疑单回路过载。

2.3 容量规划不足

容量规划不足是更宏观的隐患。常见误区包括：

• 按“标称功耗”或“典型功耗”配置机柜容量，忽略GPU集群短时冲顶、启停浪涌、风扇全速上浮的峰值特征；
• 只计算IT设备功耗，漏算交换机等网络设备与机柜内散热设备的用电；
• 按下单时的配置做规划，不预留扩容余量，后续加卡直接把机柜推进临界区。

机柜长期工作在容量临界区时，电压质量与保护动作都会变得不可预期，表现为“没动任何东西，但稳定性变差了”。

三、怎么判断是PDU的问题：现象、指标与判定

3.1 现象特征

• 空间聚集性：掉速节点集中在某几个机柜，迁移到其他机柜或位置后明显缓解；
• 时间规律性：与业务高峰强相关，低峰期复测正常；
• 多机共变：同一回路或同一相上的多台设备同时波动；
• 压测差异：满载压测可复现降频，而单节点低载压测一切正常。

3.2 应采集的指标

• PDU侧：各相电流、各回路电流、三相不平衡度、插座与接头温度；
• 服务器侧：电源模块输入功率、冗余电源的负载分担是否均衡；
• GPU侧：实时功耗、核心频率、温度，以及降频/限功率事件的次数与时间分布。

3.3 判定参考（示意）

三相不平衡度常用估算方式：

不平衡度 = (最大相电流 - 最小相电流) / 三相平均电流 × 100%

工程实践中，不平衡度一般建议控制在15%以内、回路长期负载率不超过80%，并保留峰值与扩容余量。这些属于经验参考值，具体阈值应结合设备规格与机房电气规范确定。判定逻辑可抽象为：

if 三相不平衡度 超阈值:
    指向 接插相序不均
if 任一回路电流占额定比例 超阈值:
    指向 单回路过载
if 机柜峰值功耗占PDU容量 超阈值:
    指向 容量规划不足
if 电压跌落时间点 与 GPU降频事件 对齐:
    指向 供电质量导致降频

四、排查流程：从现象到根因

建议按“先无损、后有损”的顺序推进：

1. 固化现象：整理掉速节点清单、时间分布与机柜位置，画出故障“热力图”；
2. 拉取GPU遥测：确认降频类型属于功耗墙、温度墙还是其他异常，先排除散热与显卡个体问题；
3. 时间轴对齐：把PDU相/回路电流曲线与GPU降频事件放在同一时间轴上，看相关性；
4. 空间对照：将问题节点换到轻载相、轻载回路或另一机柜，观察症状是否随之转移；
5. 现场检测：由电气人员测量各相电压、回路电流与接头温度，确认不平衡与过载情况；
6. 定位整改：依据结论执行负载再平衡、回路切分或容量扩容，并复测验证。

五、整改与最佳实践

5.1 负载再平衡

• 重新规划接插：把高功耗节点均匀分配到三相与不同回路，完成后复核各相电流；
• 建立上架前的“功耗地图”：登记每台设备的额定与峰值功耗，按相/回路余量安排接插位；
• 纳入变更管理：任何设备迁移、扩容后，重新校核三相平衡度。

5.2 供电架构优化

• 采用双路冗余（A/B路）供电：服务器双电源分别接入不同PDU与不同上级回路，消除单点故障；
• 大功耗机柜评估更高供电规格或母线方案，由专业电气团队设计与验收。

5.3 容量规划

机柜规划容量 ≥ Σ(节点峰值功耗 × 数量) × 峰值系数
             + 网络与散热设备功耗
             + 扩容余量

峰值系数与余量取值应结合业务负载特征，实践中常预留20%~30%量级（经验参考）。规划一律按峰值而非平均值，并定期用实测功耗校准规划假设。

5.4 监控与告警

• 将PDU相电流、回路电流、不平衡度纳入统一监控平台，与GPU降频事件同屏展示，便于快速关联；
• 设置分级告警：不平衡度越限、回路负载率越限、电压越限分级别推送；
• 建立巡检制度：定期对接头做红外测温与紧固检查，防止渐变劣化演变为突发故障。

六、结语

GPU算力波动是“结果”，配电质量才是常被忽略的“原因”之一。下次遇到高峰集中掉速、节点算力参差、频繁降频时，在换卡、加卡之前，先把机柜PDU的负载数据拉出来看一眼：三相是否均衡、回路是否过载、容量是否够用。治理好配电这“最后一公里”，很多“玄学掉速”会自然消失——这往往是成本最低、见效最快的算力稳定性优化。