简介:专家并行是面向混合专家(MoE)模型的分布式训练策略,与数据并行、张量并行、流水线并行在计算逻辑上存在本质差异。本文从架构、通信模式、负载均衡、扩展性与适用场景等维度系统对比,帮助读者判断何时引入专家并行、如何与其他并行策略组合,并给出可落地的选型思路与迁移注意事项。
随着大模型参数规模持续增长,单张加速卡已无法容纳完整模型与优化器状态,并行训练成为必然选择。业界常见的并行策略包括数据并行、张量并行、流水线并行,以及专门针对混合专家(MoE)架构的专家并行。许多团队在面对 MoE 训练时,常常困惑于”专家并行到底和其他并行策略有什么区别””什么时候必须引入它””能否单独使用”。本文正是围绕这些问题展开。
首先需要明确三个核心对比对象:
需要说明的是,这三者并非互斥,实际训练中往往组合使用(例如 EP 常与 DP、PP 搭配),因此本文的对比重点在于”各自的职责边界”与”引入时机”。
尽管实现机制不同,这些并行策略仍有一些共性:
这一根本差异决定了它们的适用前提:数据并行要求单卡能放下整个模型副本;张量并行用于单层过大、无法放入单卡的场景;专家并行则依赖模型本身具有”多专家”的结构,否则无从切分。
数据并行的主要通信发生在反向传播后的梯度同步,通信频率相对较低但与参数规模成正比;张量并行在前向和反向的层内都需要通信,频次最高、对带宽最敏感;专家并行引入了独特的 all-to-all 通信模式——门控网络先把 token 路由到目标专家所在设备,专家计算完成后再把结果送回原设备。示意性伪代码如下:
def moe_layer(input_tokens, local_experts, all_devices):# 1. 门控网络为每个 token 计算对各专家的权重gate_scores = gating_network(input_tokens)# 2. 为每个 token 选出目标专家(top-k 路由)targets = select_top_k(gate_scores, k=2)# 3. all-to-all:把 token 分发到目标专家所在设备dispatched = all_to_all_dispatch(input_tokens, targets, all_devices)# 4. 本地专家处理落在本设备的 tokenoutputs = local_experts(dispatched)# 5. all-to-all:把专家结果送回 token 原属设备combined = all_to_all_combine(outputs, targets, all_devices)# 6. 按门控权重加权求和return weighted_sum(combined, gate_scores)
这种 all-to-all 通信模式带来的最大挑战是跨设备通信开销大,且通信量与 token 的路由分布强相关,难以预测。
数据并行的负载相对天然均衡(各卡数据量相近);张量并行的负载由切分方式决定,通常可控。而专家并行面临突出的负载不均衡问题:门控网络可能把大量 token 集中路由到少数”热门专家”,导致这些专家所在设备过载、其他设备闲置。业界常见的缓解思路包括设置容量因子(capacity factor)、负载均衡损失函数、专家冗余等,但这些都会引入额外的容量浪费或训练复杂度。
数据并行实现相对成熟、心智负担低;张量并行需要精细考虑通信与计算的重叠;专家并行由于路由的动态性,调试更为困难——同一批数据在不同训练步可能路由到不同设备,故障定位、负载观测、通信 profiling 的难度都更高,对监控告警与可观测能力提出了更高要求。
| 对比维度 | 专家并行 (EP) | 数据并行 (DP) | 张量并行 (TP) |
|---|---|---|---|
| 切分对象 | 专家模块 | 数据分片 | 算子内部权重 |
| 适用前提 | 模型须为 MoE 结构 | 单卡可容纳完整模型 | 单层过大、单卡放不下 |
| 核心通信 | all-to-all 路由 | 梯度同步(集合通信) | 层内高频通信 |
| 通信频次 | 中(与路由相关) | 低 | 高 |
| 负载均衡 | 易失衡,需额外机制 | 较均衡 | 相对可控 |
| 调试难度 | 较高(路由动态) | 低 | 中 |
| 典型组合 | 常与 DP/PP 搭配 | 常作为基础层 | 常与 DP/PP 搭配 |
若从数据并行/张量并行切换到引入专家并行的方案,需重点关注:
专家并行、数据并行、张量并行的根本差异在于切分对象不同:数据并行切数据、张量并行切算子、专家并行切专家模块,由此衍生出各自的通信模式(梯度同步、层内通信、all-to-all 路由)、负载特性(均衡、可控、易倾斜)与适用前提。对于 MoE 模型,专家并行是能力前提,其核心难点在于负载不均衡与跨设备通信开销,通常需要与数据并行、流水线并行组合使用,并配套容量规划与可观测能力。选型的核心思路是:先看模型结构是否具备专家化前提,再依据集群拓扑、运维能力与调试成本,条件化地决定并行组合,而非寻找一个放之四海皆准的答案。