简介：面向初学者与架构决策者，系统对比数据并行、流水线并行、张量并行与上下文并行在大模型训练中的原理、差异、组合方式及适用场景。通过图解化拆解与条件化选型建议，帮助读者理解不同并行策略的架构边界、通信开销、显存分布与迁移成本，为超长文本训练、大规模集群调度和技术方案评估提供清晰参考。
随着模型参数量从数十亿增长到数千亿甚至万亿级别，单卡显存早已无法承载完整模型权重、梯度与优化器状态。与此同时，训练数据规模与长上下文需求也在同步膨胀。传统的单机单卡训练方式在算力、显存和通信层面都面临瓶颈，因此必须引入并行训练策略。
并行训练的核心矛盾在于：如何在多张加速卡之间合理切分计算图、参数和输入数据，使得总训练吞吐量最大化，同时将通信开销和显存占用控制在可接受范围内。 不同的并行策略本质上是对“计算、显存、通信”三者的权衡取舍。
本文围绕四种主流并行策略展开对比：数据并行（Data Parallelism, DP）、流水线并行（Pipeline Parallelism, PP）、张量并行（Tensor Parallelism, TP）和上下文并行（Context Parallelism, CP）。这四种策略不是互斥关系，而是在实际大模型训练中通常以组合形式出现。理解它们各自解决什么问题、引入什么代价、在何种条件下组合最优，是进行训练框架选型和集群规划的基础。
数据并行是最直观、历史最长的并行方式。在数据并行中，每个加速卡保存一份完整的模型副本，训练数据按批次被切分到不同加速卡上。每个加速卡独立完成前向传播和反向传播，得到局部梯度，然后通过通信操作对所有加速卡上的梯度进行归约或平均，最后用统一后的梯度更新各自持有的模型参数。
数据并行的优势在于实现简单、对模型结构无侵入性。对于模型参数量不大、但训练数据规模很大的场景，数据并行是性价比最高的扩展方式。其劣势同样明显：当模型参数规模变得极大时，单卡无法再容纳完整副本，此时数据并行单独使用就不再可行。
流水线并行解决的是“模型层数太多导致单卡放不下”的问题。在流水线并行中，模型按层被切分成多个阶段，每个阶段放置在不同的加速卡上。前一张卡完成前向计算后，将中间激活值传给下一张卡；反向传播时，梯度按相反顺序回传。
流水线并行的本质是把模型深度维度切开。它显著减少了单卡需要保存的参数和激活显存。但流水线并行天然存在“气泡”问题：不同卡之间需要等待上下游的数据，导致部分卡在计算上处于空闲状态。微批次调度方式（如将一个大批次拆成多个微批次交错执行）可以在一定程度上减少气泡，但无法完全消除。
张量并行解决的是“单层参数太大导致单卡放不下”的问题。在张量并行中，单层内的权重矩阵被切分到不同加速卡上。以Transformer架构为例，多头注意力（Multi-Head Attention）中的不同注意力头可以被分到不同卡上，前馈网络（Feed-Forward Network, FFN）的权重矩阵也可以按行或列切分。计算时，各卡并行完成自己负责的部分，然后通过通信操作还原完整的中间结果。
张量并行的好处是切分粒度非常细，能够处理超大单层。但其通信模式比数据并行和流水线并行更复杂，通信频率更高。因为前向传播和反向传播过程中每次矩阵乘法之后都可能需要跨卡通信，所以张量并行对卡间带宽要求极高，通常只适合在同一节点内部或使用高速互联的紧耦合集群中部署。
上下文并行是相对较新、但重要性急剧上升的并行策略。它解决的是超长序列输入带来的显存和计算瓶颈。在注意力计算中，计算复杂度与序列长度的平方相关，长序列会迅速耗尽显存。
上下文并行的核心思想是将输入序列的 token 维度切分，不同加速卡分别处理序列的不同区段。在注意力计算过程中，通过跨卡通信交换键（Key）和值（Value）信息来完成全局注意力计算。上下文并行可以被理解为“把注意力计算在序列维度切块”。在需要训练或推理超长上下文模型时，上下文并行几乎是必不可少的策略。
四种并行策略虽然切入点和切分对象不同，但共享以下共同点：
第一，目标一致：都是为了突破单卡算力和显存上限，将大规模训练任务拆分到多张加速卡上协同完成。
第二，本质都是分布式的计算图切分：区别只在于切分维度不同——DP切数据批次维度，PP切模型层维度，TP切单层权重维度，CP切输入序列维度。
第三，都依赖于通信基础设施：无论哪种并行，都涉及加速卡之间的数据交换。只是不同的策略对通信带宽、延迟和同步语义的要求不同。
第四，都可以互相组合：在实际大模型训练中，几乎没有只使用单一并行策略的场景。通常是“DP+PP+TP”或更进一步加入CP的组合式架构。
第五，都需要处理梯度同步与状态一致性：无论模型、数据还是序列被切分，最终都要保证全局梯度正确传播和参数一致更新。
| 并行策略 | 切分对象 | 切分维度 | 单卡是否持有完整模型 |
|---|---|---|---|
| DP | 训练数据 | 批次维度 | 是 |
| PP | 模型层 | 深度维度 | 否，只持有部分层 |
| TP | 单层权重 | 权重矩阵维度 | 否，只持有部分权重 |
| CP | 输入序列 | Token维度 | 否，只持有部分序列上下文 |
从上表可以清晰看出，四种策略的切分对象完全不同。这种差异决定了它们各自适用的瓶颈场景：数据量大用DP，层数深用PP，单层宽用TP，序列长用CP。
数据并行的通信主要发生在反向传播完成后。每张卡持有完整的局部梯度，需要通过All-Reduce等集合通信操作对梯度求和或平均。通信频率相对较低，但通信数据规模等于完整梯度的大小。
流水线并行的通信发生在前向和反向传播的阶段交界处。只需要传递激活值和梯度张量，通信数据量相对较小。但通信模式有严格的方向性和顺序性，因此容易产生流水线气泡，造成部分卡的利用率下降。
张量并行的通信频率最高。在Transformer的每一层中，注意力矩阵乘法和FFN矩阵乘法之后都可能需要跨卡通信来拼接或归约结果。这意味着张量并行对卡间带宽的敏感度极高。如果跨节点通信带宽不足，张量并行的性能会急剧下降。
上下文并行的通信集中在注意力计算阶段。需要交换不同序列区段上的键和值张量，通信数据量与序列长度和注意力头维度相关。在超长序列场景下，通信量可能成为主要瓶颈，因此通常需要与环形或层次化通信拓扑配合。
数据并行的单卡显存压力最高，因为每张卡都需要保存完整模型副本、梯度、优化器状态以及当前批次的激活值。当模型参数量大到单卡显存无法容纳时，数据并行就失效了。
流水线并行显著降低了单卡权重显存，但激活显存仍然与层数和微批次数量相关。流水线调度策略会影响激活值的保存和释放时机。
张量并行对权重的切分进一步降低了单卡权重显存，但前向中间结果需要在各卡之间复制或传递，部分场景下激活显存可能反而增加。
上下文并行主要降低的是激活显存中与序列长度相关的部分。注意力矩阵的显存占用与序列长度平方成正比，将序列切开可以大幅降低这部分显存压力。
数据并行的扩展瓶颈主要来自通信开销。加速卡数量增加时，All-Reduce通信时间占比会上升，扩展效率逐渐下降。当模型参数规模超过单卡容纳能力时，DP无法单独使用。
流水线并行的扩展瓶颈是流水线气泡。阶段数越多，气泡与有效计算时间的比例越高。此外，层间计算负载不可能完全均等，负载不平衡也会加剧空闲等待。
张量并行的扩展瓶颈是高速通信的物理限制。跨节点张量并行的通信开销极高，通常只建议在同一节点内使用。所以TP并行度受限于单节点的加速卡数量。
上下文并行的扩展瓶颈是注意力计算的通信密集性。序列切得越碎，跨卡交换键值张量的通信量越大。此外，不同加速卡上处理的序列区段长度需要保持均衡，否则会出现负载倾斜。
实际训练框架中，四种并行策略通常以组合方式出现。以下对比几种常见组合架构。
这是早期大模型训练最常用的组合。DP负责数据扩展，PP负责切分模型深度。每个PP阶段内部使用DP模式管理多张卡，这些卡持有完全相同的模型层副本。
优点：实现相对简单，通信模式清晰，适合参数量在数十亿到数百亿之间的模型。
限制：当单层参数过大时，即使PP已经切开模型，单个层仍可能超出单卡显存。此时需要引入TP。
这是当前千亿级模型训练的主流方案。在PP切分层的基础上，对每个阶段内的单层权重使用TP进一步切分，DP则在更大的集群范围内做数据维度扩展。
架构要点：
优点：三维度联合优化，能覆盖从模型深度、单层宽度到数据规模的全面瓶颈。
限制：配置复杂度显著上升，需要考虑不同并行维度的通信带宽差异，调度策略也更复杂。
当训练目标是超长上下文模型时，需要引入CP。CP与TP的定位有部分重叠——两者都在一定程度上涉及注意力计算，但CP切分的是序列维度，TP切分的是注意力头维度。
架构要点：
适用条件：模型单层参数在单卡显存可容纳范围内，但序列长度导致注意力的显存或计算无法承受。
在超大模型与超长序列需求叠加时，四种并行需要同时启用。这种组合的复杂度最高。
关键交互：
| 对比维度 | DP | PP | TP | CP |
|---|---|---|---|---|
| 切分对象 | 训练数据 | 模型层 | 单层权重 | 输入序列 |
| 主要解决瓶颈 | 数据规模 | 模型深度 | 单层参数过大 | 长序列注意力 |
| 单卡显存压力 | 高 | 中 | 低 | 中 |
| 通信频率 | 低 | 低 | 高 | 中高 |
| 对卡间带宽要求 | 中 | 低中 | 极高 | 高 |
| 实现复杂度 | 低 | 中 | 高 | 中高 |
| 扩展限制 | 模型需单卡可容 | 流水线气泡 | 跨节点受限 | 注意力通信密集 |
| 典型并行度范围 | 数百至数千 | 数至数十 | 2至8（节点内） | 2至数十 |
| 适用模型规模 | 百亿以下 | 百亿至千亿 | 千亿以上 | 长上下文场景 |
如果模型参数量在单卡显存可容纳范围内，训练数据规模是主要瓶颈，那么纯DP或DP+小规模PP就是最经济的选择。此时引入TP会增加不必要的通信复杂度，收益有限。
对于层数很深的模型架构，单层参数量不大但总层数很多，PP或DP+PP组合较为合适。流水线并行可以自然地将模型深度切分到多张卡上。
当模型的单层参数量已经超出单卡显存，或者为了更细粒度的负载分布，需要引入TP。在这种情况下，TP通常与PP组合使用，PP切深度，TP切宽度。需要注意TP并行度不宜跨节点扩展。
当训练目标明确包含超长序列处理能力时，CP必须被纳入考虑。在模型单层宽度尚可、但序列长度导致注意力显存爆炸的场景下，DP+PP+CP是比引入TP更直接的方案。
如果模型参数量达到万亿级别，同时需要训练128K甚至更长的上下文，则需要DP+PP+TP+CP四维并行组合。这种配置通常只在大型训练集群中部署，需要专门的调度和通信库支持。
选型不能抽象地判断“哪个策略更好”，而应该根据以下条件进行判断：
条件一：单卡显存是否容纳完整模型？
条件二：模型的单层权重是否超出单卡显存？
条件三：训练序列长度是否远超常规水平？
条件四：集群的互联拓扑如何？
条件五：团队的工程能力如何？
当训练方案从一个并行策略组合切换到另一个时，需要关注以下问题：
配置迁移：不同并行策略对应的超参数配置完全不同。PP需要设置阶段数和微批次调度策略，TP需要设置切分维度，CP需要设置序列切分长度。配置错误可能直接导致训练无法启动或结果不一致。
随机性控制：不同并行策略对随机数生成、dropout掩码、序列采样都有影响。切换策略时需要重新验证随机性控制逻辑，确保实验可复现。
检查点兼容性：不同并行维度下的模型检查点结构不同。TP并行度改变意味着权重切片方式改变，旧的检查点需要经过转换才能在新配置下复用。
通信库适配：TP和CP对通信原语有更高要求，需要确保底层通信库支持所需的集合通信模式。跨节点部署TP时尤其需要注意带宽是否满足计算对通信的需求。
调优复杂度：并行维度越多，调优空间越大。PP的微批次数量、TP的切分策略、CP的序列分段长度等参数相互影响，需要系统化的调优思路。
大模型并行训练策略的选择本质是多维度的权衡：DP以通信换数据扩展，PP以流水线气泡换模型深度扩展，TP以高频通信换单层细粒度分割，CP以注意力通信换长序列能力。
没有一种并行策略在所有场景下都占优。判断标准应回归到三个核心问题：当前最迫切的瓶颈是什么？可用硬件在带宽和显存上的边界在哪里？团队的工程能力能够支撑多复杂的分布式架构？
在实际项目中，条件化的选型路径通常遵循这样的逻辑顺序：先判断是否需要CP解决长序列问题，再判断是否需要TP解决单层宽度问题，然后用PP解决剩余深度问题，最后用DP填充剩余的计算资源完成数据扩展。这种层次化的判断方法，比盲目追求更多并行维度更为务实和高效。