简介：大模型训练中，单卡显存不足与训练缓慢是两大核心痛点。本文围绕分布式训练中最常见的两类并行策略——数据并行与模型并行展开对比，从显存占用、通信开销、扩展效率、实现复杂度与适用场景等维度进行系统分析，帮助读者理解不同并行机制的原理边界，并形成在单机多卡与多机多卡环境下的选型判断依据。
在语言模型规模持续增长的过程中，单块GPU的显存与算力很快会成为瓶颈。训练任务面临两个典型问题：一是模型参数、梯度、优化器状态以及中间激活值占用显存过大，导致训练无法启动；二是即使用小批量样本勉强运行，完整遍历一遍训练数据也需要数周甚至更长时间。
为了突破单卡限制，业界普遍采用分布式训练方式，让多块GPU协同完成一次模型训练。不同并行策略在显存分摊、通信模式、扩展能力和工程复杂度上存在明显差异。如果选择不当，可能出现通信开销抵消计算收益、显存分布不均衡导致部分设备闲置、改造代码侵入性过强等问题。
因此，理解数据并行与模型并行在原理层面的差异，是制定分布式训练方案、评估硬件资源需求和预估训练周期的重要前提。
数据并行是最早出现、也最容易理解的分布式训练方式。其基本思路是：每个计算设备都保存一份完整的模型副本，训练数据被切分成多个子集，分别送入不同设备进行前向计算与反向传播。每个设备会基于本地数据产生局部梯度，之后通过通信操作在设备之间同步梯度，再更新本地模型参数。
数据并行解决的主要问题是训练吞吐量不足。当模型本身可以完整放入单张GPU显存，但数据量太大导致训练时间过长时，数据并行能够通过增加设备数量来压缩训练周期。
模型并行针对的是另一种瓶颈：模型本身过大，单张GPU显存放不下完整模型。此时不再要求每个设备持有全部参数，而是将模型结构按层或按参数矩阵切分，分布到多个设备上。每个设备只保存并计算模型的一部分，通过设备间通信传递中间激活值与梯度来完成整次前向和反向过程。
模型并行解决的核心问题是显存容量限制。当单卡无法容纳完整模型时，模型并行是让训练任务得以启动的基础手段。
数据并行与模型并行虽然针对不同的瓶颈，但二者存在一些共同点。
第一，目标一致。两者都旨在利用多块GPU协同完成原本单卡无法高效执行的训练任务，最终目的都是提升训练效率或让训练具备可行性。
第二，都依赖设备间通信。数据并行需要在梯度同步阶段进行通信，模型并行则需要在前向与反向过程中传递中间结果。无论哪种策略，通信开销都是影响整体效率的关键因素。
第三，都需要对训练流程进行改造。从单卡训练切换到多卡训练，不管采用哪种并行方式，都需要引入分布式初始化、数据分配、同步控制与日志汇总等机制。
第四，都可以与混合精度训练、梯度累积、学习率缩放等技术组合使用。并行策略解决的是“任务如何拆分到多卡”的问题，而上述技术解决的是“单卡计算如何更高效”的问题，二者并不冲突。
数据并行下，每张GPU保存相同且完整的模型参数、梯度与优化器状态，因此单卡显存不会因为增加设备数量而降低。即使使用8张卡，每张卡仍然需要能够容纳完整模型。这是数据并行最根本的限制。
模型并行下，模型被切分到多个设备，每张卡只保存模型的一部分。理论上，单卡显存需求会随着并行度提升而下降，从而支持更大规模模型的训练。
数据并行的通信集中在反向传播之后的梯度同步阶段。通信量与模型参数量成正比，与数据批量大小基本无关。当模型参数量较小时，同步开销相对可控；但参数量达到数十亿甚至数百亿时，梯度同步会消耗可观的带宽与时间。
模型并行的通信发生在前向传播和反向传播过程中，需要在切分边界处传递激活值与梯度。通信频率通常高于数据并行，但每次通信的数据量取决于切分方式与层间张量大小。对于按层切分的流水线并行，通信数据量通常小于模型全量参数；对于张量级切分，通信量可能进一步上升。
数据并行在模型规模固定的情况下，可以通过增加GPU数量来提升数据吞吐能力。但当GPU数量超过一定阈值后，梯度同步带来的通信开销占比会逐渐上升，扩展效率下降。此外，数据并行还要求全局批量大小与学习率配合调整，否则可能影响收敛稳定性。
模型并行通过增加设备来分摊模型显存，扩展方式更偏向容量扩展而非吞吐扩展。单纯增加模型并行度不一定能直接缩短训练时间，有时由于通信路径变长，单步计算时间反而会增加。需要与数据并行组合，才能在扩大模型规模的同时保持合理的训练速度。
数据并行的工程实现相对成熟，主流深度学习框架大多提供较为简洁的封装接口。通常只需对训练脚本做少量修改，即可从单卡切换到多卡数据并行。
模型并行的实现复杂度明显更高。需要明确定义模型如何切分、前向与反向过程中哪些张量需要跨设备传输、如何编排多个设备上的计算顺序。对于按层切分的模型并行，还需要处理不同设备上的空闲等待问题，避免计算资源浪费。
数据并行中，所有设备维护相同模型，若某台设备发生故障，可通过重新加载其他设备的模型状态进行恢复，容错处理相对直接。
模型并行中，不同设备保存模型的不同部分，任何一台设备故障都可能导致整条计算链中断。恢复训练时需要重新定位各设备上的参数分片状态，容错与故障恢复逻辑更复杂。
| 对比维度 | 数据并行 | 模型并行 |
|---|---|---|
| 解决的问题 | 训练数据量大、吞吐不足 | 模型显存需求超过单卡容量 |
| 模型副本 | 每张GPU保存完整模型 | 每张GPU保存模型部分分片 |
| 单卡显存要求 | 需容纳完整模型 | 只需容纳部分模型 |
| 主要通信时机 | 反向传播后的梯度同步 | 前向与反向过程中的张量传递 |
| 通信量与模型的关系 | 约等于模型参数量 | 取决于切分方式与层间激活值大小 |
| 扩展目标 | 提升数据吞吐、缩短训练时长 | 支持更大模型、降低单卡显存压力 |
| 实现复杂度 | 较低，框架支持较完善 | 较高，需定制切分与调度逻辑 |
| 故障恢复难度 | 相对容易 | 相对复杂 |
| 典型适用场景 | 模型可放入单卡，数据规模大 | 模型超出单卡显存容量 |
当模型参数量在单卡显存可承受范围内，但训练语料规模庞大，单卡训练周期过长时，应优先考虑数据并行。这种场景下，数据并行的实现成本低，能够直接通过增加GPU数量压缩训练时间。
当单卡显存无法容纳模型参数、梯度与优化器状态时，模型并行是让训练得以启动的必要选择。特别是对于层数较深、单层参数量较大的模型，按层切分的模型并行可以显著降低单卡显存峰值。
当模型参数量达到数十亿、数百亿甚至更大级别时，单一并行策略通常不够。业界普遍采用混合并行方式，例如先在单机内部使用模型并行解决显存限制，同时在多机之间使用数据并行提升吞吐。部分复杂方案还会结合流水线并行、张量并行与优化器状态分片等技术，在显存、通信与计算之间寻找平衡。
选择数据并行还是模型并行，核心判断依据是“单卡是否能够容纳完整模型”。
如果单卡显存可以容纳完整模型，优先选择数据并行。理由是实现简单、容错能力较强、扩展路径清晰。在此基础上，如果进一步出现显存紧张，可以通过降低批量大小、启用梯度累积、采用混合精度训练等方式缓解，而不必一开始就引入模型并行。
如果单卡显存无法容纳完整模型，则必须引入模型并行。此时建议优先采用按层切分的方式，因为其逻辑边界清晰，通信数据量通常比张量级切分更可控。在模型并行基础上，再根据剩余算力预算叠加数据并行，以兼顾模型规模与训练速度。
在实际工程中，两种策略并非互斥关系。多数大规模训练任务最终都会走向混合并行方案。选型时还需要综合考虑网络带宽、机器拓扑、显存容量、工程团队对分布式框架的熟悉程度以及训练周期要求。
从单卡训练切换到数据并行时，需要关注全局批量大小的变化。由于每张卡贡献一份梯度，有效批量大小会随并行度放大。为了保持收敛行为接近单卡训练，通常需要同步调整学习率。此外，梯度同步依赖设备间网络质量，低带宽或高延迟网络会显著拖慢训练速度，建议在高速互联环境或高带宽实例环境中部署。
切换到模型并行时，需要重点评估模型切分方案。不同层的参数量与激活值大小差异较大，切分不当会导致各设备负载不均衡。部分设备计算量大、部分设备等待时间长，整体效率反而下降。因此，在实施前应对各层参数量、激活值形状与显存占用进行静态分析，设计合理的切分边界。
监控与日志也是迁移过程中容易忽略的部分。分布式训练下，不同设备上的损失值、梯度范数、学习率等指标需要汇总展示，才能及时发现收敛异常或设备故障。建议提前规划统一的日志输出格式与监控指标采集方式。
数据并行与模型并行是分布式训练中最基础的两种并行思路。数据并行通过复制模型、切分数据来提升训练吞吐，适合模型可放入单卡但数据量过大的场景；模型并行通过切分模型来降低单卡显存需求，适合模型本身超出单卡容量的场景。
两者在显存分布、通信模式、扩展效率、实现复杂度与容错能力上存在显著差异。实际选型时，应首先判断单卡显存是否构成硬约束，再结合网络环境、硬件拓扑与工程能力确定并行策略。对于超大规模模型训练，混合并行方案往往是更现实的选择。理解数据并行与模型并行的本质差异，有助于在资源有限的前提下设计出更合理的分布式训练架构。