Transformers documentation
并行方法
并行方法
多 GPU 配置可有效加速训练,并让原本无法装入单块 GPU 显存的大模型得以在内存中运行。其核心在于将工作负载在多个 GPU 之间进行并行化。并行方式有多种,例如数据并行、张量并行、流水线并行和模型并行。每种并行方式对负载的切分方式各不相同,切分的对象可能是数据,也可能是模型。
本指南将介绍各种并行方法、如何组合使用它们,以及如何为您的环境选择合适的策略。有关分布式训练的更多详细信息,请参阅 Accelerate 文档。
如需了解扩展大型语言模型的全面指南,请参阅 Ultrascale Playbook,其中提供了大规模训练的详细策略和最佳实践。
可扩展性策略
使用 Model Memory Calculator 计算模型所需的内存量。然后参考下表,根据你的配置选择合适的策略。
| 设置 | 场景 | strategy |
|---|---|---|
| 单节点/多 GPU | 可适配单张 GPU | DistributedDataParallel 或 ZeRO |
| 无法在单个 GPU 上运行 | PipelineParallel、ZeRO 或 TensorParallel | |
| 最大的模型层无法容纳 | TensorParallel 或 ZeRO | |
| 多节点/多 GPU | 节点间高速互联(NVLink 或 NVSwitch) | ZeRO 或 3D 并行(PipelineParallel、TensorParallel、DataParallel) |
| 节点间连接速度较慢 | ZeRO 或 3D 并行(PipelineParallel、TensorParallel、DataParallel) |
数据并行
数据并行将数据均匀地分配到多个 GPU 上。每个 GPU 都保存一份模型副本,并并行处理其分配到的数据部分。最后,来自各个 GPU 的结果会被同步并合并。
数据并行通过并行处理数据显著缩短了训练时间,并且可以扩展到可用的 GPU 数量。然而,同步来自每个 GPU 的结果可能会带来额外的开销。
数据并行有两种类型:DataParallel (DP) 和 DistributedDataParallel (DDP)。
DataParallel
DataParallel 支持在配备多块 GPU 的单台机器上进行分布式训练。
- 默认 GPU
GPU 0读取一批数据,并将其中的一个 mini batch 发送到其他 GPU。 - 最新的模型从
GPU 0复制到其他 GPU。 - 在每张 GPU 上执行一次
forward前向传播,并将它们的输出发送到GPU 0以计算损失。 - 损失从
GPU 0分发到其他 GPU,用于backward过程。 - 来自每个 GPU 的梯度会被发送回
GPU 0并进行平均。
DistributedDataParallel
DistributedDataParallel 支持在多台机器上跨多个 GPU 进行分布式训练。
- 主进程将模型从默认 GPU
GPU 0复制到每个 GPU。 - 每个 GPU 直接处理一个 mini batch 的数据。
- 在
backward过程中,本地梯度会在所有 GPU 之间进行平均。
推荐使用 DDP,因为它能降低 GPU 之间的通信开销,高效利用每个 GPU,并且可以扩展到多台机器。
ZeRO 数据并行
Zero Redundancy Optimizer 是一种内存效率更高的数据并行类型。它通过将参数、梯度和优化器状态划分到不同的数据并行进程中来降低内存占用,从而显著提升内存效率。ZeRO 共有三个阶段:
- 阶段 1 对优化器状态进行分区
- Stage 2 对优化器状态和梯度状态进行分区
- Stage 3 对优化器、梯度和参数进行分区

模型并行
模型并行将模型分布到多个 GPU 上。拆分模型有多种方式,但典型的方法是将模型层分布到各个 GPU 上。在 forward 过程中,第一个 GPU 处理一批数据,并将其传递给下一个 GPU 上的下一组层。对于 backward 过程,数据从最后一层反向传递到第一层。
模型并行是一种有用的策略,用于训练大到无法装入单个 GPU 内存的模型。然而,由于每次只有一个 GPU 处于活跃状态,GPU 利用率并不均衡。在 GPU 之间传递结果还会增加通信开销,并可能成为性能瓶颈。
流水线并行
流水线并行(Pipeline parallelism)在概念上与模型并行非常相似,但由于它减少了 GPU 的空闲时间,因此效率更高。流水线并行不再等待每个 GPU 处理完一个数据批次,而是将数据划分为微批次(micro-batches)。一旦某个微批次处理完毕,就会立即传递给下一个 GPU。这样,每个 GPU 都可以并发处理数据的一部分,而无需等待其他 GPU 完全处理完一个迷你批次的数据。
流水线并行与模型并行具有相同的优势,但它能优化 GPU 利用率并减少空闲时间。不过,流水线并行可能更为复杂,因为模型可能需要被重写为 nn.Sequential 模块的序列,而且由于最后一个 forward 过程也必须等待 backward 过程完成,所以无法完全消除空闲时间。
张量并行
张量并行将大型张量计算分布在多个 GPU 上。张量会被水平或垂直切片,每个切片由一个独立的 GPU 处理。每个 GPU 对其张量切片执行计算,最终同步结果以重建最终输出。
张量并行对于训练无法装入单个 GPU 内存的大型模型非常有效。由于每个 GPU 可以并行处理其张量切片,因此它速度更快、效率更高,并且可以与其他并行方法结合使用。不过,与其他并行方法一样,张量并行会增加 GPU 之间的通信开销。
请参阅 Tensor parallelism 指南,了解如何将其用于推理。
混合并行
可以组合使用多种并行方法,以实现更大的显存节省,并更高效地训练具有数十亿参数的模型。
数据并行与流水线并行
数据并行和流水线并行将数据分布到各个 GPU 上,并将每个 mini batch 数据划分为 micro-batch,以实现流水线并行。
每个数据并行 rank 都将该进程视为只有一块 GPU,而不是两块,但 GPU 0 和 1 可以将数据微批次卸载到 GPU 2 和 3,从而减少空闲时间。
该方法通过降低 GPU 空闲利用率来优化并行数据处理。

ZeRO 数据并行、流水线并行和模型并行(3D 并行)
数据并行、流水线并行和模型并行相结合,形成3D 并行,以优化内存和计算效率。
内存效率是通过将模型拆分到多个 GPU 上,并将其划分为多个阶段以构建流水线来实现的。这使得 GPU 能够并行处理数据微批次,从而降低模型、优化器和激活值的内存占用。
计算效率得益于 ZeRO 数据并行,其中每个 GPU 仅存储模型、优化器和激活值的一个切片。这使得数据并行节点之间可以实现更高的通信带宽,因为通信可以独立于其他流水线阶段进行,也可以与其他流水线阶段并行进行。
这种方法可扩展至拥有数万亿参数的超大规模模型。
