Transformers documentation

并行方法

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

并行方法

多 GPU 配置可有效加速训练,并让原本无法装入单块 GPU 显存的大模型得以在内存中运行。其核心在于将工作负载在多个 GPU 之间进行并行化。并行方式有多种,例如数据并行、张量并行、流水线并行和模型并行。每种并行方式对负载的切分方式各不相同,切分的对象可能是数据,也可能是模型。

本指南将介绍各种并行方法、如何组合使用它们,以及如何为您的环境选择合适的策略。有关分布式训练的更多详细信息,请参阅 Accelerate 文档。

如需了解扩展大型语言模型的全面指南,请参阅 Ultrascale Playbook,其中提供了大规模训练的详细策略和最佳实践。

可扩展性策略

使用 Model Memory Calculator 计算模型所需的内存量。然后参考下表,根据你的配置选择合适的策略。

设置场景strategy
单节点/多 GPU可适配单张 GPUDistributedDataParallel 或 ZeRO
无法在单个 GPU 上运行PipelineParallel、ZeRO 或 TensorParallel
最大的模型层无法容纳TensorParallel 或 ZeRO
多节点/多 GPU节点间高速互联(NVLink 或 NVSwitch)ZeRO 或 3D 并行(PipelineParallel、TensorParallel、DataParallel)
节点间连接速度较慢ZeRO 或 3D 并行(PipelineParallel、TensorParallel、DataParallel)

数据并行

数据并行将数据均匀地分配到多个 GPU 上。每个 GPU 都保存一份模型副本,并并行处理其分配到的数据部分。最后,来自各个 GPU 的结果会被同步并合并。

数据并行通过并行处理数据显著缩短了训练时间,并且可以扩展到可用的 GPU 数量。然而,同步来自每个 GPU 的结果可能会带来额外的开销。

数据并行有两种类型:DataParallel (DP) 和 DistributedDataParallel (DDP)。

DataParallel

DataParallel 支持在配备多块 GPU 的单台机器上进行分布式训练。

  1. 默认 GPU GPU 0 读取一批数据,并将其中的一个 mini batch 发送到其他 GPU。
  2. 最新的模型从 GPU 0 复制到其他 GPU。
  3. 在每张 GPU 上执行一次 forward 前向传播,并将它们的输出发送到 GPU 0 以计算损失。
  4. 损失从 GPU 0 分发到其他 GPU,用于 backward 过程。
  5. 来自每个 GPU 的梯度会被发送回 GPU 0 并进行平均。

DistributedDataParallel

DistributedDataParallel 支持在多台机器上跨多个 GPU 进行分布式训练。

  1. 主进程将模型从默认 GPU GPU 0 复制到每个 GPU。
  2. 每个 GPU 直接处理一个 mini batch 的数据。
  3. 在 backward 过程中,本地梯度会在所有 GPU 之间进行平均。

推荐使用 DDP,因为它能降低 GPU 之间的通信开销,高效利用每个 GPU,并且可以扩展到多台机器。

ZeRO 数据并行

Zero Redundancy Optimizer 是一种内存效率更高的数据并行类型。它通过将参数、梯度和优化器状态划分到不同的数据并行进程中来降低内存占用,从而显著提升内存效率。ZeRO 共有三个阶段:

  • 阶段 1 对优化器状态进行分区
  • Stage 2 对优化器状态和梯度状态进行分区
  • Stage 3 对优化器、梯度和参数进行分区

模型并行

模型并行将模型分布到多个 GPU 上。拆分模型有多种方式,但典型的方法是将模型层分布到各个 GPU 上。在 forward 过程中,第一个 GPU 处理一批数据,并将其传递给下一个 GPU 上的下一组层。对于 backward 过程,数据从最后一层反向传递到第一层。

模型并行是一种有用的策略,用于训练大到无法装入单个 GPU 内存的模型。然而,由于每次只有一个 GPU 处于活跃状态,GPU 利用率并不均衡。在 GPU 之间传递结果还会增加通信开销,并可能成为性能瓶颈。

流水线并行

流水线并行(Pipeline parallelism)在概念上与模型并行非常相似,但由于它减少了 GPU 的空闲时间,因此效率更高。流水线并行不再等待每个 GPU 处理完一个数据批次,而是将数据划分为微批次(micro-batches)。一旦某个微批次处理完毕,就会立即传递给下一个 GPU。这样,每个 GPU 都可以并发处理数据的一部分,而无需等待其他 GPU 完全处理完一个迷你批次的数据。

流水线并行与模型并行具有相同的优势,但它能优化 GPU 利用率并减少空闲时间。不过,流水线并行可能更为复杂,因为模型可能需要被重写为 nn.Sequential 模块的序列,而且由于最后一个 forward 过程也必须等待 backward 过程完成,所以无法完全消除空闲时间。

张量并行

张量并行将大型张量计算分布在多个 GPU 上。张量会被水平或垂直切片,每个切片由一个独立的 GPU 处理。每个 GPU 对其张量切片执行计算,最终同步结果以重建最终输出。

张量并行对于训练无法装入单个 GPU 内存的大型模型非常有效。由于每个 GPU 可以并行处理其张量切片,因此它速度更快、效率更高,并且可以与其他并行方法结合使用。不过,与其他并行方法一样,张量并行会增加 GPU 之间的通信开销。

请参阅 Tensor parallelism 指南,了解如何将其用于推理。

混合并行

可以组合使用多种并行方法,以实现更大的显存节省,并更高效地训练具有数十亿参数的模型。

数据并行与流水线并行

数据并行和流水线并行将数据分布到各个 GPU 上,并将每个 mini batch 数据划分为 micro-batch,以实现流水线并行。

每个数据并行 rank 都将该进程视为只有一块 GPU,而不是两块,但 GPU 0 和 1 可以将数据微批次卸载到 GPU 2 和 3,从而减少空闲时间。

该方法通过降低 GPU 空闲利用率来优化并行数据处理。

ZeRO 数据并行、流水线并行和模型并行(3D 并行)

数据并行、流水线并行和模型并行相结合,形成3D 并行,以优化内存和计算效率。

内存效率是通过将模型拆分到多个 GPU 上,并将其划分为多个阶段以构建流水线来实现的。这使得 GPU 能够并行处理数据微批次,从而降低模型、优化器和激活值的内存占用。

计算效率得益于 ZeRO 数据并行,其中每个 GPU 仅存储模型、优化器和激活值的一个切片。这使得数据并行节点之间可以实现更高的通信带宽,因为通信可以独立于其他流水线阶段进行,也可以与其他流水线阶段并行进行。

这种方法可扩展至拥有数万亿参数的超大规模模型。

Update on GitHub