Accelerate documentation

比较不同分布式配置下的性能

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

比较不同分布式配置下的性能

如果您不清楚需要关注哪些指标,评估和比较不同配置的性能可能会颇具挑战性。 例如,使用 Accelerate 时,您无法在 TPU、多 GPU 和单 GPU 上以相同的批处理大小运行相同的脚本,并期望获得一致的结果。

但为什么?

本教程将涵盖以下三个原因:

  1. 设置正确的种子
  2. 观察到的批次大小
  3. 学习率

设置随机种子

虽然这个问题出现得不多,但请确保在所有分布式情况下使用 utils.set_seed() 来完全设置随机种子,以确保训练可复现:

from accelerate.utils import set_seed

set_seed(42)

为什么这很重要?在底层,这将设置 5 个不同的种子配置:

    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
    # ^^ safe to call this function even if cuda is not available
    if is_torch_xla_available():
        xm.set_rng_state(seed)

随机状态、numpy 的状态、torch、torch 的设备状态,以及如果 TPU 可用则包括 torch_xla 的 cuda 状态。

观察到的批次大小

在使用 Accelerate 进行训练时,传递给 dataloader 的 batch size 是每个 GPU 的 batch size。这意味着,在两个 GPU 上设置 batch size 为 64,实际的 batch size 为 128。因此,在单 GPU 上测试时需要考虑这一点,在 TPU 上也是如此。

下表可作为快速参考,用于尝试不同的批次大小:

在此示例中,“Multi-GPU” 使用两块 GPU,而 TPU pod 包含 8 个 worker

单 GPU 批处理大小多 GPU 等效批量大小TPU 等效批量大小
25612832
1286416
64328
32164

学习率

正如多个来源[1][2]所指出的,学习率应根据现有设备数量进行线性缩放。以下代码片段展示了如何使用 Accelerate 实现这一点:

由于用户可以自行定义学习率调度器,我们将其交由用户自行决定是否对学习率进行缩放。

learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes

optimizer = AdamW(params=model.parameters(), lr=learning_rate)

您还会发现,accelerate 会根据正在训练的流程数量来调整学习率。这是因为前面提到的观察到的批大小。因此,在 2 个 GPU 的情况下,学习率的调整频率将是单个 GPU 的两倍,以应对批大小翻倍的情况(前提是未对单个 GPU 实例上的批大小进行更改)。

梯度累积与混合精度

在使用梯度累积和混合精度时,由于梯度平均(累积)的工作方式以及精度损失(混合精度),性能出现一定程度的下降是预期之中的。在比较不同计算配置下的逐批次损失时,这一点会表现得尤为明显。然而,训练结束时的总体损失、指标和整体性能应当大致相同。

Update on GitHub