Accelerate documentation
比较不同分布式配置下的性能
比较不同分布式配置下的性能
如果您不清楚需要关注哪些指标,评估和比较不同配置的性能可能会颇具挑战性。 例如,使用 Accelerate 时,您无法在 TPU、多 GPU 和单 GPU 上以相同的批处理大小运行相同的脚本,并期望获得一致的结果。
但为什么?
本教程将涵盖以下三个原因:
- 设置正确的种子
- 观察到的批次大小
- 学习率
设置随机种子
虽然这个问题出现得不多,但请确保在所有分布式情况下使用 utils.set_seed() 来完全设置随机种子,以确保训练可复现:
from accelerate.utils import set_seed
set_seed(42)为什么这很重要?在底层,这将设置 5 个不同的种子配置:
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
# ^^ safe to call this function even if cuda is not available
if is_torch_xla_available():
xm.set_rng_state(seed)随机状态、numpy 的状态、torch、torch 的设备状态,以及如果 TPU 可用则包括 torch_xla 的 cuda 状态。
观察到的批次大小
在使用 Accelerate 进行训练时,传递给 dataloader 的 batch size 是每个 GPU 的 batch size。这意味着,在两个 GPU 上设置 batch size 为 64,实际的 batch size 为 128。因此,在单 GPU 上测试时需要考虑这一点,在 TPU 上也是如此。
下表可作为快速参考,用于尝试不同的批次大小:
在此示例中,“Multi-GPU” 使用两块 GPU,而 TPU pod 包含 8 个 worker
| 单 GPU 批处理大小 | 多 GPU 等效批量大小 | TPU 等效批量大小 |
|---|---|---|
| 256 | 128 | 32 |
| 128 | 64 | 16 |
| 64 | 32 | 8 |
| 32 | 16 | 4 |
学习率
正如多个来源[1][2]所指出的,学习率应根据现有设备数量进行线性缩放。以下代码片段展示了如何使用 Accelerate 实现这一点:
由于用户可以自行定义学习率调度器,我们将其交由用户自行决定是否对学习率进行缩放。
learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes
optimizer = AdamW(params=model.parameters(), lr=learning_rate)您还会发现,accelerate 会根据正在训练的流程数量来调整学习率。这是因为前面提到的观察到的批大小。因此,在 2 个 GPU 的情况下,学习率的调整频率将是单个 GPU 的两倍,以应对批大小翻倍的情况(前提是未对单个 GPU 实例上的批大小进行更改)。
梯度累积与混合精度
在使用梯度累积和混合精度时,由于梯度平均(累积)的工作方式以及精度损失(混合精度),性能出现一定程度的下降是预期之中的。在比较不同计算配置下的逐批次损失时,这一点会表现得尤为明显。然而,训练结束时的总体损失、指标和整体性能应当大致相同。
Update on GitHub