Accelerate documentation

Accelerate 的内部机制

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Accelerate 的内部机制

在内部,Accelerate 首先通过分析脚本启动时的环境来确定所使用的分布式设置类型、进程总数以及当前脚本所在的进程。所有这些信息都存储在 ~AcceleratorState 中。

该类在您首次实例化 ~Accelerator 时进行初始化,同时也会执行您的分布式设置所需的任何特定初始化。随后,其状态会通过所有 AcceleratorState 实例唯一地共享。(使用 PartialState 也可以实现相同的功能,它是继承自该类的更精简版本)

然后,在调用 prepare() 时,该库会:

虽然模型、优化器和调度器只是被放入简单的包装器中,但数据加载器会被重新创建。这主要是因为 PyTorch 不允许用户在创建数据加载器后更改其 batch_sampler,而该库通过修改 batch_sampler 来在进程间分片数据,使其每隔 num_processes 个批次产出一个批次(如果已启用)。

DataLoaderShard 继承自 DataLoader,并添加了以下功能:

  • 它会在每次新的迭代中同步所有进程相应的随机数生成器,以确保任何随机化操作(例如洗牌)在所有进程中以完全相同的方式执行。
  • 它会在返回批次之前将其放置到正确的设备上(除非你已选择禁用 device_placement=True)。

DataLoaderDispatcher 子类与 DataLoaderShard 的区别在于,在遍历 DataLoader 时,数据全部从进程 0 开始,然后再拆分并发送到各个进程,而不是在数据集层面进行拆分。

随机数生成器同步默认会同步以下内容:

  • PyTorch >= 1.6 中,给定采样器(例如 PyTorch 的 RandomSampler)的 generator 属性
  • PyTorch <=1.5.1 中的主要随机数生成器

您可以通过主 Accelerator 的 rng_types 参数来选择要同步的随机数生成器。在 PyTorch >= 1.6 中,建议依赖本地的 generator,以避免在所有进程中为主随机数生成器设置相同的种子。

主 torch(或 CUDA 或 XLA)随机数生成器的同步会影响数据集中可能存在的其他随机元素(例如随机数据增强),因为所有进程都会从 torch 随机模块中获取相同的随机数(因此,如果随机数据增强由 torch 控制,它们将应用相同的随机数据增强)。

自定义采样器、批采样器或可迭代数据集中的随机化部分应使用本地的 torch.Generator 对象(在 PyTorch >= 1.6 中)来完成,例如传统的 RandomSampler。

如果您已安装 torchdata>=0.8.0,并在 DataLoaderConfiguration 中传入了 use_stateful_dataloader=True,这些类将直接继承自 StatefulDataLoader,并维护一个 state_dict。

有关内部机制的更多详细信息,请参阅内部机制页面。

Update on GitHub