Accelerate documentation

Полностью шардированная параллельная обработка данных

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Полностью шардированная параллельная обработка данных

Чтобы ускорить обучение огромных моделей с большими размерами батчей, можно использовать модель с полным шардированием данных (fully sharded data parallel). Этот тип параллельной парадигмы позволяет размещать больше данных и более крупные модели за счёт шардирования состояний оптимизатора, градиентов и параметров. Чтобы узнать об этом подробнее и о преимуществах, ознакомьтесь с блогом о Fully Sharded Data Parallel. Мы интегрировали новейшую функцию обучения PyTorch — Fully Sharded Data Parallel (FSDP). Вам нужно лишь включить её через конфигурацию.

Как это работает из коробки

На вашем(их) компьютере(ах) просто выполните:

accelerate config

и отвечайте на задаваемые вопросы. Это создаст файл конфигурации, который будет автоматически использоваться для корректной настройки параметров по умолчанию при выполнении

accelerate launch my_script.py --args_to_my_script

Например, вот как запустить examples/nlp_example.py (из корня репозитория) с включённым FSDP:

compute_environment: LOCAL_MACHINE
debug: false
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_backward_prefetch_policy: BACKWARD_PRE
  fsdp_forward_prefetch: false
  fsdp_cpu_ram_efficient_loading: true
  fsdp_offload_params: false
  fsdp_sharding_strategy: FULL_SHARD
  fsdp_state_dict_type: SHARDED_STATE_DICT
  fsdp_sync_module_states: true
  fsdp_transformer_layer_cls_to_wrap: BertLayer
  fsdp_use_orig_params: true
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: false
accelerate launch examples/nlp_example.py

В настоящее время Accelerate поддерживает следующие конфигурации через CLI:

fsdp_sharding_strategy: [1] FULL_SHARD (разбивает состояния оптимизатора, градиенты и параметры), [2] SHARD_GRAD_OP (разбивает состояния оптимизатора и градиенты), [3] NO_SHARD (DDP), [4] HYBRID_SHARD (разбивает состояния оптимизатора, градиенты и параметры внутри каждого узла, при этом каждый узел хранит полную копию), [5] HYBRID_SHARD_ZERO2 (разбивает состояния оптимизатора и градиенты внутри каждого узла, при этом каждый узел хранит полную копию). Подробнее см. в официальной документации PyTorch.

fsdp_offload_params : Определяет, следует ли выгружать параметры и градиенты на CPU

fsdp_auto_wrap_policy: [1] TRANSFORMER_BASED_WRAP, [2] SIZE_BASED_WRAP, [3] NO_WRAP

fsdp_transformer_layer_cls_to_wrap: Применимо только для Transformers. При использовании fsdp_auto_wrap_policy=TRANSFORMER_BASED_WRAP пользователь может указать строку с именами классов слоев трансформера (с учетом регистра), разделенными запятыми, для упаковки, например, BertLayer, GPTJBlock, T5Block, BertLayer,BertEmbeddings,BertSelfOutput. Это важно, так как подмодули, разделяющие веса (например, слои эмбеддингов), не должны попадать в разные единицы упаковки FSDP. При использовании этой политики упаковка выполняется для каждого блока, содержащего Multi-Head Attention, за которым следуют несколько слоев MLP. Остальные слои, включая общие эмбеддинги, удобно упаковываются в ту же внешнюю единицу FSDP. Следовательно, используйте это для моделей на основе трансформеров. Вы можете использовать model._no_split_modules для моделей Transformers, ответив yes на вопрос Do you want to use the model's_no_split_modulesto wrap. It will try to usemodel._no_split_modules` when possible.

fsdp_min_num_params: минимальное количество параметров при использовании fsdp_auto_wrap_policy=SIZE_BASED_WRAP.

fsdp_backward_prefetch_policy: [1] BACKWARD_PRE, [2] BACKWARD_POST, [3] NO_PREFETCH

fsdp_forward_prefetch: если True, FSDP явно предзагружает следующий all-gather во время выполнения прямого прохода. Следует использовать только для моделей со статическим графом, так как предзагрузка следует порядку выполнения первой итерации. То есть, если порядок подмодулей динамически меняется во время выполнения модели, не включайте эту функцию.

fsdp_state_dict_type: [1] FULL_STATE_DICT, [2] LOCAL_STATE_DICT, [3] SHARDED_STATE_DICT

fsdp_use_orig_params: Если установлено в True, разрешает неравномерное requires_grad при инициализации, что означает поддержку чередующихся замороженных и обучаемых параметров. Эта настройка полезна в таких случаях, как параметрически эффективная дообучение, описанная в этом посте. Этот параметр также позволяет иметь несколько групп параметров оптимизатора. Он должен быть True при создании оптимизатора до подготовки/обёртки модели с помощью FSDP.

fsdp_cpu_ram_efficient_loading: Применимо только к моделям Transformers. Если установлено значение True, предобученную контрольную точку модели загружает только первый процесс, а все остальные процессы имеют пустые веса. Если при загрузке предобученной модели Transformers с помощью метода from_pretrained возникают ошибки, установите для этого параметра значение False. Если для этого параметра установлено значение True, для fsdp_sync_module_states также должно быть установлено значение True, иначе все процессы, кроме основного, будут иметь случайные веса, что приведёт к непредсказуемому поведению во время обучения. Чтобы это работало, убедитесь, что группа распределённых процессов инициализирована до вызова метода from_pretrained в Transformers. При использовании API Trainer группа распределённых процессов инициализируется при создании экземпляра класса TrainingArguments.

fsdp_sync_module_states: если True, каждая индивидуально обернутая единица FSDP будет рассылать параметры модуля с ранга 0.

Для дополнительного и более тонкого управления вы можете указать другие параметры FSDP через FullyShardedDataParallelPlugin. При создании объекта FullyShardedDataParallelPlugin передайте ему параметры, которые не входили в конфигурацию accelerate, или те, которые вы хотите переопределить. Параметры FSDP будут выбраны на основе файла конфигурации accelerate или аргументов команды запуска, а другие параметры, которые вы передадите непосредственно через объект FullyShardedDataParallelPlugin, установят или переопределят их.

Ниже приведен пример:

from accelerate import FullyShardedDataParallelPlugin
from torch.distributed.fsdp.fully_sharded_data_parallel import FullOptimStateDictConfig, FullStateDictConfig

fsdp_plugin = FullyShardedDataParallelPlugin(
    state_dict_config=FullStateDictConfig(offload_to_cpu=False, rank0_only=False),
    optim_state_dict_config=FullOptimStateDictConfig(offload_to_cpu=False, rank0_only=False),
)

accelerator = Accelerator(fsdp_plugin=fsdp_plugin)

Сохранение и загрузка

Новый рекомендуемый способ создания контрольных точек при использовании моделей FSDP — использовать SHARDED_STATE_DICT в качестве StateDictType при настройке конфигурации accelerate. Ниже приведён фрагмент кода для сохранения с использованием утилиты save_state accelerate.

accelerator.save_state("ckpt")

Осмотрите папку контрольной точки, чтобы увидеть модель и оптимизатор в виде фрагментов для каждого процесса:

ls ckpt
# optimizer_0  pytorch_model_0  random_states_0.pkl  random_states_1.pkl  scheduler.bin

cd ckpt

ls optimizer_0
# __0_0.distcp  __1_0.distcp

ls pytorch_model_0
# __0_0.distcp  __1_0.distcp

Чтобы загрузить их обратно для возобновления обучения, используйте утилиту load_state из accelerate

accelerator.load_state("ckpt")

При использовании save_pretrained из transformers передайте state_dict=accelerator.get_state_dict(model), чтобы сохранить state dict модели. Пример:

  unwrapped_model.save_pretrained(
      args.output_dir,
      is_main_process=accelerator.is_main_process,
      save_function=accelerator.save,
+     state_dict=accelerator.get_state_dict(model),
)

State Dict

accelerator.get_state_dict вызывает базовую реализацию model.state_dict, используя контекстный менеджер FullStateDictConfig(offload_to_cpu=True, rank0_only=True), чтобы получить state dict только для rank 0, который будет выгружен в CPU.

Затем вы можете передать state в метод save_pretrained. Для StateDictType и FullStateDictConfig существует несколько режимов, которые позволяют управлять поведением state_dict. Подробнее см. в документации PyTorch.

Если вы выберете использование StateDictType.SHARDED_STATE_DICT, веса модели при вызове Accelerator.save_state будут разделены на n файлов для каждого под-раздела модели. Чтобы объединить их обратно в единый словарь для последующей загрузки в модель после обучения, вы можете использовать утилиту merge_weights:

from accelerate.utils import merge_fsdp_weights

# Our weights are saved usually in a `pytorch_model_fsdp_{model_number}` folder
merge_fsdp_weights("pytorch_model_fsdp_0", "output_path", safe_serialization=True)

Итоговый результат будет сохранён в model.safetensors или pytorch_model.bin (если передано safe_serialization=False).

Это также можно выполнить с помощью CLI:

accelerate merge-weights pytorch_model_fsdp_0/ output_path

Соответствие между стратегиями шардирования FSDP и этапами ZeRO DeepSpeed

  • FULL_SHARD соответствует ZeRO Stage-3 в DeepSpeed. Разделяет состояния оптимизатора, градиенты и параметры.
  • SHARD_GRAD_OP соответствует ZeRO Stage-2 в DeepSpeed. Разделяет состояния оптимизатора и градиенты.
  • NO_SHARD соответствует ZeRO Stage-0. Шундирование отсутствует: на каждом GPU хранится полная копия модели, состояний оптимизатора и градиентов.
  • HYBRID_SHARD соответствует ZeRO++ Stage-3, где zero_hpz_partition_size=<num_gpus_per_node>. В этом случае состояния оптимизатора, градиенты и параметры разделяются внутри каждого узла, при этом каждый узел хранит полную копию.

Несколько важных оговорок

  • Если используется несколько моделей, передавайте оптимизаторы в вызов prepare в том же порядке, что и соответствующие модели, иначе accelerator.save_state() и accelerator.load_state() приведут к неправильному или непредсказуемому поведению.
  • Эта функция несовместима с --predict_with_generate в скрипте run_translation.py библиотеки Transformers.

Для более тонкого управления пользователи могут использовать FullyShardedDataParallelPlugin. После создания экземпляра этого класса его можно передать при инициализации класса Accelerator. Подробнее об этих вариантах см. в коде PyTorch FullyShardedDataParallel.

Для тех, кто интересуется сходствами и различиями между FSDP и DeepSpeed, ознакомьтесь с концептуальным руководством здесь!

Update on GitHub