Accelerate documentation
Обучение на Intel CPU
Обучение на Intel CPU
Как это работает Оптимизация обучения на CPU
Accelerate полностью поддерживает процессоры Intel CPU. Для этого достаточно включить поддержку в конфигурации.
Сценарий 1: Ускорение обучения без распределения на CPU
Выполните accelerate config на вашем компьютере:
$ accelerate config
-----------------------------------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
No distributed training
Do you want to run your training on CPU only (even if a GPU / Apple Silicon device is available)? [yes/NO]:yes
Do you wish to optimize your script with torch dynamo?[yes/NO]:NO
Do you want to use DeepSpeed? [yes/NO]: NO
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Do you wish to use FP16 or BF16 (mixed precision)?
bf16Это создаст файл конфигурации, который будет автоматически использоваться для корректной настройки параметров по умолчанию при выполнении
accelerate launch my_script.py --args_to_my_script
Например, чтобы запустить пример NLP examples/nlp_example.py (из корня репозитория) с default_config.yaml, который генерируется командой accelerate config, нужно выполнить следующее:
compute_environment: LOCAL_MACHINE
distributed_type: 'NO'
downcast_bf16: 'no'
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 1
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: trueaccelerate launch examples/nlp_example.py
accelerator.prepareв настоящее время может одновременно готовить несколько моделей (без оптимизатора) либо одну пару модель-оптимизатор для обучения. Другие попытки (например, две пары модель-оптимизатор) приведут к подробному сообщению об ошибке. Чтобы обойти это ограничение, рассмотрите возможность отдельного использованияaccelerator.prepareдля каждой пары модель-оптимизатор.
Сценарий 2: Ускорение распределённого обучения на CPU Для коммуникации мы используем Intel oneCCL в сочетании с библиотекой Intel® MPI, что обеспечивает гибкое, эффективное и масштабируемое кластерное сообщение на архитектуре Intel®. С инструкцией по установке можно ознакомиться здесь.
Выполните accelerate config на вашем узле (node0):
$ accelerate config
-----------------------------------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-CPU
How many different machines will you use (use more than 1 for multi-node training)? [1]: 4
-----------------------------------------------------------------------------------------------------------------------------------------------------------
What is the rank of this machine?
0
What is the IP address of the machine that will host the main process? 36.112.23.24
What is the port you will use to communicate with the main process? 29500
Are all the machines on the same local network? Answer `no` if nodes are on the cloud and/or on different network hosts [YES/no]: yes
Do you want accelerate to launch mpirun? [yes/NO]: yes
Please enter the path to the hostfile to use with mpirun [~/hostfile]: ~/hostfile
Enter the number of oneCCL worker threads [1]: 1
Do you wish to optimize your script with torch dynamo?[yes/NO]:NO
How many processes should be used for distributed training? [1]:16
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Do you wish to use FP16 or BF16 (mixed precision)?
bf16Например, вот как запустить пример NLP examples/nlp_example.py (из корня репозитория) для распределённого обучения на CPU.
default_config.yaml, который генерируется командой accelerate config
compute_environment: LOCAL_MACHINE
distributed_type: MULTI_CPU
downcast_bf16: 'no'
machine_rank: 0
main_process_ip: 36.112.23.24
main_process_port: 29500
main_training_function: main
mixed_precision: bf16
mpirun_config:
mpirun_hostfile: /home/user/hostfile
num_machines: 4
num_processes: 16
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: trueУстановите следующие переменные окружения и запустите обучение с использованием intel MPI
В node0 необходимо создать файл конфигурации, содержащий IP-адреса каждого узла (например, hostfile), и передать путь к этому файлу в качестве аргумента.
Если вы выбрали запуск mpirun через Accelerate, убедитесь, что расположение вашего hostfile совпадает с путём в конфигурации.
$ cat hostfile
xxx.xxx.xxx.xxx #node0 ip
xxx.xxx.xxx.xxx #node1 ip
xxx.xxx.xxx.xxx #node2 ip
xxx.xxx.xxx.xxx #node3 ipaccelerate launch examples/nlp_example.py
Вы также можете напрямую запустить распределённое обучение с помощью команды mpirun. Для этого необходимо выполнить следующую команду на node0, после чего на node0, node1, node2 и node3 будет включён режим 16DDP с использованием смешанной точности BF16. При использовании этого метода скрипт Python, окружение Python и файл конфигурации accelerate должны быть доступны на всех машинах, задействованных для обучения на нескольких CPU.
export MASTER_ADDR=xxx.xxx.xxx.xxx #node0 ip
mpirun -f hostfile -n 16 -ppn 4 accelerate launch examples/nlp_example.py