Accelerate documentation
Proceso de ejecución
Proceso de ejecución
Al trabajar con sistemas de entrenamiento distribuido, es importante gestionar cómo y cuándo se ejecutan los procesos en las GPU. Algunos procesos se completan más rápido que otros, y algunos procesos no deberían comenzar si otros aún no han terminado. Accelerate proporciona herramientas para orquestar cuándo se ejecutan los procesos para garantizar que todo permanezca sincronizado en todos los dispositivos.
En este tutorial aprenderás a ejecutar un proceso en una sola máquina y a retrasar la ejecución hasta que todos los procesos hayan alcanzado un punto determinado.
Ejecutar en un solo proceso
Código específico solo necesita ejecutarse una vez en una máquina dada, como imprimir una declaración de registro o mostrar solo una barra de progreso en el proceso principal local.
Debes usar accelerator.is_local_main_process para indicar el código que debe ejecutarse solo una vez.
from tqdm.auto import tqdm
progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)También puede envolver una declaración con accelerator.is_local_main_process.
Para las sentencias
accelerator.is_local_main_process, reemplace
if accelerator.is_local_main_process:
print("Accelerate is the best")Para una función que debe ejecutarse solo una vez, use on_local_main_process().
@accelerator.on_local_main_process
def do_my_thing():
"Something done once per server"
do_thing_once_per_server()También puede indicar a Accelerate que ejecute el código una sola vez en todos los procesos, independientemente del número de máquinas. Esto es útil si está subiendo un modelo final al Hub.
Debe usar accelerator.is_main_process para indicar el código que debe ejecutarse solo una vez en todos los procesos.
if accelerator.is_main_process:
repo.push_to_hub()Para una función que debe ejecutarse solo una vez en todos los procesos, use on_main_process().
@accelerator.on_main_process
def do_my_thing():
"Something done once per server"
do_thing_once()Ejecutar en un proceso específico
Accelerate también puede ayudarte a ejecutar funciones que deben ejecutarse solo en un proceso específico o en un índice de proceso local.
Use el método on_process() y especifique el índice del proceso en el que ejecutar una función.
@accelerator.on_process(process_index=0)
def do_my_thing():
"Something done on process index 0"
do_thing_on_index_zero()Use the on_local_process() method and specify the local process index to execute a function on.
@accelerator.on_local_process(local_process_idx=0)
def do_my_thing():
"Something done on process index 0 on each server"
do_thing_on_index_zero_on_each_server()Diferir la ejecución
Cuando ejecutas tu script en varias GPUs al mismo tiempo, es posible que parte del código se ejecute más rápido que otra. Es posible que necesites esperar a que todos los procesos lleguen a un punto determinado antes de ejecutar el siguiente conjunto de instrucciones. Por ejemplo, no debes guardar un modelo antes de asegurarte de que todos los procesos hayan terminado con el entrenamiento.
Para hacer esto, añade wait_for_everyone() en tu código. Esto bloquea a todos los procesos que han terminado primero para que no continúen hasta que todos los procesos restantes hayan alcanzado el mismo punto (esto no tiene efecto si estás ejecutando en una sola GPU o CPU).
accelerator.wait_for_everyone()