Accelerate documentation

Proceso de ejecución

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Proceso de ejecución

Al trabajar con sistemas de entrenamiento distribuido, es importante gestionar cómo y cuándo se ejecutan los procesos en las GPU. Algunos procesos se completan más rápido que otros, y algunos procesos no deberían comenzar si otros aún no han terminado. Accelerate proporciona herramientas para orquestar cuándo se ejecutan los procesos para garantizar que todo permanezca sincronizado en todos los dispositivos.

En este tutorial aprenderás a ejecutar un proceso en una sola máquina y a retrasar la ejecución hasta que todos los procesos hayan alcanzado un punto determinado.

Ejecutar en un solo proceso

Código específico solo necesita ejecutarse una vez en una máquina dada, como imprimir una declaración de registro o mostrar solo una barra de progreso en el proceso principal local.

declaraciones
función

Debes usar accelerator.is_local_main_process para indicar el código que debe ejecutarse solo una vez.

from tqdm.auto import tqdm

progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)

También puede envolver una declaración con accelerator.is_local_main_process.

Para las sentencias print independientes que no están envueltas en accelerator.is_local_main_process, reemplace print por el método print() de Accelerate para imprimir solo una vez por proceso.

if accelerator.is_local_main_process:
    print("Accelerate is the best")

También puede indicar a Accelerate que ejecute el código una sola vez en todos los procesos, independientemente del número de máquinas. Esto es útil si está subiendo un modelo final al Hub.

statement
función

Debe usar accelerator.is_main_process para indicar el código que debe ejecutarse solo una vez en todos los procesos.

if accelerator.is_main_process:
    repo.push_to_hub()

Ejecutar en un proceso específico

Accelerate también puede ayudarte a ejecutar funciones que deben ejecutarse solo en un proceso específico o en un índice de proceso local.

proceso específico
proceso local

Use el método on_process() y especifique el índice del proceso en el que ejecutar una función.

@accelerator.on_process(process_index=0)
def do_my_thing():
    "Something done on process index 0"
    do_thing_on_index_zero()

Diferir la ejecución

Cuando ejecutas tu script en varias GPUs al mismo tiempo, es posible que parte del código se ejecute más rápido que otra. Es posible que necesites esperar a que todos los procesos lleguen a un punto determinado antes de ejecutar el siguiente conjunto de instrucciones. Por ejemplo, no debes guardar un modelo antes de asegurarte de que todos los procesos hayan terminado con el entrenamiento.

Para hacer esto, añade wait_for_everyone() en tu código. Esto bloquea a todos los procesos que han terminado primero para que no continúen hasta que todos los procesos restantes hayan alcanzado el mismo punto (esto no tiene efecto si estás ejecutando en una sola GPU o CPU).

accelerator.wait_for_everyone()
Update on GitHub