Accelerate documentation

Accelerate

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Accelerate

Accelerate é uma biblioteca que permite executar o mesmo código de PyTorch em qualquer configuração distribuída adicionando apenas quatro linhas de código! Em resumo, treinamento e inferência em escala simplificados, eficientes e adaptáveis.

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

Construído sobre torch_xla e torch.distributed, o Accelerate cuida do trabalho pesado, para que você não precise escrever nenhum código personalizado para se adaptar a essas plataformas. Converta bases de código existentes para utilizar DeepSpeed, executar fully sharded data parallelism e ter suporte automático para treinamento em precisão mista!

Para ter uma melhor ideia desse processo, confira os Tutoriais!

Em seguida, esse código pode ser executado em qualquer sistema por meio da interface de linha de comando (CLI) do Accelerate:

accelerate launch {my_script.py}
Update on GitHub