Accelerate documentation
Accelerate
Accelerate
Accelerate é uma biblioteca que permite executar o mesmo código de PyTorch em qualquer configuração distribuída adicionando apenas quatro linhas de código! Em resumo, treinamento e inferência em escala simplificados, eficientes e adaptáveis.
+ from accelerate import Accelerator
+ accelerator = Accelerator()
+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+ model, optimizer, training_dataloader, scheduler
+ )
for batch in training_dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
+ accelerator.backward(loss)
optimizer.step()
scheduler.step()Construído sobre torch_xla e torch.distributed, o Accelerate cuida do trabalho pesado, para que você não precise escrever nenhum código personalizado para se adaptar a essas plataformas.
Converta bases de código existentes para utilizar DeepSpeed, executar fully sharded data parallelism e ter suporte automático para treinamento em precisão mista!
Para ter uma melhor ideia desse processo, confira os Tutoriais!
Em seguida, esse código pode ser executado em qualquer sistema por meio da interface de linha de comando (CLI) do Accelerate:
accelerate launch {my_script.py}Aprenda os fundamentos e familiarize-se com o uso do Accelerate. Comece aqui se esta é a sua primeira vez usando o Accelerate!
Guias práticos para ajudar você a alcançar um objetivo específico. Dê uma olhada nestes guias para aprender a usar o Accelerate para resolver problemas do mundo real.
Explicações de alto nível para construir uma melhor compreensão de tópicos importantes, como evitar nuances sutis e armadilhas no treinamento distribuído e no DeepSpeed.
Descrições técnicas de como as classes e os métodos do Accelerate funcionam.