Accelerate documentation
Visão geral
Primeiros passos
Tutoriais
Visão geralAdicione o Accelerate ao seu códigoProcesso de execuçãoTreinamento em TPUIniciando scripts do AccelerateIniciando o treinamento distribuído a partir de Jupyter Notebooks
Guias de como fazer
Accelerate
Comece Aqui!Estimador de memória do modeloQuantização de modelosRastreadores de experimentosProfilerCheckpointingSolução de problemasExemplo Zoo
Treinamento
Acúmulo de gradienteLocal SGDTreinamento de baixa precisão (FP8)DeepSpeedUsando múltiplos modelos com DeepSpeedGanchos de Comunicação DDPParalelismo de Dados Totalmente FragmentadoMegatron-LMAmazon SageMakerGPUs Apple M1CPU IntelIntel GaudiCompilação
Inferência
Conceitos e fundamentos
Mecanismo interno do AccelerateCarregando modelos grandes na memóriaComparando o desempenho em configurações distribuídasExecutando e adiando jobsSincronização de gradientesFSDP vs DeepSpeedFSDP1 vs FSDP2Paralelismo de contextoParalelismo de sequênciaMétodos de treinamento de baixa precisãoTreinamento em TPUs
Referência
AceleradorClasses com estadoA Linha de ComandoDataLoaders, Optimizers, SchedulersRastreadores de experimentosLançadoresUtilitários do DeepSpeedRegistroTrabalhando com modelos grandesHandlers de KwargsFP8Funções e classes utilitáriasUtilitários do Megatron-LMUtilitários de Paralelismo de Dados Totalmente Fragmentados
Visão geral
Bem-vindo aos tutoriais do Accelerate! Estes guias introdutórios ajudarão você a se familiarizar com o uso do Accelerate. Você aprenderá como modificar seu código para que ele funcione de forma integrada com a API, como executar seu script corretamente, e muito mais!
Esses tutoriais pressupõem algum conhecimento básico de Python e familiaridade com o framework PyTorch.
Se você tiver alguma dúvida sobre o Accelerate, sinta-se à vontade para participar e perguntar à comunidade no nosso fórum.
Update on GitHub