Accelerate documentation
Accelerate'in dahili mekanizmaları
Accelerate'in dahili mekanizmaları
İçsel olarak Accelerate, çalıştırılan betiğin bulunduğu ortamı analiz ederek hangi tür dağıtık kurulumun kullanıldığını, kaç farklı süreç olduğunu ve mevcut betiğin hangisinde olduğunu belirleyerek çalışır. Tüm bu bilgiler ~AcceleratorState içinde saklanır.
Bu sınıf, bir ~Accelerator örneği oluşturduğunuz ilk anda ve dağıtık kurulumunuzun gerektirdiği her türlü özel başlatmayı gerçekleştirdiğinizde başlatılır. Durumu, ardından AcceleratorState örneklerinin tümü arasında benzersiz bir şekilde paylaşılır. (Aynı işlem, bunun daha sade bir versiyonu olan ve miras aldığı PartialState ile de yapılabilir)
Ardından, prepare() çağrıldığında kütüphane:
- modelinizi dağıtık yapılandırma için uyarlanmış kapsayıcıya sarar,
- optimizörlerinizi AcceleratedOptimizer içine sarar,
- zamanlayıcı(lar)ınızı AcceleratedScheduler içine sarar
- DataLoaderShard veya DataLoaderDispatcher içinde dataloader'larınızın yeni bir sürümünü oluşturur
Model(ler), optimizator(lar) ve zamanlayıcı(lar) basit sarmalayıcılara yerleştirilirken, veri yükleyici(ler) yeniden oluşturulur. Bunun başlıca nedeni, PyTorch’ün bir veri yükleyicisi oluşturulduktan sonra batch_sampler’ının değiştirilmesine izin vermemesi ve kütüphanenin, (etkinleştirildiyse) bu batch_sampler’ı her num_processes batch’inden birini üretecek şekilde değiştirerek verinizin süreçler arasında paylaştırılmasını yönetmesidir.
DataLoaderShard, DataLoader sınıfını türetir ve aşağıdaki işlevselliği ekler:
- her yeni yinelemede tüm süreçlerin uygun rastgele sayı üreteçlerini senkronize eder, böylece herhangi bir rastgeleleştirme (karıştırma gibi) süreçler arasında tam olarak aynı şekilde yapılır.
- batch'leri onlara geçmeden önce doğru cihaza yerleştirir (
device_placement=Trueseçeneğinden vazgeçmedikçe).
DataLoaderDispatcher alt sınıfları, DataLoader üzerinde iterasyon yapılırken verinin önce süreç 0'dan başlatılıp ardından bölünerek her sürece gönderilmesi, bunun veri seti düzeyinde gerçekleşmemesi bakımından DataLoaderShard'dan farklıdır.
Rastgele sayı üreteci senkronizasyonu varsayılan olarak şunları senkronize eder:
- PyTorch >= 1.6 için belirli bir örnekleyicinin (PyTorch
RandomSamplergibi)generatorözniteliği - PyTorch <=1.5.1'deki ana rastgele sayı üreteci
Ana Accelerator'nin rng_types argümanı ile senkronize edilecek rastgele sayı üreteçlerini seçebilirsiniz. PyTorch >= 1.6'da, tüm süreçlerde ana rastgele sayı üretecinde aynı tohumu ayarlamaktan kaçınmak için yerel bir generator'a güvenilmesi önerilir.
Ana torch (veya CUDA ya da XLA) rastgele sayı üretecinin senkronizasyonu, veri setinizde sahip olabileceğiniz diğer olası rastgele öğeleri (rastgele veri artırma gibi) etkileyecektir; bu, tüm süreçlerin torch rastgele modüllerinden aynı rastgele sayıları alacağı anlamına gelir (dolayısıyla torch tarafından kontrol ediliyorsa aynı rastgele veri artırmayı uygulayacaktır).
Özel örnekleyicinizin, parti örnekleyicinizin veya yinelebilir veri setinizin rastgeleleştirme kısmı, PyTorch >= 1.6'da yerel bir
torch.Generatornesnesi kullanılarak yapılmalıdır; örnek olarak gelenekselRandomSampler'a bakın.
torchdata>=0.8.0 yüklüyse ve DataLoaderConfiguration nesnenize use_stateful_dataloader=True parametresini ilettiyseniz, bu sınıflar artık doğrudan StatefulDataLoader sınıfından devralır ve bir state_dict tutar.
Dahili yapı hakkında daha fazla ayrıntı için Dahili Yapılar sayfasına bakın.
Update on GitHub