Accelerate documentation

Accelerate'in dahili mekanizmaları

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Accelerate'in dahili mekanizmaları

İçsel olarak Accelerate, çalıştırılan betiğin bulunduğu ortamı analiz ederek hangi tür dağıtık kurulumun kullanıldığını, kaç farklı süreç olduğunu ve mevcut betiğin hangisinde olduğunu belirleyerek çalışır. Tüm bu bilgiler ~AcceleratorState içinde saklanır.

Bu sınıf, bir ~Accelerator örneği oluşturduğunuz ilk anda ve dağıtık kurulumunuzun gerektirdiği her türlü özel başlatmayı gerçekleştirdiğinizde başlatılır. Durumu, ardından AcceleratorState örneklerinin tümü arasında benzersiz bir şekilde paylaşılır. (Aynı işlem, bunun daha sade bir versiyonu olan ve miras aldığı PartialState ile de yapılabilir)

Ardından, prepare() çağrıldığında kütüphane:

Model(ler), optimizator(lar) ve zamanlayıcı(lar) basit sarmalayıcılara yerleştirilirken, veri yükleyici(ler) yeniden oluşturulur. Bunun başlıca nedeni, PyTorch’ün bir veri yükleyicisi oluşturulduktan sonra batch_sampler’ının değiştirilmesine izin vermemesi ve kütüphanenin, (etkinleştirildiyse) bu batch_sampler’ı her num_processes batch’inden birini üretecek şekilde değiştirerek verinizin süreçler arasında paylaştırılmasını yönetmesidir.

DataLoaderShard, DataLoader sınıfını türetir ve aşağıdaki işlevselliği ekler:

  • her yeni yinelemede tüm süreçlerin uygun rastgele sayı üreteçlerini senkronize eder, böylece herhangi bir rastgeleleştirme (karıştırma gibi) süreçler arasında tam olarak aynı şekilde yapılır.
  • batch'leri onlara geçmeden önce doğru cihaza yerleştirir (device_placement=True seçeneğinden vazgeçmedikçe).

DataLoaderDispatcher alt sınıfları, DataLoader üzerinde iterasyon yapılırken verinin önce süreç 0'dan başlatılıp ardından bölünerek her sürece gönderilmesi, bunun veri seti düzeyinde gerçekleşmemesi bakımından DataLoaderShard'dan farklıdır.

Rastgele sayı üreteci senkronizasyonu varsayılan olarak şunları senkronize eder:

  • PyTorch >= 1.6 için belirli bir örnekleyicinin (PyTorch RandomSampler gibi) generator özniteliği
  • PyTorch <=1.5.1'deki ana rastgele sayı üreteci

Ana Accelerator'nin rng_types argümanı ile senkronize edilecek rastgele sayı üreteçlerini seçebilirsiniz. PyTorch >= 1.6'da, tüm süreçlerde ana rastgele sayı üretecinde aynı tohumu ayarlamaktan kaçınmak için yerel bir generator'a güvenilmesi önerilir.

Ana torch (veya CUDA ya da XLA) rastgele sayı üretecinin senkronizasyonu, veri setinizde sahip olabileceğiniz diğer olası rastgele öğeleri (rastgele veri artırma gibi) etkileyecektir; bu, tüm süreçlerin torch rastgele modüllerinden aynı rastgele sayıları alacağı anlamına gelir (dolayısıyla torch tarafından kontrol ediliyorsa aynı rastgele veri artırmayı uygulayacaktır).

Özel örnekleyicinizin, parti örnekleyicinizin veya yinelebilir veri setinizin rastgeleleştirme kısmı, PyTorch >= 1.6'da yerel bir torch.Generator nesnesi kullanılarak yapılmalıdır; örnek olarak geleneksel RandomSampler'a bakın.

torchdata>=0.8.0 yüklüyse ve DataLoaderConfiguration nesnenize use_stateful_dataloader=True parametresini ilettiyseniz, bu sınıflar artık doğrudan StatefulDataLoader sınıfından devralır ve bir state_dict tutar.

Dahili yapı hakkında daha fazla ayrıntı için Dahili Yapılar sayfasına bakın.

Update on GitHub