Accelerate documentation

Çalıştırma süreci

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Çalıştırma süreci

Dağıtık eğitim sistemleriyle çalışırken, süreçlerin GPU'lar arasında nasıl ve ne zaman yürütüleceğini yönetmek önemlidir. Bazı süreçler diğerlerinden daha hızlı tamamlanır ve bazı süreçler, diğerleri henüz tamamlanmadıysa başlatılmamalıdır. Accelerate, tüm cihazlar arasında her şeyin senkronize kalmasını sağlamak için süreçlerin ne zaman yürütüleceğini koordine etme araçları sunar.

Bu eğitim, bir süreci yalnızca bir makinede nasıl çalıştıracağınızı ve tüm süreçlerin belirli bir noktaya ulaşana kadar çalıştırmanın nasıl erteleneceğini öğretecektir.

Tek bir işlemde çalıştır

Bazı kodlar, belirli bir makinede yalnızca bir kez çalıştırılmalıdır; örneğin, bir günlük ifadesi yazdırma veya yerel ana süreçte yalnızca bir ilerleme çubuğu gösterme.

ifadeler
function

Bir kez çalıştırılması gereken kodu belirtmek için accelerator.is_local_main_process kullanmalısınız.

from tqdm.auto import tqdm

progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)

Bir ifadeyi accelerator.is_local_main_process ile sarmalayabilirsiniz.

accelerator.is_local_main_process içinde sarmalanmamış bağımsız print ifadeleri için, her işlemde yalnızca bir kez yazdırma yapmak üzere print ifadesini Accelerate'in print() yöntemiyle değiştirin.

if accelerator.is_local_main_process:
    print("Accelerate is the best")

Ayrıca, Accelerate’i, makine sayısından bağımsız olarak kodu tüm süreçlerde bir kez çalıştırmaya yönlendirebilirsiniz. Bu, nihai bir modeli Hub’a yüklerken işe yarar.

ifade
function

Tüm süreçler arasında yalnızca bir kez çalıştırılması gereken kodu belirtmek için accelerator.is_main_process kullanmalısınız.

if accelerator.is_main_process:
    repo.push_to_hub()

Belirli bir işlemde çalıştır

Accelerate, yalnızca belirli bir işlemde veya yerel işlem dizininde çalıştırılması gereken işlevleri çalıştırmanıza da yardımcı olabilir.

belirli bir süreç
yerel süreç

Bir fonksiyonu belirli bir süreç üzerinde çalıştırmak için on_process() yöntemini kullanın ve çalıştırılacak süreç dizinini belirtin.

@accelerator.on_process(process_index=0)
def do_my_thing():
    "Something done on process index 0"
    do_thing_on_index_zero()

Yürütme erteleme

Betiklerinizi aynı anda birden fazla GPU üzerinde çalıştırdığınızda, bazı kodlar diğerlerinden daha hızlı çalışabilir. Bir sonraki talimat setini çalıştırmadan önce tüm süreçlerin belirli bir noktaya ulaşmasını beklemeniz gerekebilir. Örneğin, her sürecin eğitimle ilgili işlemlerini tamamladığından emin olmadan model kaydetmemelisiniz.

Bunu yapmak için kodunuza wait_for_everyone() ekleyin. Bu, önce biten tüm süreçlerin, kalan tüm süreçler aynı noktaya ulaşana kadar devam etmesini engeller (tek bir GPU veya CPU üzerinde çalışıyorsanız bunun bir etkisi yoktur).

accelerator.wait_for_everyone()
Update on GitHub