Accelerate documentation

Proses eksekusi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Proses eksekusi

Saat bekerja dengan sistem pelatihan terdistribusi, penting untuk mengelola bagaimana dan kapan proses dieksekusi di seluruh GPU. Beberapa proses selesai lebih cepat daripada yang lain, dan beberapa proses tidak boleh dimulai jika proses lain belum selesai. Accelerate menyediakan alat untuk mengorkestrasi kapan proses dieksekusi guna memastikan semuanya tetap tersinkronisasi di semua perangkat.

Tutorial ini akan mengajarkan Anda cara mengeksekusi proses hanya pada satu mesin dan cara menunda eksekusi hingga semua proses mencapai titik tertentu.

Jalankan pada satu proses

Beberapa kode hanya perlu dijalankan sekali pada mesin tertentu, seperti mencetak pernyataan log atau hanya menampilkan satu bilah progres pada proses utama lokal.

pernyataan
function

Anda harus menggunakan accelerator.is_local_main_process untuk menunjukkan kode yang hanya harus dieksekusi sekali.

from tqdm.auto import tqdm

progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)

Anda juga dapat membungkus sebuah pernyataan dengan accelerator.is_local_main_process.

Untuk pernyataan print mandiri yang tidak dibungkus dalam accelerator.is_local_main_process, ganti print dengan metode print() Accelerate agar hanya mencetak sekali per proses.

if accelerator.is_local_main_process:
    print("Accelerate is the best")

Anda juga dapat mengarahkan Accelerate untuk mengeksekusi kode sekali di seluruh semua proses terlepas dari jumlah mesin. Ini berguna jika Anda mengunggah model akhir ke Hub.

statement
function

Anda harus menggunakan accelerator.is_main_process untuk menunjukkan kode yang hanya harus dieksekusi sekali di seluruh proses.

if accelerator.is_main_process:
    repo.push_to_hub()

Jalankan pada proses tertentu

Accelerate juga dapat membantu Anda menjalankan fungsi yang seharusnya hanya dieksekusi pada proses tertentu atau indeks proses lokal tertentu.

proses tertentu
proses lokal

Gunakan metode on_process() dan tentukan indeks proses untuk menjalankan fungsi pada proses tersebut.

@accelerator.on_process(process_index=0)
def do_my_thing():
    "Something done on process index 0"
    do_thing_on_index_zero()

Tunda eksekusi

Saat Anda menjalankan skrip Anda di beberapa GPU secara bersamaan, sebagian kode mungkin dieksekusi lebih cepat daripada yang lain. Anda mungkin perlu menunggu hingga semua proses mencapai titik tertentu sebelum mengeksekusi set instruksi berikutnya. Misalnya, Anda tidak boleh menyimpan model sebelum memastikan setiap proses telah selesai melakukan pelatihan.

Untuk melakukan ini, tambahkan wait_for_everyone() di kode Anda. Ini memblokir semua proses yang selesai lebih dulu untuk melanjutkan sampai semua proses lainnya mencapai titik yang sama (hal ini tidak berpengaruh jika Anda menjalankan di satu GPU atau CPU).

accelerator.wait_for_everyone()
Update on GitHub