Accelerate documentation
Proses eksekusi
Proses eksekusi
Saat bekerja dengan sistem pelatihan terdistribusi, penting untuk mengelola bagaimana dan kapan proses dieksekusi di seluruh GPU. Beberapa proses selesai lebih cepat daripada yang lain, dan beberapa proses tidak boleh dimulai jika proses lain belum selesai. Accelerate menyediakan alat untuk mengorkestrasi kapan proses dieksekusi guna memastikan semuanya tetap tersinkronisasi di semua perangkat.
Tutorial ini akan mengajarkan Anda cara mengeksekusi proses hanya pada satu mesin dan cara menunda eksekusi hingga semua proses mencapai titik tertentu.
Jalankan pada satu proses
Beberapa kode hanya perlu dijalankan sekali pada mesin tertentu, seperti mencetak pernyataan log atau hanya menampilkan satu bilah progres pada proses utama lokal.
Anda harus menggunakan accelerator.is_local_main_process untuk menunjukkan kode yang hanya harus dieksekusi sekali.
from tqdm.auto import tqdm
progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)Anda juga dapat membungkus sebuah pernyataan dengan accelerator.is_local_main_process.
Untuk pernyataan
accelerator.is_local_main_process, ganti
if accelerator.is_local_main_process:
print("Accelerate is the best")Untuk fungsi yang hanya harus dieksekusi sekali, gunakan on_local_main_process().
@accelerator.on_local_main_process
def do_my_thing():
"Something done once per server"
do_thing_once_per_server()Anda juga dapat mengarahkan Accelerate untuk mengeksekusi kode sekali di seluruh semua proses terlepas dari jumlah mesin. Ini berguna jika Anda mengunggah model akhir ke Hub.
Anda harus menggunakan accelerator.is_main_process untuk menunjukkan kode yang hanya harus dieksekusi sekali di seluruh proses.
if accelerator.is_main_process:
repo.push_to_hub()Untuk fungsi yang hanya harus dieksekusi sekali di semua proses, gunakan on_main_process().
@accelerator.on_main_process
def do_my_thing():
"Something done once per server"
do_thing_once()Jalankan pada proses tertentu
Accelerate juga dapat membantu Anda menjalankan fungsi yang seharusnya hanya dieksekusi pada proses tertentu atau indeks proses lokal tertentu.
Gunakan metode on_process() dan tentukan indeks proses untuk menjalankan fungsi pada proses tersebut.
@accelerator.on_process(process_index=0)
def do_my_thing():
"Something done on process index 0"
do_thing_on_index_zero()Gunakan metode on_local_process() dan tentukan indeks proses lokal untuk menjalankan fungsi pada proses tersebut.
@accelerator.on_local_process(local_process_idx=0)
def do_my_thing():
"Something done on process index 0 on each server"
do_thing_on_index_zero_on_each_server()Tunda eksekusi
Saat Anda menjalankan skrip Anda di beberapa GPU secara bersamaan, sebagian kode mungkin dieksekusi lebih cepat daripada yang lain. Anda mungkin perlu menunggu hingga semua proses mencapai titik tertentu sebelum mengeksekusi set instruksi berikutnya. Misalnya, Anda tidak boleh menyimpan model sebelum memastikan setiap proses telah selesai melakukan pelatihan.
Untuk melakukan ini, tambahkan wait_for_everyone() di kode Anda. Ini memblokir semua proses yang selesai lebih dulu untuk melanjutkan sampai semua proses lainnya mencapai titik yang sama (hal ini tidak berpengaruh jika Anda menjalankan di satu GPU atau CPU).
accelerator.wait_for_everyone()