Accelerate documentation
Menggunakan Local SGD dengan Accelerate
Menggunakan Local SGD dengan Accelerate
Local SGD adalah teknik untuk pelatihan terdistribusi di mana gradien tidak disinkronkan setiap langkah. Dengan demikian, setiap proses memperbarui versi bobot modelnya sendiri, dan setelah sejumlah langkah tertentu, bobot-bobot ini disinkronkan dengan cara merata-rata di seluruh proses. Hal ini meningkatkan efisiensi komunikasi dan dapat menghasilkan percepatan pelatihan yang signifikan, terutama ketika komputer tidak memiliki interkoneksi yang lebih cepat seperti NVLink. Berbeda dengan akumulasi gradien (di mana meningkatkan efisiensi komunikasi memerlukan peningkatan ukuran batch efektif), Local SGD tidak memerlukan perubahan ukuran batch atau laju pembelajaran / jadwal. Namun, jika diperlukan, Local SGD juga dapat dikombinasikan dengan akumulasi gradien.
Pada tutorial ini, Anda akan melihat cara mengatur Local SGD Accelerate dengan cepat. Dibandingkan dengan pengaturan Accelerate standar, ini hanya membutuhkan dua baris kode tambahan.
Contoh ini akan menggunakan loop pelatihan PyTorch yang sangat sederhana yang melakukan akumulasi gradien setiap dua batch:
device = "cuda"
model.to(device)
gradient_accumulation_steps = 2
for index, batch in enumerate(training_dataloader):
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss = loss / gradient_accumulation_steps
loss.backward()
if (index + 1) % gradient_accumulation_steps == 0:
optimizer.step()
scheduler.step()
optimizer.zero_grad()Mengonversinya ke Accelerate
Pertama, kode yang ditunjukkan sebelumnya akan dikonversi untuk menggunakan Accelerate tanpa helper LocalSGD maupun akumulasi gradien:
+ from accelerate import Accelerator
+ accelerator = Accelerator()
+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+ model, optimizer, training_dataloader, scheduler
+ )
for index, batch in enumerate(training_dataloader):
inputs, targets = batch
- inputs = inputs.to(device)
- targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss = loss / gradient_accumulation_steps
+ accelerator.backward(loss)
if (index+1) % gradient_accumulation_steps == 0:
optimizer.step()
scheduler.step()Membiarkan Accelerate menangani sinkronisasi model
Yang tersisa sekarang adalah membiarkan Accelerate menangani sinkronisasi parameter model dan akumulasi gradien untuk kita. Untuk kesederhanaan, mari kita asumsikan kita perlu melakukan sinkronisasi setiap 8 langkah. Hal ini
dicapai dengan menambahkan satu pernyataan with LocalSGD dan satu pemanggilan local_sgd.step() setelah setiap langkah optimizer:
+local_sgd_steps=8
+with LocalSGD(accelerator=accelerator, model=model, local_sgd_steps=8, enabled=True) as local_sgd:
for batch in training_dataloader:
with accelerator.accumulate(model):
inputs, targets = batch
outputs = model(inputs)
loss = loss_function(outputs, targets)
accelerator.backward(loss)
optimizer.step()
scheduler.step()
optimizer.zero_grad()
+ local_sgd.step()Di balik layar, kode Local SGD menonaktifkan sinkronisasi gradien otomatis (tetapi akumulasi tetap berfungsi seperti yang diharapkan!). Sebagai gantinya, kode ini merata-ratakan parameter model setiap local_sgd_steps langkah (serta di akhir loop pelatihan).
Keterbatasan
Implementasi saat ini hanya berfungsi dengan pelatihan multi-GPU (atau multi-CPU) dasar tanpa, misalnya, DeepSpeed.
Referensi
Meskipun kami tidak mengetahui asal-usul sebenarnya dari pendekatan sederhana ini, ide SGD lokal cukup tua dan dapat ditelusuri kembali setidaknya ke:
Zhang, J., De Sa, C., Mitliagkas, I., & Ré, C. (2016). Parallel SGD: When does averaging help?. arXiv preprint arXiv:1606.07365.
Kami mengaitkan istilah Local SGD dengan makalah berikut (namun mungkin ada referensi lebih awal yang tidak kami ketahui).
Stich, Sebastian Urban. “Local SGD Converges Fast and Communicates Little.” ICLR 2019-International Conference on Learning Representations. No. CONF. 2019.
Update on GitHub