Accelerate documentation
AccelerateでのLocal SGDの使用
AccelerateでのLocal SGDの使用
Local SGDは、分散学習における手法であり、各ステップで勾配を同期しません。そのため、各プロセスは独自のモデル重みのバージョンを更新し、所定のステップ数後に、すべてのプロセス間で重みを平均化して同期します。これにより通信効率が向上し、NVLinkのような高速なインターコネクトを備えていないコンピュータでは、特に大幅な学習速度の向上が期待できます。 勾配の蓄積とは異なり(通信効率の向上には実効バッチサイズを増やす必要があります)、Local SGDではバッチサイズや学習率/スケジュールの変更は不要です。ただし、必要に応じて、Local SGDを勾配の蓄積と組み合わせて使用することもできます。
このチュートリアルでは、Local SGD Accelerateを素早くセットアップする方法を学びます。標準的なAccelerateのセットアップと比較して、追加で必要なのはわずか2行のコードだけです。
この例では、2バッチごとに勾配蓄積を実行する非常にシンプルなPyTorchの学習ループを使用します:
device = "cuda"
model.to(device)
gradient_accumulation_steps = 2
for index, batch in enumerate(training_dataloader):
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss = loss / gradient_accumulation_steps
loss.backward()
if (index + 1) % gradient_accumulation_steps == 0:
optimizer.step()
scheduler.step()
optimizer.zero_grad()Accelerate への変換
まず、前述のコードを、LocalSGDも勾配蓄積ヘルパーも使用しないAccelerateで利用する形に変換します。
+ from accelerate import Accelerator
+ accelerator = Accelerator()
+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+ model, optimizer, training_dataloader, scheduler
+ )
for index, batch in enumerate(training_dataloader):
inputs, targets = batch
- inputs = inputs.to(device)
- targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss = loss / gradient_accumulation_steps
+ accelerator.backward(loss)
if (index+1) % gradient_accumulation_steps == 0:
optimizer.step()
scheduler.step()Accelerateによるモデル同期の処理
残りの作業は、Accelerate にモデルパラメータの同期 と グラデーションの蓄積を処理させることです。簡略化のため、8 ステップごとに同期が必要であると仮定します。これは、1 つの with LocalSGD 文を追加し、オプティマイザのステップの後に local_sgd.step() を 1 回呼び出すことで実現できます。
+local_sgd_steps=8
+with LocalSGD(accelerator=accelerator, model=model, local_sgd_steps=8, enabled=True) as local_sgd:
for batch in training_dataloader:
with accelerator.accumulate(model):
inputs, targets = batch
outputs = model(inputs)
loss = loss_function(outputs, targets)
accelerator.backward(loss)
optimizer.step()
scheduler.step()
optimizer.zero_grad()
+ local_sgd.step()内部では、Local SGD のコードは自動的な勾配同期を無効にします(ただし、勾配の累積は引き続き期待通りに動作します)。代わりに、local_sgd_steps ステップごとに(およびトレーニングループの終了時に)モデルのパラメータを平均化します。
制限事項
現在の実装は、DeepSpeedなどを含まない基本的なマルチGPU(またはマルチCPU)トレーニングでのみ動作します。
参考文献
このシンプルなアプローチの真の起源については把握していませんが、ローカルSGDのアイデアは古く、少なくとも以下の文献に遡ります:
Zhang, J., De Sa, C., Mitliagkas, I., & Ré, C. (2016). Parallel SGD: When does averaging help?. arXiv preprint arXiv:1606.07365.
Local SGDという用語は、以下の論文に由来します(より古い参考文献が存在する可能性もありますが、我々はそれについて把握していません)。
Stich, Sebastian Urban. “Local SGD Converges Fast and Communicates Little.” ICLR 2019-International Conference on Learning Representations. No. CONF. 2019.
Update on GitHub