# AccelerateでのLocal SGDの使用

Local SGDは、分散学習における手法であり、各ステップで勾配を同期しません。そのため、各プロセスは独自のモデル重みのバージョンを更新し、所定のステップ数後に、すべてのプロセス間で重みを平均化して同期します。これにより通信効率が向上し、NVLinkのような高速なインターコネクトを備えていないコンピュータでは、特に大幅な学習速度の向上が期待できます。勾配の蓄積（通信効率の向上には実効バッチサイズを増やす必要があります）とは異なり、Local SGDではバッチサイズや学習率/スケジュールの変更は不要です。ただし、必要に応じて、Local SGDは勾配の蓄積と組み合わせて使用することもできます。

このチュートリアルでは、Local SGD Accelerateを素早くセットアップする方法を学びます。標準的なAccelerateのセットアップと比較して、追加で必要なのはわずか2行のコードだけです。

この例では、2バッチごとに勾配蓄積を実行する非常にシンプルなPyTorchの学習ループを使用します：

```python
device = "cuda"
model.to(device)

gradient_accumulation_steps = 2

for index, batch in enumerate(training_dataloader):
    inputs, targets = batch
    inputs = inputs.to(device)
    targets = targets.to(device)
    outputs = model(inputs)
    loss = loss_function(outputs, targets)
    loss = loss / gradient_accumulation_steps
    loss.backward()
    if (index + 1) % gradient_accumulation_steps == 0:
        optimizer.step()
        scheduler.step()
        optimizer.zero_grad()
```

## Accelerate への変換

まず、前述のコードを、LocalSGDも勾配蓄積ヘルパーも使用しないAccelerateで利用する形に変換します。

```diff
+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for index, batch in enumerate(training_dataloader):
      inputs, targets = batch
-     inputs = inputs.to(device)
-     targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
      loss = loss / gradient_accumulation_steps
+     accelerator.backward(loss)
      if (index+1) % gradient_accumulation_steps == 0:
          optimizer.step()
          scheduler.step()
```

## Accelerateによるモデル同期の処理 

残りの作業は、Accelerate にモデルパラメータの同期 **と** グラデーションの蓄積を処理させることです。簡略化のため、8 ステップごとに同期が必要であると仮定します。これは、1 つの `with LocalSGD` 文を追加し、オプティマイザのステップの後に `local_sgd.step()` を 1 回呼び出すことで実現できます。

```diff
+local_sgd_steps=8

+with LocalSGD(accelerator=accelerator, model=model, local_sgd_steps=8, enabled=True) as local_sgd:
    for batch in training_dataloader:
        with accelerator.accumulate(model):
            inputs, targets = batch
            outputs = model(inputs)
            loss = loss_function(outputs, targets)
            accelerator.backward(loss)
            optimizer.step()
            scheduler.step()
            optimizer.zero_grad()
+           local_sgd.step()
```

内部では、Local SGD のコードは**自動的な勾配同期を無効にします**（ただし、勾配の累積は引き続き期待通りに動作します）。代わりに、`local_sgd_steps` ステップごとに（およびトレーニングループの終了時に）モデルのパラメータを平均化します。

## 制限事項

現在の実装は、[DeepSpeed](https://github.com/deepspeedai/DeepSpeed)などを含まない基本的なマルチGPU（またはマルチCPU）トレーニングでのみ動作します。

## 参考文献

    このシンプルなアプローチの真の起源については把握していませんが、ローカルSGDのアイデアは古く、少なくとも以下の文献に遡ります：

    Zhang, J., De Sa, C., Mitliagkas, I., & Ré, C. (2016). [Parallel SGD: When does averaging help?. arXiv preprint arXiv:1606.07365.](https://huggingface.co/papers/1606.07365)

    Local SGDという用語は、以下の論文に由来します（より古い参考文献が存在する可能性もありますが、我々はそれについて把握していません）。

    Stich, Sebastian Urban. [「Local SGD Converges Fast and Communicates Little.」ICLR 2019-International Conference on Learning Representations. No. CONF. 2019.](https://huggingface.co/papers/1805.09767)

