# Düşük hassasiyetli eğitim yöntemleri

Yeni donanım türlerinin piyasaya sürülmesi, bu donanımları daha iyi kullanan yeni eğitim paradigmalarının ortaya çıkmasına yol açtı. Şu anda bu, [TransformersEngine](https://github.com/NVIDIA/TransformerEngine) (TE) veya [torchao](https://github.com/pytorch/ao) (yerel PyTorch FP8) gibi paketler kullanılarak 8 bit hassasiyetle eğitim şeklinde gerçekleşmektedir.

Bugün ele alınan konulara giriş için, bu dokümantasyonun düzenli olarak atıfta bulunacağı [düşük hassasiyet kullanım kılavuzunu](../usage_guides/low_precision_training) incelemenizi öneririz.

## Hızlı Bir Grafik

Aşağıda, eğitim sırasında her çözüm için farklı bit hassasiyetlerini gösteren hızlı bir grafik bulunmaktadır:

Optimizasyon Seviyesi | Hesaplama(GEMM) | İletişim | Ağırlık | Ana Ağırlık | Ağırlık Gradyanı | Optimizör Durumları -- | -- | -- | -- | -- | -- | -- FP16 AMP | FP16 | FP32 | FP32 | N/A | FP32 | FP32+FP32 Nvidia TE | FP8 | FP32 | FP32 | N/A | FP32 | FP32+FP32

## `TransformersEngine`

`TransformersEngine`, 8-bit kayan nokta ile eğitim denemelerine yönelik ilk çözümdür. Modeldeki belirli katmanlar için yerinde değiştirilebilir katmanlar kullanarak ve bu katmanların FP8 motorunu, modelin nihai doğruluğunu düşürmeden bit sayısını (örneğin 32'den 8'e) azaltmak için çalışır.

Özellikle, Accelerate aşağıdaki katmanları bulup `TransformersEngine` sürümleriyle değiştirecektir:

* `te.LayerNorm` için `nn.LayerNorm`
* `te.Linear` için `nn.Linear`

Sonuç olarak, katmanlarının çoğu BF16'da, bazı katmanları ise FP8'de olan, bu sayede bellek kullanımını kısmen azaltan bir modele sahip oluyoruz.

Deneyimlerimize göre, `TransformerEngine` kullanıldığında performans kazanımları, modeldeki katmanların büyük çoğunluğu bu iki katmanla değiştirilecek şekilde yapılandırılmadıkça belirgin hale gelmemektedir. Sonuç olarak, parametre sayısı birkaç milyar civarında veya daha yüksek olan yalnızca daha büyük modellerde performans iyileşmeleri gözlemlenmiştir.

`TransformerEngine`, FP8 hesaplamalarının nasıl gerçekleştirileceğini ve bunların ne işe yaradığını özelleştirmek için birçok farklı argüman alabilir. Argümanların tam listesi aşağıda yer almaktadır:

* `margin`: Gradyan ölçeklendirmesi için kullanılacak pay.
* `interval`: Ölçekleme faktörünün ne sıklıkla yeniden hesaplanacağı için kullanılacak aralık.
* `fp8_format``: The format to use for the FP8 recipe. Must be one of `HYBRID` or `E4M3`. (Generally `HYBRID` for training, `E4M3` for evaluation)
* `amax_history_len`: Ölçekleme faktörü hesabında kullanılacak geçmişin uzunluğu
* `amax_compute_algo`: Ölçekleme faktörü hesabı için kullanılacak algoritma. `max` veya `most_recent` değerlerinden biri olmalıdır.
* `override_linear_precision`: `fprop`, `dgrad` ve `wgrad` GEMM'lerinin daha yüksek hassasiyetle çalıştırılıp çalıştırılmayacağı.

Model performansını optimize etmeye yardımcı olmak için bunların her birini [utils.TERecipeKwargs](/docs/accelerate/main/tr/package_reference/fp8#accelerate.utils.TERecipeKwargs) parçası olarak özelleştirebilirsiniz.

Daha önce bahsedilen grafikte de görüldüğü üzere TE, hesaplama katmanlarını yalnızca FP8'e dönüştürürken her şeyi FP32'de tutar. Sonuç olarak bu yöntem en fazla belleği kullanır ancak eğitim sırasında nihai doğrulukta en az miktarda kayıp yaşanmasını garanti etme avantajına sahiptir.

