# تكميم النموذج

## تكامل `bitsandbytes`

Accelerate brings `bitsandbytes` quantization to your model. You can now load any pytorch model in 8-bit or 4-bit with a few lines of code.

إذا كنت ترغب في استخدام نماذج Transformers مع `bitsandbytes`، فيجب عليك اتباع هذا [الوثيقة](https://huggingface.co/docs/transformers/main_classes/quantization).

للتعرف على المزيد حول آلية عمل التكميم في `bitsandbytes`، اطّلع على منشورات المدونة حول [التكميم بـ 8 بت](https://huggingface.co/blog/hf-bitsandbytes-integration) و[التكميم بـ 4 بت](https://huggingface.co/blog/4bit-transformers-bitsandbytes).

### المتطلبات المسبقة
ستحتاج إلى تثبيت المتطلبات التالية:

- تثبيت مكتبة `bitsandbytes`
```bash
pip install bitsandbytes
```
بالنسبة إلى الأجهزة غير cuda، يمكنك الرجوع إلى دليل تثبيت bitsandbytes [هنا](https://huggingface.co/docs/bitsandbytes/main/en/installation#multi-backend).

- تثبيت أحدث إصدار من `accelerate` من المصدر
```bash
pip install git+https://github.com/huggingface/accelerate.git
```
- قم بتثبيت `minGPT` و`huggingface_hub` لتشغيل الأمثلة
```bash
git clone https://github.com/karpathy/minGPT.git
pip install minGPT/
pip install huggingface_hub
```

### كيف يعمل

أولاً، نحتاج إلى تهيئة نموذجنا. ولتوفير الذاكرة، يمكننا تهيئة نموذج فارغ باستخدام مدير السياق [init_empty_weights()](/docs/accelerate/main/ar/package_reference/big_modeling#accelerate.init_empty_weights).

لنأخذ نموذج GPT2 من مكتبة minGPT.
```py
from accelerate import init_empty_weights
from mingpt.model import GPT

model_config = GPT.get_default_config()
model_config.model_type = 'gpt2-xl'
model_config.vocab_size = 50257
model_config.block_size = 1024

with init_empty_weights():
    empty_model = GPT(model_config)
```

ثم، نحتاج إلى الحصول على المسار إلى أوزان نموذجك. يمكن أن يكون المسار ملف state_dict (مثل "pytorch_model.bin") أو مجلد يحتوي على نقاط التفتيش المجزأة.

```py
from huggingface_hub import snapshot_download
weights_location = snapshot_download(repo_id="marcsun13/gpt2-xl-linear-sharded")
```

أخيرًا، عليك ضبط إعدادات التكميم الخاصة بك باستخدام [BnbQuantizationConfig](/docs/accelerate/main/ar/package_reference/utilities#accelerate.utils.BnbQuantizationConfig).

فيما يلي مثال على التكميم بدقة 8 بت:
```py
from accelerate.utils import BnbQuantizationConfig
bnb_quantization_config = BnbQuantizationConfig(load_in_8bit=True, llm_int8_threshold = 6)
```

فيما يلي مثال على التكميم بدقة 4 بت:
```py
from accelerate.utils import BnbQuantizationConfig
bnb_quantization_config = BnbQuantizationConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4")
```

للتكميم النموذج الفارغ لديك باستخدام الإعداد المحدد، عليك استخدام [load_and_quantize_model()](/docs/accelerate/main/ar/package_reference/utilities#accelerate.utils.load_and_quantize_model).

```py
from accelerate.utils import load_and_quantize_model
quantized_model = load_and_quantize_model(empty_model, weights_location=weights_location, bnb_quantization_config=bnb_quantization_config)
```

### حفظ وتحميل نموذج 8-بت

يمكنك حفظ نموذج 8 بت الخاص بك باستخدام accelerate عبر [save_model()](/docs/accelerate/main/ar/package_reference/accelerator#accelerate.Accelerator.save_model).

```py
from accelerate import Accelerator
accelerate = Accelerator()
new_weights_location = "path/to/save_directory"
accelerate.save_model(quantized_model, new_weights_location)

quantized_model_from_saved = load_and_quantize_model(empty_model, weights_location=new_weights_location, bnb_quantization_config=bnb_quantization_config, device_map = "auto")
```

يرجى ملاحظة أن تسلسل النماذج ذات 4 بتات غير مدعوم حاليًا.

### تحميل الوحدات إلى وحدة المعالجة المركزية والقرص 

يمكنك نقل بعض الوحدات إلى cpu/disk إذا لم يكن لديك مساحة كافية على GPU لتخزين النموذج بأكمله على وحدات GPU الخاصة بك. يستخدم هذا الاستدلال بالنماذج الكبيرة (big model inference) في الخلفية. راجع هذه [التوثيق](https://huggingface.co/docs/accelerate/usage_guides/big_modeling) لمزيد من التفاصيل.

في حالة التكميم بدقة 8 بت، سيتم تحويل الوحدات المختارة إلى دقة 8 بت.

في حالة التكميم بدقة 4 بت، ستُحفظ الوحدات المختارة في `torch_dtype` الذي مرّره المستخدم في `BnbQuantizationConfig`. سنضيف دعمًا لتحويل هذه الوحدات المُحمّلة بدقة 4 بت عندما يصبح التسلسل بدقة 4 بت ممكنًا.

 كل ما عليك هو تمرير `device_map` مخصص من أجل تفريغ الوحدات على المعالج/القرص. سيتم توزيع وحدات التفريغ على وحدة معالجة الرسوميات عند الحاجة. إليك مثال:

```py
device_map = {
    "transformer.wte": 0,
    "transformer.wpe": 0,
    "transformer.drop": 0,
    "transformer.h": "cpu",
    "transformer.ln_f": "disk",
    "lm_head": "disk",
}
```
### ضبط نموذج مُكمَّم

لا يمكن إجراء تدريب خالص بدقة 8 بت أو 4 بت على هذه النماذج. ومع ذلك، يمكنك تدريب هذه النماذج بالاستفادة من طرق الضبط الدقيق الفعّالة من حيث المعلمات (PEFT) وتدريب، على سبيل المثال، محوِّلات (adapters) فوقها. يرجى الاطلاع على مكتبة [peft](https://github.com/huggingface/peft) لمزيد من التفاصيل.

حاليًا، لا يمكنك إضافة محوِّلات (adapters) فوق أي نموذج مُكمَّم (quantized). ومع ذلك، بفضل الدعم الرسمي للمحوِّلات مع نماذج Transformers، يمكنك ضبط النماذج المُكمَّمة. إذا كنت ترغب في ضبط نموذج Transformers، فالتزم بهذا [الوثيقة](https://huggingface.co/docs/transformers/main_classes/quantization) بدلاً من ذلك. اطّلع على هذا [التطبيق التجريبي](https://colab.research.google.com/drive/1VoYNfYDKcKRQRor98Zbf2-9VQTtGJ24k?usp=sharing) لمعرفة كيفية ضبط نموذج Transformers بدقة 4 بت.

لاحظ أنك لا تحتاج إلى تمرير `device_map` عند تحميل النموذج للتدريب. سيتم تحميل نموذجك تلقائيًا على وحدة معالجة الرسوميات الخاصة بك. يرجى ملاحظة أنه يجب استخدام `device_map=auto` للاستدلال فقط.

### مثال توضيحي - تشغيل GPT2 1.5b على Google Colab

اطّلع على [عرض توضيحي](https://colab.research.google.com/drive/1T1pOgewAWVpR9gKpaEWw4orOrzPFb3yM?usp=sharing) على Google Colab لتشغيل النماذج المُكمّاة على نموذج GPT2. نقطة التفتيش لنموذج GPT2-1.5B بصيغة FP32 تستهلك 6 جيجابايت من الذاكرة. بعد التكميم، تستهلك 1.6 جيجابايت مع وحدات 8-بت و1.2 جيجابايت مع وحدات 4-بت.

