استخدام MLX في Hugging Face

MLX هو إطار عمل لتدريب النماذج وتقديمها مصمم لأشباه الموصلات من Apple، طوّره فريق أبحاث التعلم الآلي في Apple.

يأتي مع مجموعة متنوعة من الأمثلة:

• توليد النص باستخدام MLX-LM و توليد النص باستخدام MLX-LM للنماذج بصيغة GGUF.
• توليد نصوص على نطاق واسع باستخدام LLaMA.
• ضبط النموذج الدقيق باستخدام LoRA.
• توليد الصور باستخدام Stable Diffusion.
• التعرف على الكلام باستخدام Whisper من OpenAI.

استكشاف MLX على Hub

يمكنك العثور على نماذج MLX من خلال التصفية في الجزء الأيسر من صفحة النماذج. كما يوجد مجتمع مفتوح لـ MLX يضم مساهمين يقومون بتحويل الأوزان ونشرها بصيغة MLX.

بفضل تكامل MLX مع Hugging Face Hub، يمكنك تحميل نماذج MLX بعدد قليل من أسطر الكود.

التثبيت

MLX comes as a standalone package, and there’s a subpackage called MLX-LM with Hugging Face integration for Large Language Models. To install MLX-LM, you can use the following one-line install through pip:

pip install mlx-lm

يمكنك الحصول على مزيد من المعلومات حول ذلك هنا.

إذا قمت بتثبيت mlx-lm، فلا حاجة إلى تثبيت mlx. إذا كنت لا ترغب في استخدام mlx-lm بل فقط MLX، يمكنك تثبيت MLX نفسه على النحو التالي.

باستخدام pip:

pip install mlx

باستخدام conda:

conda install -c conda-forge mlx

استخدام النماذج الموجودة

يوفر MLX-LM أدوات مفيدة لتوليد النص. يقوم السطر التالي مباشرةً بتنزيل النموذج وتحميله ثم بدء توليد النص.

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

للاطلاع على القائمة الكاملة لخيارات التوليد، قم بتشغيل

python -m mlx_lm.generate --help

يمكنك أيضًا تحميل نموذج والبدء في توليد النص عبر بايثون كما هو موضح أدناه:

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

يدعم MLX-LM معماريات نماذج اللغة الكبيرة الشائعة بما في ذلك LLaMA وPhi-2 وMistral وQwen. يمكن تنزيل النماذج غير المدعومة بسهولة على النحو التالي:

يرفع تعيين HF_XET_HIGH_PERFORMANCE=1 حدود التزامن وأحجام المخازن المؤقتة للأجهزة التي تتمتع بعرض نطاق ترددي عالٍ وذاكرة عشوائية تبلغ 64 جيجابايت على الأقل:

pip install -U huggingface_hub

export HF_XET_HIGH_PERFORMANCE=1
hf download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

تحويل النماذج ومشاركتها

يمكنك تحويل نماذج LLM من Hugging Face Hub، واختيارًا، تكميمها، على النحو التالي:

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q 

إذا كنت ترغب في دفع النموذج مباشرةً بعد التحويل، يمكنك القيام بذلك كما هو موضح أدناه.

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

موارد إضافية

• مستودع MLX
• وثائق MLX
• MLX-LM
• أمثلة MLX
• جميع نماذج MLX على Hub