TRL documentation

التقطير غير المتزامن

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

التقطير غير المتزامن

يتطلب هذا المدرب vllm وtransformers>=5.2.0 وkernels (حيث يقوم التدريب بتحميل FlashAttention من Hub عبره). فيما يتعلق بالتدريب الموزع، يُدعم FSDP2 فقط (لا يُدعم DeepSpeed ZeRO).

حاليًا، توجد قيود متضاربة على التبعيات بين vllm وtransformers. للتحايل على ذلك، ثبّت vLLM أولاً، ثم ثبّت transformers قسريًا، ثم أضف kernels عبر الإضافة الإضافية لـ TRL، والتي تثبّت الإصدار الذي يقبله transformers:

pip install vllm
pip install 'transformers>=5.2.0' --no-deps
pip install 'trl[kernels]'

نظرة عامة

experimental.async_distillation.AsyncDistillationTrainer هو النظير غير المتزامن لـ DistillationTrainer، وقد صُمم على غرار AsyncGRPOTrainer: حيث يولّد عامل التوليد في الخلفية إكمالات خاصة بالطالب وفق سياسته، ثم يُقيّمها مقابل المعلم، بينما يتقدم التدريب بشكل متوازٍ بدلاً من التبديل بين التوليد وتحديثات التدرج. وعلى عكس المدرب المتزامن، لا يتم تحميل المعلم محلياً أبداً — بل يكفي عنوان خادم vLLM، مما يتيح للمعلم أن يعمل على أجهزة مختلفة تماماً عن الطالب والمدرب، أو أن يكون نموذجاً أكبر بكثير مما يمكن أن يتسع بجانب الطالب.

يقلل compute_loss من تباعد Jensen-Shannon المعمّم بين توزيعات الرموز لكل موقع بين الطالب والمعلم (beta=0.0 هو تباعد KL الأمامي، وbeta=1.0 هو تباعد KL العكسي، والقيم بينهما تعطي استيفاءً)، وهو الهدف نفسه الذي يستخدمه DistillationTrainer وServerDistillationTrainer. التدريب يكون دائمًا على السياسة: الطالب يولّد كل إكمال يتدرب عليه.

التقطير على السياسة متعددة المعلمين (MOPD)

لا يُعدّ MOPD جزءًا من ورقة 2306.13649 التي يستند إليها الهدف الأساسي لهذا المدرب (والتي تصف إعدادًا متزامنًا بمعلّم واحد)؛ بل هو طريقة مستقلة، وُصفت في MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training. هناك، يُشكّل MOPD المرحلة الثالثة من ثلاث مراحل: أولاً SFT عام، ثم تدريب RL مستقل لكل مجال على خبير واحد لكل مجال، ثم يدمج MOPD تلك الخبراء المتجمّدين في طالب واحد. ينفّذ AsyncDistillationTrainer المرحلة الثالثة، مرحلة الدمج، فقط: يجب أن يكون معلّمو الخبراء لكل مجال موجودين مسبقًا (مثلًا، مُدرَّبين بشكل منفصل باستخدام GRPOTrainer/RLOOTrainer) وأن يُقدَّموا عبر HTTP قبل أن تُوجّه teacher_server_urls نحوهم. تستخدم المرحلة الثالثة من الورقة نفسها KL العكسي (beta=1.0)، وليس القيمة الافتراضية لهذا المدرب beta=0.0 (KL الأمامي).

يقبل teacher_server_urls أكثر من إدخال واحد. عند استخدام إدخال واحد، تُقيَّم كل عينة بواسطة ذلك المعلم الواحد (التقطير على السياسة البسيط). عند استخدام عدة إدخالات، تختار عمود teacher_id الخاص بكل عينة تدريب أي معلم سيقوم بتقييمها — على سبيل المثال، توجيه استعلامات الرياضيات إلى معلم متخصص في الرياضيات واستعلامات الأكواد إلى معلم متخصص في الأكواد، حيث يُقدَّم كل معلم بشكل مستقل. تُوجَّه كل عينة إلى معلمها المطابق الوحيد، ولا يتم أخذ المتوسط أو الدمج عبر المعلمين. تثير العينة التي ينقصها teacher_id أو غير مُرمَّزة خطأً بدلاً من الرجوع بصمت إلى المعلم الخاطئ. راجع examples/async_distillation_mopd/async_distillation_mopd.py لمثال قابل للتشغيل يدمج خبراء الرياضيات والأكواد والالتزام بالتعليمات المُصدرين مع Open-MOPD في نقطة الفحص المشتركة SFT، وexamples/async_distillation_mopd/launcher.py لتشغيله على 4 وحدات معالجة رسومية بأمر واحد من Hugging Face Jobs.

يجب على كل مُعلِّم أن يشارك مُرمِّز الطالب نفسه. تصل الإكمالات إلى المُعلِّمين كمعرّفات رموز خام، والمعرّفات المرشحة التي يبلغ بها المُعلِّم تُفهرس مباشرةً مفردات الطالب الخاصة به في compute_loss. المُعلِّمون المنتمون إلى نفس عائلة النماذج مثل الطالب (كما في مثال MOPD، حيث يُدمج طالب SmolLM3 من خبراء SmolLM3 مُدرَّبين من نفس نقطة الفحص) يحققون هذا الشرط؛ أما المُعلِّم ذو المفردات المختلفة فيدرّب الطالب ضد الرموز الخاطئة، بصمت ما لم تكن مفرداته أكبر من مفردات الطالب.

التحقق من الحالة واستئناف التدريب: القيمة الافتراضية لـ ignore_data_skip هي True؛ حلقة التخطي وإعادة التشغيل الأساسية في Trainer لا تنطبق على طابور النشر المباشر. بدلاً من ذلك، يتم حفظ فهرس أول موجه لم يتم تدريبه بعد في rollout_state.json جنباً إلى جنب مع كل نقطة تحقق، ويُستعاد عند الاستئناف، بحيث يتقدم العامل بسرعة إلى ذلك الموجه دون إعادة تشغيل العينات. إنه موضع التدريب، وليس موضع المولّد: يعمل العامل بأكثر من عمق طابور النشر من التدريب، وتُفقد العينات المخزنة مؤقتاً عند انتهاء التشغيل، لذا فإن الاستئناف من موضع المولّد سيتخطى الموجهات التي تم توليدها لكن لم يتم تدريبها عليها. لا يمكن إعادة تموضع مجموعات البيانات البثية (IterableDataset)؛ حيث يعيد عاملها التشغيل من الموجه 0 عند الاستئناف. عند استخدام FSDP مع bf16=True (الافتراضي) أو fp16=True، يُكتب model.safetensors في ذلك النوع من البيانات على الرغم من أن الأوزان الرئيسية هي fp32، لذا فإن نقطة التحقق المُرسلة تكون بحجم النموذج المُقدَّم، وليس ضعفه؛ لا تزال الأوزان الرئيسية fp32 وحالة المُحسِّن تذهب إلى ملفات الاستئناف (pytorch_model_fsdp.bin، optimizer.bin)، وهي ما يقرأه الاستئناف، لذا لا يتأثر الاستئناف. بدون FSDP، تكون نقطة التحقق هي أيضاً ملف الاستئناف، لذا فهي تحتفظ بنوع البيانات الرئيسي.

كيف يختلف عن DistillationTrainer

في DistillationTrainer، يكون المعلم نموذجًا محمّلًا محليًا: فالتوليد، وممر المعلم الأمامي، وتحديث التدرج كلها تحدث بشكل تسلسلي في نفس العملية. يفصل experimental.async_distillation.AsyncDistillationTrainer هذه المهام بالطريقة نفسها التي يفصل بها AsyncGRPOTrainer بين مرحلة التمرير (rollout) في GRPO ومرحلة التحديث:

  • عامل النشر (عملية في الخلفية) — يولّد الإكمالات من خادم vLLM الخاص بالطالب، ويرسل التسلسل الكامل إلى /v1/completions الخاص بالمعلم المُحدَّد مع prompt_logprobs للتقييم القسري من قِبل المعلم (دون توليد رموز جديدة من قِبل المعلم)، ويدفع العينات الجاهزة للتدريب إلى طابور.
  • حلقة التدريب (العملية الرئيسية) — تستخرج العينات من الطابور، وتحسب خسارة JSD المعممة، وتحديث أوزان الطالب.

بما أن المعلم يُقيَّم عبر HTTP بدلاً من تمريرة أمامية محلية، فإن الشريحة المتناثرة من أعلى k توزيعاته هي التي تُنقل فقط (teacher_top_k)، وليس المفردات الكاملة — راجع توثيق beta وteacher_top_k في experimental.async_distillation.AsyncDistillationConfig لمعرفة المرشحين الذين يضمن بروتوكول النقل وجود سجل احتمالات للمعلم لكل منهم في كل نظام beta.

بعد كل weight_sync_steps خطوات تدريب، يتم نقل أوزان الطالب المحدّثة إلى خادم vLLM الخاص به عبر NCCL. وكما هو الحال مع AsyncGRPOTrainer، فإن التوليد يسبق التدريب، لذا قد تعكس العينات سياسة قديمة قليلاً؛ ويتحكم max_staleness في عدد تحديثات الأوزان التي يمكن أن تتأخر عنها العينة قبل أن تُستبعد.

البدء السريع

# train_async_distillation.py
from datasets import load_dataset
from trl.experimental.async_distillation import AsyncDistillationTrainer

if __name__ == "__main__":  # the rollout worker is a spawned process that re-imports this script
    dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

    trainer = AsyncDistillationTrainer(
        model="Qwen/Qwen2.5-0.5B-Instruct",
        train_dataset=dataset,
    )
    trainer.train()

يجب أن يعمل خادم المعلم، وخادم vLLM الخاص بالطالب، والمدرب على وحدات معالجة رسومية منفصلة. كلاهما عبارة عن حالات vllm serve عادية، لكنهما يحتاجان إلى أعلام مختلفة: يتم تقييم المعلم فقط (--logprobs-mode processed_logprobs حتى تصل teacher_temperature إلى قيم logprobs المُعادَة، و--max-logprobs -1 حتى يمكن أن تتجاوز teacher_top_k الحد الافتراضي لـ vLLM البالغ 20)، بينما يتم توليد الطالب فقط ويحتاج إلى تمكين نقل الأوزان عبر NCCL حتى يتمكن المدرب من دفع الأوزان المحدّثة إليه. يرسل التقييم تسلسل الطالب بأكمله ويطلب من المعلم رمزًا إضافيًا واحدًا، لذا يجب أن يكون --max-model-len للمعلم (أو قيمته الافتراضية) أكبر من قيمة الطالب:

# Terminal 1: teacher server on GPU 0 (static, never updated)
CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen2.5-1.5B-Instruct \
    --port 8001 \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1
# Terminal 2: student's vLLM server on GPU 1 (dev mode + NCCL weight transfer are required)
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
    --port 8000 \
    --weight-transfer-config '{"backend":"nccl"}'
# Terminal 3: training on GPU 2
CUDA_VISIBLE_DEVICES=2 python train_async_distillation.py

LoRA

مرّر peft_config لتدريب مُكيّف LoRA على الطالب بدلاً من النموذج الكامل:

from peft import LoraConfig

trainer = AsyncDistillationTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
    peft_config=LoraConfig(r=32, lora_alpha=64, target_modules="all-linear"),
)

يجب أن تحصل كل مزامنة للأوزان على الطالب المحدَّث على خادمه. افتراضيًا، يدمج المدرب المُكيِّف في النموذج الأساسي ويرسل الأوزان المدمجة الكاملة، والتي تبلغ حوالي 15 غيغابايت لنموذج 7B في كل مزامنة. ابدأ خادم vLLM الخاص بالطالب باستخدام --enable-lora وسيُرسل المُكيِّف فقط بدلاً من ذلك، أي حوالي 160 ميغابايت عند r=32:

CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
    --port 8000 \
    --weight-transfer-config '{"backend":"nccl"}' \
    --enable-lora \
    --max-lora-rank 32 \
    --max-loras 6

يعرّف VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 نقطة النهاية التي يرسل إليها المُدرِّب كل مُكيِّف جديد. أضف VLLM_WORKER_MULTIPROC_METHOD=spawn إذا كنت تخدم التوازي على مستوى الموترات، وأبقِ --weight-transfer-config في كل الأحوال: يختار المُدرِّب وضع المزامنة فقط عند بدء التشغيل، وبحلول ذلك الوقت يكون الخادم قيد التشغيل بالفعل، وتُعد المزامنة المدمجة هي الوضع الاحتياطي. لا يتأثر خادم المُعلِّم: فهو لا يُحدَّث أبدًا.

يجب أن يكون --max-lora-rank أحد القيم التالية: 1, 8, 16, 32, 64, 128, 256, 320, 512. يحدد هذا الخيار أعلى رتبة يمكن للخادم تقديمها، وليس الرتبة التي سيقدمها بالضرورة، لذا فإن مُكيّف r=4 يعمل بشكل سليم تحت حد 8. يجب أن يكون --max-loras مساوياً على الأقل لـ max_staleness + 2: حيث يحتفظ المُدرّب بعدد من إصدارات المُكيّفات يساوي max_staleness + 1 مسجّلة، حتى يتمكن التمرين الذي بدأ تحت سياسة أقدم من الاكتمال تحت تلك السياسة بدلاً من تبديل السياسات في منتصف التوليد، كما يقوم كل مزامنة بتحميل الإصدار التالي قبل تفريغ أقدم إصدار. يتحقق المُدرّب من كلا القيمتين عند بدء التشغيل ويخبرك بالقيم التي يجب إعادة تشغيل الخادم بها.

يحمّل vLLM المُكيّفات من القرص بدلاً من الشبكة، لذا يكتب المُدرّب كل إصدار تحت <output_dir>/.vllm_lora/ ويمنح الخادم المسار. إذا كان الخادم يعمل على جهاز مختلف، فيجب أن يكون ذلك المجلد على نظام ملفات يمكن لكلٍّ منهما رؤيته.

<output_dir>/.vllm_lora/ هو ذاكرة تخزين مؤقتة للخدمة، وليس المكان الذي يُحفظ فيه المُكيّف الذي درّبتَه. فهو يحتفظ فقط بأحدث الإصدارات، ويُحذف كل إصدار بعد فترة وجيزة من خروجه من نافذة الصلاحية. نقاط التفتيش هي ما يحفظ المُكيّف الذي درّبتَه، لذا لا تُعطِلها: مع save_strategy="no"، تنتهي عملية تدريب تستغرق ساعات دون أن تترك أي أثر. كما يجب أن يكون output_dir قابلاً للقراءة من قِبل الخادم، وأن يستمر في الوجود بعد انتهاء المهمة، لذا لن تعمل المساحة المؤقتة المحلية على العقدة، رغم أنها كانت ستُبقي عمليات المزامنة بعيداً عن نظام الملفات المشترك البطيء.

لا يكون مزامنة المُكيِّف (Adapter) أسرع دائمًا. يولّد vLLM بطيئًا بحوالي 1.33–1.39 مرة لكل رمز عند تقديم مُكيِّف LoRA مقارنةً بتقديم الأوزان المدمجة، وعادةً ما يكون التوليد هو ما يهيمن على الوقت الكلي. ما تحصل عليه مقابل ذلك هو توقف أقصر بكثير عند كل مزامنة، ونحو 1% من عرض نطاق المزامنة. إذا كان معدل إنتاجية التوليد هو عنق الزجاجة لديك، فإن المزامنة المدمجة غالبًا ما تكون الخيار الأفضل.

المقاييس المسجّلة

يمرّ التوليد بعدة مراحل قبل أن يتحول إلى تدرّج. لنلقِ نظرة أولاً على المراحل المختلفة، من الموجه إلى تكوين الدفعة النهائية لدينا:

Dataset row = PROMPT (message list + optional `teacher_id`)
 └─ ROLLOUT            (1 prompt -> 1 student completion -> 1 teacher scoring call)
     ├─ generate       (student's vLLM /v1/completions, sampled)
     └─ score          (the routed teacher's /v1/completions with `prompt_logprobs`, teacher-forced)
         └─ SAMPLE     (prompt + completion + the teacher's sparse per-position distribution)

════════════ Trainer process boundary: `rollout_buffer` (mp.Queue) ════════════

         └─ SAMPLE (Pulled 1 at a time; dropped if staleness > `max_staleness`)
             └─ ROW            (Planner assigns it to one of `dp` rows, Σ Lᵢ²-balanced)
                 └─ MICRO-BATCH (`dp` rows, one per rank)
                     └─ PACKED ROW (1 concat sequence, `position_ids` reset per sample)
                         └─ FORWARD (`compute_loss`, bs=1, inter-rank padding stripped)
             └─ OPTIMIZER STEP (from `grad_accum` micro-batches)

عند قراءتها من الأعلى إلى الأسفل:

  • التوليد rollout هو موجه واحد يُنشأ مرة واحدة ويُقيَّم مرة واحدة. لا توجد مجموعة: فالتقطير لا يملك خط أساس للميزة يُحسب عبر الأجيال، لذا لا يُكرر الموجه، ويؤدي توليد واحد إلى عينة تدريب واحدة بالضبط.
  • عينة sample هي ذلك الاكتمال بالإضافة إلى مرشحي teacher_top_k الأوائل للمعلم في كل موضع من مواضع الاكتمال. وهذا هو ما يعبر عن حد العملية.
  • عند تجاوز الحد، يخطط المدرب العينات إلى صفوف (واحد لكل رتبة DP)، ويجمع كل صف في تسلسل واحد متصل، ويجمع grad_accum دفعات مصغرة في خطوة مُحسِّن واحدة.

لذلك نقسم مقاييسنا بناءً على المرحلة (أو الكيان) التي تتعلق بها:

namespaceالكيان الذي يحسبه
rollout/دورة واحدة من التوليد والتقييم: المدة التي استغرقتها، والمسافة التي قطعتها
completions/ما ولّده الطالب (vLLM) لموجّه واحد
sample/يمثل عينة تدريب واحدة، كما تصل في الطابور
batch/دفعة مصغرة واحدة أو خطوة مُحسِّن واحدة (مبنية من عينة واحدة أو عدة عينات)
perf/الثواني المقاسة وعمليات FLOPs

يُسجَّل كل ما تقيسه الدالة الخاسرة ذاتها دون بادئة (jsd، entropy، teacher_entropy)، مع تفصيل تحت teacher/<teacher_id>/* في إطار MOPD — راجع الانحراف أدناه.

لنعرّف أيضًا بعض المصطلحات لجعل مقاييس الرموز غير ملتبسة:

  • الرموز المولّدة هي ما أنتجه الطالب (completions/*).
  • الرموز المرسلة هي كل رمز يعالجه مسار forward: النص الأصلي والرموز المولّدة.
  • trained tokens are the subset the loss is taken over where completion_mask == 1. Trained ≠ generated: a completion position the teacher scored no candidate for is masked out of the divergence but still forwarded.

تُسجَّل المقاييس مرة واحدة لكل نافذة تسجيل: كل ما تم تسجيله منذ آخر تسجيل، والتي تغطي آخر logging_steps خطوات مُحسِّن. على مدى النافذة:

  • يتم حساب المتوسط المقاس لكل تمرين أو عينة أو استدعاء، مثل rollout/duration_s وrollout/score_s، عن طريق أخذ متوسط جميع التمارين أو العينات أو الاستدعاءات ضمن النافذة. أما المعدل مثل rollout/generated_tokens_per_s فيُحسب بقسمة إجمالي الرموز على إجمالي الثواني.
  • وإلا، يُجمَّع الاسم الذي يحتوي الجزء الأخير منه على كلمة count: sample/dropped_stale_count هو عدد العينات المُهمَلة منذ آخر تسجيل، وليس منذ بداية التدريب.
  • يحتفظ الاسم الذي يحتوي الجزء الأخير منه على الكلمة max أو min، مثل sample/staleness_max أو completions/max_length، بالقيمة الأكبر أو الأصغر.
  • أي مقياس آخر هو متوسط القيم المسجلة في النافذة.

وحدات:

  • _s: ثوانٍ.
  • tokens_per_s: عدد الرموز في الثانية.
  • _frac: نسبة بين 0 و 1.
  • _per_step: الكمية في خطوة مُحسِّن واحدة، مُتوسّطة على الخطوات في النافذة.

تحتفظ المقاييس التي تسجّلها أيضًا GRPOTrainer بأسمائها الخاصة بـ GRPO (completions/mean_length، completions/clipped_ratio).

كيف تتكوّن أرقام الدفعة

الصف هو ما يمرّره رتبة واحدة من DP في دفعة مصغّرة واحدة: عدة عينات مدمجة في تسلسل واحد، مع إعادة بدء position_ids عند كل حدّ بين العيّنات. يقرّر المخطّط أيّ العيّنات تقع في أيّ صف (مع موازنة Σ Lᵢ² حتى لا تتأخّر أيّ رتبة)، ويتولّى جامع البيانات عملية الدمج.

في جميع مقاييسنا، يعني مصطلح «خطوة» دائمًا خطوة مُحسِّن كاملة، وليس دفعة فرعية. تُشكّل gradient_accumulation_steps من الدفعات الفرعية خطوة واحدة، وكل مقياس يحمل اسم _per_step يكون لكل خطوة مُحسِّن، بما يتوافق مع global_step وlogging_steps وباقي مصطلحات Trainer. حيث يكون المقياس لكل دفعة فرعية، يُصرَّح بذلك صراحةً (batch/microbatches_per_step) أو يكون كمية لكل صف (batch/row_*، batch/samples_per_row).

لذلك، يحتوي كل خطوة على عدد ثابت من row-slots:

row-slots per step = gradient_accumulation_steps x world_size

مما يجعل مقاييس الدفعة تتكوّن في سلّم يمكنك التحقق من بعضها البعض:

sample                                     sample/forwarded_tokens_mean
  └─ packed into a ROW                     batch/samples_per_row, batch/row_tokens_mean
      └─ one row per DP rank               = one micro-batch
          └─ gradient_accumulation_steps micro-batches = one STEP
                                           batch/samples_per_step, batch/forwarded_tokens_per_step

لذا batch/samples_per_step ≈ row-slots x batch/samples_per_row، وكذلك الأمر بالنسبة للرموز. يتطابق الجانبان فقط حتى مستوى التباين بين الدُفعات الدقيقة داخل الخطوة الواحدة — فمقاييس كل خطوة هي مجموع، بينما مقاييس كل صف هي متوسط — لذا توقع فرقًا بنسبة جزء من المئوية، وليس تطابقًا تامًا.

batch/row_fill_frac هو المؤشر الذي يجب مراقبته عندما تكون العينات طويلة: عينة من 10 آلاف رمز لا تملأ ميزانية 32 ألف رمز بشكل جيد (ثلاث عينات تتسع، وأربع لا تتسع أبدًا، لذا غالبًا ما يحصل الحاصد على عينتين فقط وتكون الصف ممتلئًا بنسبة 77% تقريبًا)، بينما تملأ العينات المكونة من 1000 رمز الميزانية بشكل شبه مثالي. هذا هو التكميم وليس خطأً برمجيًا، وtoken_budget هو العنصر الذي يمكن التحكم به — مع مراعاة أن الانتباه يعمل بتعقيد O(L²) لكل تسلسل، لذا فإن صفًا أكثر امتلاءً من التسلسلات الطويلة لا يستهلك ذاكرة أكثر بشكل خطي.

قائمة الانتظار للنشر

يدفع العامل العينات المُقيَّمة إلى طابور، بينما يسحب المدرب منها. أربعة مقاييس تصف ذلك الطابور الواحد، وتُجيب عن أسئلة مختلفة:

مقياسسؤال
rollout/queue_sizeكم عدد العينات التي تنتظر الآن
sample/time_in_queue_sمدى المدة التي قضاها عينة واحدة هناك قبل أن تُدرَّب عليها — النصف الثاني من ثوانٍ من عدم توافقها مع السياسة
perf/rollout_wait_sكم من الوقت كان التدريب متوقفًا بسبب كون الطابور فارغًا
rollout/backpressure_sمدى المدة التي انتظرها التوليد (العامل) لأنه كان متقدماً على التدريب بعدد خطوات max_staleness

المقياسان الأخيران (perf/rollout_wait_s وrollout/backpressure_s) هما انعكاسان لبعضهما. قراءة هذين المقياسين معًا مع حجم الطابور تُظهر لك أي الجانب هو عنق الزجاجة:

  • الطابور شبه فارغ، وperf/rollout_wait_s مرتفع → مقيّد بالتوليد. المدرب يعاني من نقص الموارد؛ راجع rollout/generated_tokens_per_s وrollout/concurrency وrollout/score_s.
  • طابور يحتفظ بحوالي max_staleness خطوات من الرموز، وrollout/backpressure_s مرتفع → مقيّد بالمدرب. يتم كبح التوليد، ويتراوح sample/staleness_mean بالقرب من حدّه.
  • كلاهما مرتفعان → حد max_staleness نفسه ضيق جدًا: عمليات التمرير الجارية تملأه قبل أن تصل عيناتها إلى الطابور، فينتظر المدرب بينما يتم كبح التوليد. ارفع max_staleness.
  • كلاهما قريب من الصفر → متوازن!

إكمالات

اكتمال هو ما أنشأه خادم vLLM الخاص بالطالب لموجّه واحد.

مقياسالمعنى
completions/mean_lengthالرموز المولّدة لكل تمريرة
completions/min_length, completions/max_lengthأقصر وأطول إكمال في النافذة
completions/clipped_ratioالنسبة من المكملات التي لم تنتهِ بـ EOS، أي التي تم قطعها بواسطة max_completion_length
completions/mean_terminated_length, completions/min_terminated_length, completions/max_terminated_lengthنفس الأطوال، على المكملات التي انتهت بـ EOS

التشغيل

التوليد هو استعلام واحد يُعالَج بالكامل: يولّده الطالب، ثم يُخضعه المعلم للتوجيه الإجباري. وبما أن استدعاء المعلم يقع على المسار الحرج لكل عملية توليد (على عكس GRPO، حيث يكون التقييم حلقة منفصلة على المجموعات المكتملة)، فإن بطء المعلم يظهر مباشرةً في rollout/duration_s.

مقياسالمعنى
rollout/duration_sالوقت الفعلي لتمريرة واحدة، من الإرسال إلى عينة مُقيَّمة: التوليد و استدعاء المعلم
rollout/score_sمن ذلك، الوقت الذي استغرقته دعوة المعلم /v1/completions
teacher/<id>/score_sMOPD فقط: الأمر نفسه، لكل معلم. خبير بطيء واحد يُبطئ فقط عمليات التوليد الموجهة إليه، وهو ما يخفيه المتوسط المدمج
rollout/generated_tokens_per_sمعدل الإنتاجية خلال آخر فترة زمنية (نافذة زمنية)، بحيث يظهر أي توقف
rollout/concurrencyعمليات النشر الجارية، أي تلك التي يتم توليدها أو تقييمها
rollout/vllm_retry_countطلبات vLLM المُعاد إرسالها، إلى خادم الطالب أو خادم المعلم. يبدو الخادم المتدهور أداءً على أنه بطء غير مفسر. يقع هذا العنصر هنا بدلاً من completions/ لأنه يعدّ الطلبات الموجّهة إلى الخادم، وليس النص المولّد
rollout/backpressure_sمدى المدة التي انتظرت فيها عملية التوليد لأنها كانت متقدمة بخطوات max_staleness. راجع قائمة الانتظار للتوزيع
rollout/queue_sizeالعينات المُقيَّمة المنتظرة في طابور النشر، حيث يُقيس المدرب مكان سحبها. راجع طابور النشر

عينات تصل من الطابور

كل عينة هي RolloutSample: موجه، وإكمال الطالب، وتقييم متناثر من المعلم له. يدفع العامل هذه العينات إلى rollout_buffer؛ وكل ما يلي يُقاس على جانب المدرب، حيث يسحبها للتدريب.

مقياسالمعنى
sample/forwarded_tokens_mean, sample/forwarded_tokens_maxالرموز في عينة واحدة: الاستعلام + النص المولّد. التعبئة مسألة على مستوى الصف، راجع batch/row_*
sample/trained_tokens_meanمن بين تلك، كم عدد ما يُحسب عليه الخسارة
sample/time_in_queue_sمدى المدة التي قضاها هذا العينة في تلك الطابور قبل أن يُدرَّب عليها. ليس هو نفسه perf/rollout_wait_s — راجع طابور النشر
sample/staleness_mean, sample/staleness_maxكم عدد إصدارات السياسة التي تسبق البيانات. يُظهر jsd التأثير لكونها خارج السياسة على الخسارة؛ وهذا يُظهر السبب
sample/dropped_stale_countعُزلت عينات لتجاوزها max_staleness

الدفعات

تتكوّن كل دفعة فرعية مصغّرة من world_size صفوف (تذكّر أن التعبئة تسطّح البيانات في تسلسل واحد)، أي صف واحد لكل رتبة من رتب التوازي، بحيث تمرّر الرتبة i الصف i. وتُشكّل gradient_accumulation_steps من هذه الدفعات خطوة واحدة لمُحسِّن المعاملات. وتغطي الخطوة إجمالاً gradient_accumulation_steps × world_size صفًا. وكل مقياس من مقاييس _per_step أدناه هو مجموع على مدى الخطوة كاملة وعبر كل الرتب؛ أما مقاييس batch/row_* فهي متوسطات على الصفوف.

مقياسالمعنى
batch/forwarded_tokens_per_step, batch/trained_tokens_per_stepالرموز في خطوة واحدة من المُحسِّن، مُرسَلة ومدرَّبة على التوالي
batch/samples_per_stepعينة تدريب لكل خطوة محسّن
batch/microbatches_per_stepيتم احتسابها، وليس قراءتها من ملف الإعدادات
batch/masked_token_fracالرموز المُعاد توجيهها التي completion_mask == 0 — وهي الحصة من التمرير الأمامي التي لا تحقق أي تدرج
batch/samples_per_row, batch/row_tokens_mean, batch/row_tokens_maxكثافة تعبئة المخطط لصف كل رتبة
batch/row_fill_fracrow tokens مقابل token_budget. القيمة المنخفضة تعني أن الميزانية غير مستخدمة
batch/row_imbalancemax Σ Lᵢ² / mean Σ Lᵢ² عبر الصفوف. نظرًا لأن الانتباه يعمل بتعقيد O(L²)، فإن هذا يتنبأ بالرتبة التي ستعطل عملية تجميع التدرجات. القيمة 1.0 مثالية
batch/pad_fracالحشو بين الرتب. تكلفته بايتات البث فقط؛ يتم إزالته قبل التمرير الأمامي
batch/dropped_oversize_countعُزلت عينات لتجاوزها token_budget

التباعد

ما يقيسه الهدف نفسه، مُتوسطًا على الرموز المدرَّبة ضمن النافذة. هذه هي الأرقام التي يجب مراقبتها من أجل التعلّم، على عكس تلك المتعلقة بمعدل الإنتاجية.

مقياسالمعنى
jsdالـ JSD المعمّم الذي تُقلّله الدالة الخاسرة، عند قيمة beta المُهيّأة. الانخفاض يعني أن توزيع الطالب يقترب من توزيع المعلم
entropyإنتروبيا التنبؤ الخاصة بالطالب نفسه. الانهيار هنا مع انخفاض jsd يعني أن الطالب يضيق نطاقه بدلاً من أن يتعلم
teacher_entropyإنتروبيا المعلم على المرشحين الذين أبلغ عنهم. وهو محدد من الأسفل بالقيمة الحقيقية، حيث أن المرشحين الذين يعبرون عبر الشبكة هم teacher_top_k فقط
teacher/<id>/jsdMOPD فقط: jsd مقيد بالرموز التي قيّمها المعلم. يمكن أن تتباعد المعلمون في مجالات مختلفة بمعدلات مختلفة جدًا، وهو ما يخلط بينه jsd المدمج
teacher/<id>/entropyMOPD فقط: نفس تفكيك teacher_entropy
teacher/<id>/token_fracMOPD فقط: نسبة الرموز المُقيَّمة التي أخذها المعلم. انحراف التوجيه غير مرئي في الحالات الأخرى: فمعلم محروم من الصفوف لا يزال يُبلّغ عن teacher/<id>/jsd سليم.
aux_lossخسارة موازنة الأحمال الخاصة بموجّه MoE لكل دفعة مصغّرة، مُتوسّطة عبر الرتب، وتُسجَّل عندما يعيد النموذج قيم logits للموجّه وrouter_aux_loss_coef ليست 0. على عكس الصفوف أعلاه، ليست هذه الخسارة متوسطًا لكل رمز

لا توجد entropy لكل معلم على حدة: فانتروبيا الطالب هي خاصية بسياسته الخاصة، وليست مرتبطة بالمعلم الذي قيّم العينة، لذا فإن المقياس المدمج يغطي ذلك بالفعل.

الأداء

تقيس الإنتاجية عدد الرموز التي يعالجها المدرب في الثانية. استغلال عمليات النموذج (MFU) يقدّر النسبة المئوية من القدرة الحسابية النظرية لأجهزة التدريب المستخدمة في عمليات النموذج الأمامية والعكسية. تعتمد القدرة المستخدمة في هذا التقدير على العتاد ودقة التدريب.

يُبلَّغ عن معدل الإنتاجية وMFU على أساسَي زمنَين:

  • fwd_bwd_ يقيس الأداء أثناء المرورين الأمامي والخلفي.
  • wall_clock_ يقيس الأداء على مدى خطوة المُحسِّن الكاملة، بما في ذلك تحديثات المُحسِّن، ومزامنة الأوزان، والوقت المنقضي في انتظار النتائج.

يساعد هذا الفرق في التمييز بين أداء الحساب وتكلفة الانتظار والتنسيق. تصف كلا مقياسي MFU أجهزة التدريب فقط: فهي لا تشمل قدرات الحساب أو العتاد لخوادم النشر الخارجي أو الخوادم المعلمة. يعكس مقياس MFU الزمني الفعلي الوقت الذي يقضيه المدرب في الانتظار على تلك الخدمات، وليس معدل استخدام تلك الخدمات نفسها.

يُبلَّغ عن MFU فقط عندما تكون سعة الحوسبة القصوى معروفة لجهاز التدريب المحلي عند الدقة المختارة، وعندما يدعم تقدير FLOPs بنية النموذج (مثل Llama وQwen2 وQwen3 وQwen3-MoE أو Qwen3-VL). وإلا، يُستثنى MFU؛ يستمر التدريب وتبقى مقاييس الإنتاجية والتوقيت متاحة.

مقياسالمعنى
perf/step_sالوقت الفعلي بين خطوات المُحسِّن: يتضمن حسابات، المُحسِّن، مزامنة الأوزان وانتظار الطابور
perf/fwd_bwd_sالمرور الأمامي + الخلفي، المجموع عبر الدُفعات الدقيقة للخطوة. هذا هو المقام لكل مقياس fwd_bwd_ أدناه
perf/fwd_sالجزء الأمامي منها. fwd_s / fwd_bwd_s بالقرب من 1/3 هو التقسيم المعتاد؛ والقيمة الأعلى تعني أن العملية العكسية رخيصة أو أن إعادة الحساب تُدفع في الجزء الأمامي
perf/optimizer_soptimizer.step()
perf/rollout_wait_sمدى الوقت الذي بقي فيه المدرب محجوباً بسبب كون قائمة الانتظار فارغة. راجع قائمة الانتظار للتوزيع
perf/weight_sync_sمزامنة كاملة، بالإضافة إلى _pause_s (انتظار vLLM)، و_barrier_s (انحراف الترتيب)، و_transfer_s (البايتات)
perf/fwd_bwd_forwarded_tokens_per_s, perf/wall_clock_forwarded_tokens_per_sالرموز المحوّلة في الثانية على كل أساس
perf/wall_clock_trained_tokens_per_sنفس الشيء، مع احتساب الرموز التي رصدها الخسارة فقط
perf/fwd_bwd_mfu, perf/wall_clock_mfuاستخدام FLOPs للنموذج على كل أساس

فلسفة التصميم

تم تصميم هذا المُدرِّب ليظل بسيطًا بأقل قدر ممكن، وليس المقصود به أن يتطور ليصبح حلًا عامًا. إذا كنت بحاجة إلى ميزة غير مدعومة، فننصحك بنسخ المستودع وتكييف المُدرِّب ليناسب احتياجاتك مباشرة. لن تُنظر في الميزات الجديدة إلا عند وجود طلب كبير من المجتمع.

AsyncDistillationConfig

فئة trl.experimental.async_distillation.AsyncDistillationConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 1logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Truerestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonedtype: str = 'float32'trust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonemax_completion_length: int = 2048temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0chat_template_kwargs: dict | str | None = Nonevllm_server_base_url: str = 'http://localhost:8000'vllm_server_timeout: float = 1800.0teacher_server_urls: dict[str, str] | str | None = Nonebeta: float = 0.0teacher_temperature: float = 1.0teacher_top_k: int = 8add_tail_bucket: bool = Truetoken_budget: int | None = Nonemax_concurrent_rollouts: int = 512max_staleness: int = 4weight_sync_steps: int = 1rollout_worker_timeout: float = 300.0log_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = None )

المعاملات التي تتحكم في النموذج

  • model_init_kwargs (dict[str, Any] أو str، اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عند إنشاء نموذج الطالب من مسار. تُستخدم قيمة revision أيضًا عند تحميل فئة المعالجة.
  • dtype (str, اختياري, الافتراضي هو "float32") — نوع البيانات الذي يُحمَّل به نموذج الطالب، وهو أحد "auto", "bfloat16", "float16" أو "float32". الافتراضي هو "float32" لأن عدم التطابق بين التدريب والاستدلال الذي تُقاس عليه مدرِّبات التزامنتجاوز عدم التطابق بين التدريب والاستدلال عبر FP16) حساس لدقة المدرِّب نفسه. إغلاق هذه الفجوة من البداية إلى النهاية يتطلب أيضًا تقديم خادم vLLM الخاص بالطالب بنفس نوع البيانات (vllm serve --dtype). A dtype في model_init_kwargs يتمتع بأولوية. لا تتأثر خوادم المعلم: فهي لا تُحدَّث أبدًا.

    هذا يضبط فقط نوع البيانات (dtype) الذي تُحمَّل به الأوزان. عند استخدام FSDP مع الدقة المختلطة (الافتراضي هو bf16=True)، يقوم accelerate بترقية كل معامل قابل للتدريب إلى fp32 قبل التقسيم، لذا فإن الأوزان الرئيسية وحالة المُحسِّن تكون من نوع fp32 بغض النظر عما يقوله dtype، بينما يتم تنفيذ التقدّم والتراجع في bf16 أو fp16. ثم تُكتب نقاط التفتيش (Checkpoints) في نوع البيانات الخاص بالدقة المختلطة، وليس في fp32. بدون FSDP لا يحدث أي ترقية: استخدام dtype="bfloat16" مع bf16=True يحافظ على أوزان وحالات مُحسِّن من نوع bf16، وهو ما يمثل تدريبًا خالصًا في bf16.

  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained.
  • router_aux_loss_coef (float, اختياري) — معامل خسارة التوازن على الأحمال المساعدة لنماذج مزيج الخبراء (MoE)، تُضاف إلى خسارة التدريب بهذا الوزن. عند عدم تعيينه، يُستخدم القيمة المُعلنة في إعدادات النموذج. عيّن 0.0 لتعطيله. يفشل عند استخدامه مع نموذج غير MoE.

المعاملات التي تتحكم في التوليد

  • max_completion_length (int، اختياري، القيمة الافتراضية 2048) — الحد الأقصى لعدد الرموز (tokens) التي سيتم توليدها لكل استكمال.
  • temperature (float، اختياري، القيمة الافتراضية 1.0) — درجة الحرارة المستخدمة في أخذ عينات من استكمالات الطالب وفق سياسته.
  • top_p (float، اختياري، القيمة الافتراضية 1.0) — معامل أخذ العينات Top-p (النواة) للتوليد وفق السياسة.
  • top_k (int، اختياري، القيمة الافتراضية 0) — معامل أخذ العينة Top-k للتوليد وفق السياسة. تعطيل 0 تصفية Top-k.
  • min_p (float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين 0.0 و1.0. القيم النموذجية تقع في نطاق 0.01-0.2.
  • repetition_penalty (float، اختياري، القيمة الافتراضية 1.0) — قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم > 1.0 تشجع النموذج على استخدام رموز جديدة، بينما القيم < 1.0 تشجع النموذج على تكرار الرموز.
  • chat_template_kwargs (dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى دالة apply_chat_template عند توليد الإكمالات.

المعاملات التي تتحكم في خوادم vLLM

  • vllm_server_base_url (str، اختياري، القيمة الافتراضية "http --//localhost:8000"): العنوان الأساسي لخادم vLLM الخاص بالطالب، ويُستخدم لكلًا من التوليد وبث تحديثات الأوزان.
  • vllm_server_timeout (float, اختياري، القيمة الافتراضية 1800.0) — مهلة بالثواني للاتصالات مع خوادم vLLM: انتظار جاهزية خادم الطالب عند بدء التشغيل، وكل طلب توليد أو تقييم، وكل استدعاء مزامنة الأوزان. يرفع خطأً عند انتهاء مهلة انتظار الخادم واستدعاءات مزامنة الأوزان؛ أما طلب التوليد أو التقييم الذي تتجاوز مهلته فيُعاد.
  • teacher_server_urls (dict[str, str]، اختياري، القيمة الافتراضية {"default" -- "http://localhost:8001"}): خوادم vLLM للمعلم، حيث يُشغَّل كل خادم باستخدام vllm serve <teacher-model> --logprobs-mode processed_logprobs --max-logprobs -1. كل معلم ثابت: هذا المدرب لا يبث تحديثات الأوزان إلى أي منها، لذا لا يحتاج المعلم إلى VLLM_SERVER_DEV_MODE ولا إلى خلفية لنقل الأوزان، بل إلى هذين العلمين فقط، اللذين يجعلان التقييم دقيقاً (انظر teacher_temperature وteacher_top_k). يجب أن يتشارك كل معلم مع الطالب نفس مُجزِّئ النص: تُرسل الإكمالات كمعرّفات رموز خام، وتُستخدم المعرّفات التي يبلغ بها المعلم مباشرةً للتفهرس في قاموس الطالب الخاص به في compute_loss. المعلم ذو القاموس المختلف يدرّب على الرموز الخاطئة، بصمت إذا كان قاموسه ليس أكبر من قاموس الطالب. التقييم هو طلب مُجبَر بالمعلم على رموز إكمال الطالب الخاصة به (max_tokens=1، prompt_logprobs=teacher_top_k، temperature=teacher_temperature)، وهو نفس الطلب الذي يصدره get_sequence_logprobs() للمدرّبين على خادم المعلم المتزامن. بسبب ذلك الرمز المُلغى، يحتاج المعلم إلى --max-model-len أكبر من ذلك الخاص بالطالب، وإلا تعذّر تقييم أطول الإكمالات. يُقيّم إدخال واحد كل عينة (التقطير على السياسة أحادي المعلم العادي، وهو الافتراضي). تمكّن الإدخالات المتعددة MOPD (التقطير على السياسة متعدد المعلمين، انظر MOPD): عمود teacher_id في كل صف تدريب يختار الإدخال الذي سيقيّمه، على سبيل المثال {"math": "http://localhost:8002", "code": "http://localhost:8003"} مع teacher_id يساوي "math" أو "code" لكل صف.

المعاملات التي تتحكم في خسارة التقطير

  • beta (float، اختياري، القيمة الافتراضية 0.0) — معامل الاستيفاء لتباعد جنسن-شانون المعمّم. 0.0 هو تباعد KL الأمامي (الذي يسعى نحو المتوسط)، و1.0 هو تباعد KL العكسي (الذي يسعى نحو الوضع)، والقيم بين الاثنين تُستوفى، وفقًا لنفس صياغة JSD المعمّمة التي يحسبها DistillationTrainer داخليًا. يختلف الدعم الذي يُحسب عليه التباعد حسب النظام، على غرار ServerDistillationTrainer: عند beta=0.0، يُستخدم الدعم الكامل الذي يبلغ عرضه teacher_top_k كما يبلغه المعلم (إضافةً إلى سلّة الذيل)، لأن وزن تباعد KL الأمامي هو بالضبط ما يوفره ذلك الدعم. أما عند beta != 0.0، فيُضيَّق الدعم ليقتصر على مرشحين فقط — الرمز الأعلى ترتيبًا (top-1) الخاص بالمعلم نفسه والرمز الفعلي/المحقق في الإكمال — لأن هذين هما الرمزان الوحيدان اللتين تضمن بروتوكول النقل وجود احتمال سجل (logprob) للمعلم لهما دون إرسال مفردات أوسع (أو كاملة)؛ فأي شيء أوسع لن يكون سوى تقريب احتمالي لتغطية الرموز المرجحة للطالب نفسه، وليس ضمانًا.
  • teacher_temperature (float, اختياري، القيمة الافتراضية 1.0) — درجة حرارة Softmax للانحراف، تُطبَّق على كلا الجانبين: تُرسل إلى المعلم حتى يحسب vLLM قيم logprobs الخاصة به عند هذه درجة الحرارة على مستوى الخادم (بشكل دقيق، وليس إعادة تحجيم على مستوى العميل)، وتُطبَّق على قيم logits الخاصة بالطالب في compute_loss، على غرار ServerDistillationTrainer الذي يستخدم قيمة temperature واحدة. لا علاقة له بـ temperature الذي يتحكم فقط في كيفية عينة الطالب لإكمالاته. يجب أن يعمل خادم المعلم مع --logprobs-mode processed_logprobs حتى تصل هذه الإعدادات إلى قيم logprobs المُعادَة؛ وبدونها يقوم المعلم بإبلاغ قيم logprobs الخام بصمت، ولا يؤثر هذا الإعداد إلا على جانب الطالب.
  • teacher_top_k (int، اختياري، القيمة الافتراضية 8) — عدد مرشحات الرموز لكل موضع يُطلب من المعلم عبر prompt_logprobs. تُستخدم هذه المرشحات فقط (إلى جانب الرمز المحقق، الذي يبلّغ عنه vLLM دائمًا حتى لو كان خارج نطاق أعلى k، بالإضافة إلى دلو ذيل يلتقط كتلة الاحتمال المتبقية، انظر add_tail_bucket) لتقريب توزيع المعلم، ولا يُنقل المفردات الكاملة عبر HTTP أبدًا. جانب الطالب في التباعد دقيق (يُحسب محليًا، وليس تقريبًا)، لأن الطالب هو النموذج قيد التدريب، وتكون جميع قيم logits الخاصة به متاحة بالفعل في compute_loss. القيمة 8 هي قيمة افتراضية خفيفة لاختبارات الدخان؛ وتستخدم إعدادات التقطير على السياسة الإنتاجية في أطر التعلم المعزز المجاورة دعمًا متناثرًا للمعلم في نطاق مشابه تقريبًا (القيمة الافتراضية في miles هي 16، وفي EasyOPD هي 64)، لذا فإن رفع هذه القيمة نحو 16–64 معقول بمجرد بدء التدريب الفعلي. أي قيمة أعلى من 20 تتطلب أن يكون خادم المعلم قد تم تشغيله مع --max-logprobs -1، مما يرفع الحد الأقصى الافتراضي لقيم logprob لكل رمز في vLLM.
  • add_tail_bucket (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إضافة دلو ذيلي يمثل كتلة الاحتمال المتبقية خارج teacher_top_k، لتجنّب تباعد صغير بشكل تافه عندما يكون teacher_top_k صغيراً.
  • token_budget (int، اختياري) — الحد الأقصى لعدد الرموز الفعلية المُجمَّعة في صف واحد (تمريرة أمامية لرتبة DP واحدة). يُشكّل TokenBudgetBatcher دفعات مصغّرة متوازنة وفق Σ Lᵢ² بحيث يبقى كل صف ضمن هذا الميزانية، مما يحدّ من ذروة الذاكرة بشكل مستقل عن عدد العينات (حيث يصبح عدد العينات في كل صف ديناميكيًا). إذا كان None (الافتراضي)، يتم تعيينه إلى max_model_len لخادم vLLM الخاص بالطالب (يتم الاستعلام عنه عند بدء التدريب) — وهو الحد الأقصى لطول الاستدعاء + الإكمال — بحيث لا يمكن لأي عينة rollout تجاوز الميزانية أبدًا. أي عينة أطول من token_budget لا تتسع في أي صف وتُستبعد مع تحذير، وتُحتسب ضمن batch/dropped_oversize_count.

المعاملات التي تتحكم في خط أنابيب النشر غير المتزامن

  • max_concurrent_rollouts (int, اختياري، القيمة الافتراضية 512) — الحد الأقصى لعدد عمليات التوليد المتزامنة الجارية في آنٍ واحد ضد خوادم vLLM الخاصة بالطالب والمعلمين، سواء كانت قيد التوليد أو قيد التقييم.
  • max_staleness (int, اختياري، القيمة الافتراضية 4) — الحد الأقصى لعدد خطوات تحديث الأوزان التي يمكن أن يتأخر عنها عينة rollout قبل أن تُستبعد. يتم التمسك بهذا الحد: لا يبدأ rollout إلا عندما تتسع الرموز المُجمّعة والقائمة على التنفيذ ضمن ما يستهلكه المدرب في max(max_staleness, 1) خطوات.
  • weight_sync_steps (int، اختياري، القيمة الافتراضية 1) — عدد خطوات التدريب بين مزامنات الأوزان إلى خادم vLLM الخاص بالطالب.
  • rollout_worker_timeout (float, اختياري، القيمة الافتراضية 300.0) — عدد الثواني منذ آخر نبضة قلب من عامل التمرير (rollout worker) قبل أن يعتبر المدرب العامل متوقفًا عن الاستجابة ويُلغي العملية.

المعاملات التي تتحكم في التسجيل

  • log_completions (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تسجيل عينة من أزواج (الموجّه، الإكمال) كل log_completions_steps عينات مُقيَّمة.
  • log_completions_steps (int, اختياري، القيمة الافتراضية 100) — عدد العينات المُقيَّمة بين تسجيل عمليات الإكمال. يُستخدم فقط إذا كان log_completions هو True. يُحسب بناءً على العينات التي قيّمها عامل التوليد، وليس خطوات المُحسِّن: يعمل العامل في عملية منفصلة عن المُدرِّب ولا يملك رؤية إلى self.state.global_step.
  • num_completions_to_print (int, اختياري) — عدد الإكمالات التي سيتم طباعتها باستخدام rich. إذا كانت None، فسيتم تسجيل جميع الإكمالات.

فئة التهيئة الخاصة بـ experimental.async_distillation.AsyncDistillationTrainer.

تتضمن هذه الفئة فقط المعاملات الخاصة بالتقطير غير المتزامن على السياسة. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments. تعكس بنيتها بنية AsyncGRPOConfig (خط أنابيب غير متزامن، خادم vLLM، حقول التسجيل هي نفسها)، مع استبدال حقول القص/المجموعة الخاصة بـ GRPO بحقول خسارة تقطير المعلم أدناه.

تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:

  • logging_steps: القيمة الافتراضية هي 1 بدلاً من 500.
  • gradient_checkpointing: القيمة الافتراضية هي True بدلاً من False.
  • bf16: القيمة الافتراضية هي True إذا لم يتم تعيين fp16، بدلاً من False.
  • learning_rate: القيمة الافتراضية هي 1e-6 بدلاً من 5e-5.
  • ignore_data_skip: القيمة الافتراضية هي True بدلاً من False؛ حلقة التخطي وإعادة التشغيل الخاصة بـ Trainer الأساسي لا تنطبق على طابور rollout غير المتزامن.

AsyncDistillationTrainer

فئة trl.experimental.async_distillation.AsyncDistillationTrainer

< >

( model: str | PreTrainedModelargs: trl.experimental.async_distillation.async_distillation_config.AsyncDistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )

المعاملات

  • model (str أو PreTrainedModel) — نموذج الطالب الذي سيتم تدريبه. يمكن أن يكون أحد ما يلي:
    • A string, being the model id of a pretrained model hosted inside a model repo on huggingface.co, or a path to a directory containing model weights saved using save_pretrained. Loaded with from_pretrained.
    • كائن PreTrainedModel. يتم تبديل تنفيذ الانتباه فيه إلى واجهة FlashAttention الخاصة بمدرب التدريب للتدريب بدون حشو.

    يُستخدم اسم النموذج من ملف الإعداد لتحديد نموذج الطالب على خادم vLLM الخاص به.

  • args (experimental.async_distillation.AsyncDistillationConfig، اختياري) — إعدادات لهذا المدرب. إذا كانت None، يتم استخدام إعداد افتراضي.
  • train_dataset (Dataset أو IterableDataset) — مجموعة البيانات المستخدمة للتدريب. يجب أن تتضمن عمود "prompt" (بصيغة conversational). يتم تجاهل أي أعمدة إضافية.
  • processing_class (PreTrainedTokenizerBase، اختياري) — فئة المعالجة المستخدمة لمعالجة البيانات. إذا كانت None، يتم تحميلها من اسم النموذج باستخدام from_pretrained. إذا لم يكن لديها رمز تعبئة، يتم استخدام tokenizer.eos_token.
  • callbacks (قائمة من TrainerCallback، اختياري) — قائمة من الاستدعاءات المخصصة لتخصيص حلقة التدريب، تُضاف إلى الاستدعاءات الافتراضية (انظر هنا).
  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]، اختياري، القيمة الافتراضية (None, None)) — مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. القيمة الافتراضية هي AdamW وجدولة خطية تتحكم بها args.
  • peft_config (PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانت None، فلن يتم تغليف النموذج. عند بدء تشغيل خادم vLLM الخاص بالطالب مع --enable-lora، يتم مزامنة مُكيّف LoRA معه كمُكيّف بدلاً من أوزان مدمجة؛ راجع قسم LoRA في توثيق AsyncDistillation.

النظير غير المتزامن لـ DistillationTrainer، مُصمَّم تمامًا مثل AsyncGRPOTrainer: يعمل عامل نشر في الخلفية على توليد إكمالات الطالب المتوافقة مع السياسة وتقييمها مقابل خادم المعلم بينما يتقدم التدريب بالتوازي، مما يفصل عملية النشر عن حلقة تحديث التدرجات. حيث أن خسارة تدرج السياسة المقصوص في GRPO تقرأ ميزة نسبية على مستوى المجموعة، فإن compute_loss في هذا المدرب يقرأ توزيع معلم متناثر لكل موضع ويقلل JSD المعمم مقابل ذلك (انظر AsyncDistillationConfig.beta)، وهو دائمًا متوافق مع السياسة: الطالب يولّد كل إكمال يتدرب عليه.

على عكس DistillationTrainer المتزامن، يدعم هذا المدرب التقييم فقط مقابل معلم يُقدَّم عبر HTTP (خادم vLLM خارجي). لا يمكن تنفيذ تمريرة أمامية لمعلم محلي (داخل العملية، على وحدة معالجة الرسوميات) داخل العملية الفرعية المولَّدة التي تم تعطيل CUDA فيها، كما هو الحال مع دوال المكافآت في GRPO، بل سيتطلب ذلك بدلاً من ذلك أن يُنفَّذ مرة أخرى في عملية التدريب الرئيسية؛ ولم يتم تنفيذ هذا المسار بعد.

مثال:

>>> from trl.experimental.async_distillation import AsyncDistillationTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

>>> trainer = AsyncDistillationTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()
Update on GitHub