TRL documentation
التقطير غير المتزامن
التقطير غير المتزامن
يتطلب هذا المدرب
vllmوtransformers>=5.2.0وkernels(حيث يقوم التدريب بتحميل FlashAttention من Hub عبره). فيما يتعلق بالتدريب الموزع، يُدعم FSDP2 فقط (لا يُدعم DeepSpeed ZeRO).حاليًا، توجد قيود متضاربة على التبعيات بين
vllmوtransformers. للتحايل على ذلك، ثبّت vLLM أولاً، ثم ثبّت transformers قسريًا، ثم أضفkernelsعبر الإضافة الإضافية لـ TRL، والتي تثبّت الإصدار الذي يقبله transformers:pip install vllm pip install 'transformers>=5.2.0' --no-deps pip install 'trl[kernels]'
نظرة عامة
experimental.async_distillation.AsyncDistillationTrainer هو النظير غير المتزامن لـ DistillationTrainer، وقد صُمم على غرار AsyncGRPOTrainer: حيث يولّد عامل التوليد في الخلفية إكمالات خاصة بالطالب وفق سياسته، ثم يُقيّمها مقابل المعلم، بينما يتقدم التدريب بشكل متوازٍ بدلاً من التبديل بين التوليد وتحديثات التدرج. وعلى عكس المدرب المتزامن، لا يتم تحميل المعلم محلياً أبداً — بل يكفي عنوان خادم vLLM، مما يتيح للمعلم أن يعمل على أجهزة مختلفة تماماً عن الطالب والمدرب، أو أن يكون نموذجاً أكبر بكثير مما يمكن أن يتسع بجانب الطالب.
يقلل compute_loss من تباعد Jensen-Shannon المعمّم بين توزيعات الرموز لكل موقع بين الطالب والمعلم (beta=0.0 هو تباعد KL الأمامي، وbeta=1.0 هو تباعد KL العكسي، والقيم بينهما تعطي استيفاءً)، وهو الهدف نفسه الذي يستخدمه DistillationTrainer وServerDistillationTrainer. التدريب يكون دائمًا على السياسة: الطالب يولّد كل إكمال يتدرب عليه.
التقطير على السياسة متعددة المعلمين (MOPD)
لا يُعدّ MOPD جزءًا من ورقة 2306.13649 التي يستند إليها الهدف الأساسي لهذا المدرب (والتي تصف إعدادًا متزامنًا بمعلّم واحد)؛ بل هو طريقة مستقلة، وُصفت في MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training. هناك، يُشكّل MOPD المرحلة الثالثة من ثلاث مراحل: أولاً SFT عام، ثم تدريب RL مستقل لكل مجال على خبير واحد لكل مجال، ثم يدمج MOPD تلك الخبراء المتجمّدين في طالب واحد. ينفّذ AsyncDistillationTrainer المرحلة الثالثة، مرحلة الدمج، فقط: يجب أن يكون معلّمو الخبراء لكل مجال موجودين مسبقًا (مثلًا، مُدرَّبين بشكل منفصل باستخدام GRPOTrainer/RLOOTrainer) وأن يُقدَّموا عبر HTTP قبل أن تُوجّه teacher_server_urls نحوهم. تستخدم المرحلة الثالثة من الورقة نفسها KL العكسي (beta=1.0)، وليس القيمة الافتراضية لهذا المدرب beta=0.0 (KL الأمامي).
يقبل teacher_server_urls أكثر من إدخال واحد. عند استخدام إدخال واحد، تُقيَّم كل عينة بواسطة ذلك المعلم الواحد (التقطير على السياسة البسيط). عند استخدام عدة إدخالات، تختار عمود teacher_id الخاص بكل عينة تدريب أي معلم سيقوم بتقييمها — على سبيل المثال، توجيه استعلامات الرياضيات إلى معلم متخصص في الرياضيات واستعلامات الأكواد إلى معلم متخصص في الأكواد، حيث يُقدَّم كل معلم بشكل مستقل. تُوجَّه كل عينة إلى معلمها المطابق الوحيد، ولا يتم أخذ المتوسط أو الدمج عبر المعلمين. تثير العينة التي ينقصها teacher_id أو غير مُرمَّزة خطأً بدلاً من الرجوع بصمت إلى المعلم الخاطئ. راجع examples/async_distillation_mopd/async_distillation_mopd.py لمثال قابل للتشغيل يدمج خبراء الرياضيات والأكواد والالتزام بالتعليمات المُصدرين مع Open-MOPD في نقطة الفحص المشتركة SFT، وexamples/async_distillation_mopd/launcher.py لتشغيله على 4 وحدات معالجة رسومية بأمر واحد من Hugging Face Jobs.
يجب على كل مُعلِّم أن يشارك مُرمِّز الطالب نفسه. تصل الإكمالات إلى المُعلِّمين كمعرّفات رموز خام، والمعرّفات المرشحة التي يبلغ بها المُعلِّم تُفهرس مباشرةً مفردات الطالب الخاصة به في
compute_loss. المُعلِّمون المنتمون إلى نفس عائلة النماذج مثل الطالب (كما في مثال MOPD، حيث يُدمج طالب SmolLM3 من خبراء SmolLM3 مُدرَّبين من نفس نقطة الفحص) يحققون هذا الشرط؛ أما المُعلِّم ذو المفردات المختلفة فيدرّب الطالب ضد الرموز الخاطئة، بصمت ما لم تكن مفرداته أكبر من مفردات الطالب.
التحقق من الحالة واستئناف التدريب: القيمة الافتراضية لـ ignore_data_skip هي True؛ حلقة التخطي وإعادة التشغيل الأساسية في Trainer لا تنطبق على طابور النشر المباشر. بدلاً من ذلك، يتم حفظ فهرس أول موجه لم يتم تدريبه بعد في rollout_state.json جنباً إلى جنب مع كل نقطة تحقق، ويُستعاد عند الاستئناف، بحيث يتقدم العامل بسرعة إلى ذلك الموجه دون إعادة تشغيل العينات. إنه موضع التدريب، وليس موضع المولّد: يعمل العامل بأكثر من عمق طابور النشر من التدريب، وتُفقد العينات المخزنة مؤقتاً عند انتهاء التشغيل، لذا فإن الاستئناف من موضع المولّد سيتخطى الموجهات التي تم توليدها لكن لم يتم تدريبها عليها. لا يمكن إعادة تموضع مجموعات البيانات البثية (IterableDataset)؛ حيث يعيد عاملها التشغيل من الموجه 0 عند الاستئناف. عند استخدام FSDP مع bf16=True (الافتراضي) أو fp16=True، يُكتب model.safetensors في ذلك النوع من البيانات على الرغم من أن الأوزان الرئيسية هي fp32، لذا فإن نقطة التحقق المُرسلة تكون بحجم النموذج المُقدَّم، وليس ضعفه؛ لا تزال الأوزان الرئيسية fp32 وحالة المُحسِّن تذهب إلى ملفات الاستئناف (pytorch_model_fsdp.bin، optimizer.bin)، وهي ما يقرأه الاستئناف، لذا لا يتأثر الاستئناف. بدون FSDP، تكون نقطة التحقق هي أيضاً ملف الاستئناف، لذا فهي تحتفظ بنوع البيانات الرئيسي.
كيف يختلف عن DistillationTrainer
في DistillationTrainer، يكون المعلم نموذجًا محمّلًا محليًا: فالتوليد، وممر المعلم الأمامي، وتحديث التدرج كلها تحدث بشكل تسلسلي في نفس العملية. يفصل experimental.async_distillation.AsyncDistillationTrainer هذه المهام بالطريقة نفسها التي يفصل بها AsyncGRPOTrainer بين مرحلة التمرير (rollout) في GRPO ومرحلة التحديث:
- عامل النشر (عملية في الخلفية) — يولّد الإكمالات من خادم vLLM الخاص بالطالب، ويرسل التسلسل الكامل إلى
/v1/completionsالخاص بالمعلم المُحدَّد معprompt_logprobsللتقييم القسري من قِبل المعلم (دون توليد رموز جديدة من قِبل المعلم)، ويدفع العينات الجاهزة للتدريب إلى طابور. - حلقة التدريب (العملية الرئيسية) — تستخرج العينات من الطابور، وتحسب خسارة JSD المعممة، وتحديث أوزان الطالب.
بما أن المعلم يُقيَّم عبر HTTP بدلاً من تمريرة أمامية محلية، فإن الشريحة المتناثرة من أعلى k توزيعاته هي التي تُنقل فقط (teacher_top_k)، وليس المفردات الكاملة — راجع توثيق beta وteacher_top_k في experimental.async_distillation.AsyncDistillationConfig لمعرفة المرشحين الذين يضمن بروتوكول النقل وجود سجل احتمالات للمعلم لكل منهم في كل نظام beta.
بعد كل weight_sync_steps خطوات تدريب، يتم نقل أوزان الطالب المحدّثة إلى خادم vLLM الخاص به عبر NCCL. وكما هو الحال مع AsyncGRPOTrainer، فإن التوليد يسبق التدريب، لذا قد تعكس العينات سياسة قديمة قليلاً؛ ويتحكم max_staleness في عدد تحديثات الأوزان التي يمكن أن تتأخر عنها العينة قبل أن تُستبعد.
البدء السريع
# train_async_distillation.py
from datasets import load_dataset
from trl.experimental.async_distillation import AsyncDistillationTrainer
if __name__ == "__main__": # the rollout worker is a spawned process that re-imports this script
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = AsyncDistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()يجب أن يعمل خادم المعلم، وخادم vLLM الخاص بالطالب، والمدرب على وحدات معالجة رسومية منفصلة. كلاهما عبارة عن حالات vllm serve عادية، لكنهما يحتاجان إلى أعلام مختلفة: يتم تقييم المعلم فقط (--logprobs-mode processed_logprobs حتى تصل teacher_temperature إلى قيم logprobs المُعادَة، و--max-logprobs -1 حتى يمكن أن تتجاوز teacher_top_k الحد الافتراضي لـ vLLM البالغ 20)، بينما يتم توليد الطالب فقط ويحتاج إلى تمكين نقل الأوزان عبر NCCL حتى يتمكن المدرب من دفع الأوزان المحدّثة إليه. يرسل التقييم تسلسل الطالب بأكمله ويطلب من المعلم رمزًا إضافيًا واحدًا، لذا يجب أن يكون --max-model-len للمعلم (أو قيمته الافتراضية) أكبر من قيمة الطالب:
# Terminal 1: teacher server on GPU 0 (static, never updated)
CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen2.5-1.5B-Instruct \
--port 8001 \
--logprobs-mode processed_logprobs \
--max-logprobs -1# Terminal 2: student's vLLM server on GPU 1 (dev mode + NCCL weight transfer are required)
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
--port 8000 \
--weight-transfer-config '{"backend":"nccl"}'# Terminal 3: training on GPU 2
CUDA_VISIBLE_DEVICES=2 python train_async_distillation.pyLoRA
مرّر peft_config لتدريب مُكيّف LoRA على الطالب بدلاً من النموذج الكامل:
from peft import LoraConfig
trainer = AsyncDistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
peft_config=LoraConfig(r=32, lora_alpha=64, target_modules="all-linear"),
)يجب أن تحصل كل مزامنة للأوزان على الطالب المحدَّث على خادمه. افتراضيًا، يدمج المدرب المُكيِّف في النموذج الأساسي ويرسل الأوزان المدمجة الكاملة، والتي تبلغ حوالي 15 غيغابايت لنموذج 7B في كل مزامنة. ابدأ خادم vLLM الخاص بالطالب باستخدام --enable-lora وسيُرسل المُكيِّف فقط بدلاً من ذلك، أي حوالي 160 ميغابايت عند r=32:
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
--port 8000 \
--weight-transfer-config '{"backend":"nccl"}' \
--enable-lora \
--max-lora-rank 32 \
--max-loras 6يعرّف VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 نقطة النهاية التي يرسل إليها المُدرِّب كل مُكيِّف جديد. أضف VLLM_WORKER_MULTIPROC_METHOD=spawn إذا كنت تخدم التوازي على مستوى الموترات، وأبقِ --weight-transfer-config في كل الأحوال: يختار المُدرِّب وضع المزامنة فقط عند بدء التشغيل، وبحلول ذلك الوقت يكون الخادم قيد التشغيل بالفعل، وتُعد المزامنة المدمجة هي الوضع الاحتياطي. لا يتأثر خادم المُعلِّم: فهو لا يُحدَّث أبدًا.
يجب أن يكون --max-lora-rank أحد القيم التالية: 1, 8, 16, 32, 64, 128, 256, 320, 512. يحدد هذا الخيار أعلى رتبة يمكن للخادم تقديمها، وليس الرتبة التي سيقدمها بالضرورة، لذا فإن مُكيّف r=4 يعمل بشكل سليم تحت حد 8. يجب أن يكون --max-loras مساوياً على الأقل لـ max_staleness + 2: حيث يحتفظ المُدرّب بعدد من إصدارات المُكيّفات يساوي max_staleness + 1 مسجّلة، حتى يتمكن التمرين الذي بدأ تحت سياسة أقدم من الاكتمال تحت تلك السياسة بدلاً من تبديل السياسات في منتصف التوليد، كما يقوم كل مزامنة بتحميل الإصدار التالي قبل تفريغ أقدم إصدار. يتحقق المُدرّب من كلا القيمتين عند بدء التشغيل ويخبرك بالقيم التي يجب إعادة تشغيل الخادم بها.
يحمّل vLLM المُكيّفات من القرص بدلاً من الشبكة، لذا يكتب المُدرّب كل إصدار تحت <output_dir>/.vllm_lora/ ويمنح الخادم المسار. إذا كان الخادم يعمل على جهاز مختلف، فيجب أن يكون ذلك المجلد على نظام ملفات يمكن لكلٍّ منهما رؤيته.
<output_dir>/.vllm_lora/هو ذاكرة تخزين مؤقتة للخدمة، وليس المكان الذي يُحفظ فيه المُكيّف الذي درّبتَه. فهو يحتفظ فقط بأحدث الإصدارات، ويُحذف كل إصدار بعد فترة وجيزة من خروجه من نافذة الصلاحية. نقاط التفتيش هي ما يحفظ المُكيّف الذي درّبتَه، لذا لا تُعطِلها: معsave_strategy="no"، تنتهي عملية تدريب تستغرق ساعات دون أن تترك أي أثر. كما يجب أن يكونoutput_dirقابلاً للقراءة من قِبل الخادم، وأن يستمر في الوجود بعد انتهاء المهمة، لذا لن تعمل المساحة المؤقتة المحلية على العقدة، رغم أنها كانت ستُبقي عمليات المزامنة بعيداً عن نظام الملفات المشترك البطيء.
لا يكون مزامنة المُكيِّف (Adapter) أسرع دائمًا. يولّد vLLM بطيئًا بحوالي 1.33–1.39 مرة لكل رمز عند تقديم مُكيِّف LoRA مقارنةً بتقديم الأوزان المدمجة، وعادةً ما يكون التوليد هو ما يهيمن على الوقت الكلي. ما تحصل عليه مقابل ذلك هو توقف أقصر بكثير عند كل مزامنة، ونحو 1% من عرض نطاق المزامنة. إذا كان معدل إنتاجية التوليد هو عنق الزجاجة لديك، فإن المزامنة المدمجة غالبًا ما تكون الخيار الأفضل.
المقاييس المسجّلة
يمرّ التوليد بعدة مراحل قبل أن يتحول إلى تدرّج. لنلقِ نظرة أولاً على المراحل المختلفة، من الموجه إلى تكوين الدفعة النهائية لدينا:
Dataset row = PROMPT (message list + optional `teacher_id`)
└─ ROLLOUT (1 prompt -> 1 student completion -> 1 teacher scoring call)
├─ generate (student's vLLM /v1/completions, sampled)
└─ score (the routed teacher's /v1/completions with `prompt_logprobs`, teacher-forced)
└─ SAMPLE (prompt + completion + the teacher's sparse per-position distribution)
════════════ Trainer process boundary: `rollout_buffer` (mp.Queue) ════════════
└─ SAMPLE (Pulled 1 at a time; dropped if staleness > `max_staleness`)
└─ ROW (Planner assigns it to one of `dp` rows, Σ Lᵢ²-balanced)
└─ MICRO-BATCH (`dp` rows, one per rank)
└─ PACKED ROW (1 concat sequence, `position_ids` reset per sample)
└─ FORWARD (`compute_loss`, bs=1, inter-rank padding stripped)
└─ OPTIMIZER STEP (from `grad_accum` micro-batches)عند قراءتها من الأعلى إلى الأسفل:
- التوليد rollout هو موجه واحد يُنشأ مرة واحدة ويُقيَّم مرة واحدة. لا توجد مجموعة: فالتقطير لا يملك خط أساس للميزة يُحسب عبر الأجيال، لذا لا يُكرر الموجه، ويؤدي توليد واحد إلى عينة تدريب واحدة بالضبط.
- عينة sample هي ذلك الاكتمال بالإضافة إلى مرشحي
teacher_top_kالأوائل للمعلم في كل موضع من مواضع الاكتمال. وهذا هو ما يعبر عن حد العملية. - عند تجاوز الحد، يخطط المدرب العينات إلى صفوف (واحد لكل رتبة DP)، ويجمع كل صف في تسلسل واحد متصل، ويجمع
grad_accumدفعات مصغرة في خطوة مُحسِّن واحدة.
لذلك نقسم مقاييسنا بناءً على المرحلة (أو الكيان) التي تتعلق بها:
| namespace | الكيان الذي يحسبه |
|---|---|
rollout/ | دورة واحدة من التوليد والتقييم: المدة التي استغرقتها، والمسافة التي قطعتها |
completions/ | ما ولّده الطالب (vLLM) لموجّه واحد |
sample/ | يمثل عينة تدريب واحدة، كما تصل في الطابور |
batch/ | دفعة مصغرة واحدة أو خطوة مُحسِّن واحدة (مبنية من عينة واحدة أو عدة عينات) |
perf/ | الثواني المقاسة وعمليات FLOPs |
يُسجَّل كل ما تقيسه الدالة الخاسرة ذاتها دون بادئة (jsd، entropy، teacher_entropy)، مع تفصيل تحت teacher/<teacher_id>/* في إطار MOPD — راجع الانحراف أدناه.
لنعرّف أيضًا بعض المصطلحات لجعل مقاييس الرموز غير ملتبسة:
- الرموز المولّدة هي ما أنتجه الطالب (
completions/*). - الرموز المرسلة هي كل رمز يعالجه مسار forward: النص الأصلي والرموز المولّدة.
- trained tokens are the subset the loss is taken over where
completion_mask == 1. Trained ≠ generated: a completion position the teacher scored no candidate for is masked out of the divergence but still forwarded.
تُسجَّل المقاييس مرة واحدة لكل نافذة تسجيل: كل ما تم تسجيله منذ آخر تسجيل، والتي تغطي آخر logging_steps خطوات مُحسِّن. على مدى النافذة:
- يتم حساب المتوسط المقاس لكل تمرين أو عينة أو استدعاء، مثل
rollout/duration_sوrollout/score_s، عن طريق أخذ متوسط جميع التمارين أو العينات أو الاستدعاءات ضمن النافذة. أما المعدل مثلrollout/generated_tokens_per_sفيُحسب بقسمة إجمالي الرموز على إجمالي الثواني. - وإلا، يُجمَّع الاسم الذي يحتوي الجزء الأخير منه على كلمة
count:sample/dropped_stale_countهو عدد العينات المُهمَلة منذ آخر تسجيل، وليس منذ بداية التدريب. - يحتفظ الاسم الذي يحتوي الجزء الأخير منه على الكلمة
maxأوmin، مثلsample/staleness_maxأوcompletions/max_length، بالقيمة الأكبر أو الأصغر. - أي مقياس آخر هو متوسط القيم المسجلة في النافذة.
وحدات:
_s: ثوانٍ.tokens_per_s: عدد الرموز في الثانية._frac: نسبة بين 0 و 1._per_step: الكمية في خطوة مُحسِّن واحدة، مُتوسّطة على الخطوات في النافذة.
تحتفظ المقاييس التي تسجّلها أيضًا GRPOTrainer بأسمائها الخاصة بـ GRPO (completions/mean_length، completions/clipped_ratio).
كيف تتكوّن أرقام الدفعة
الصف هو ما يمرّره رتبة واحدة من DP في دفعة مصغّرة واحدة: عدة عينات مدمجة في تسلسل واحد، مع إعادة بدء position_ids عند كل حدّ بين العيّنات. يقرّر المخطّط أيّ العيّنات تقع في أيّ صف (مع موازنة Σ Lᵢ² حتى لا تتأخّر أيّ رتبة)، ويتولّى جامع البيانات عملية الدمج.
في جميع مقاييسنا، يعني مصطلح «خطوة» دائمًا خطوة مُحسِّن كاملة، وليس دفعة فرعية. تُشكّل gradient_accumulation_steps من الدفعات الفرعية خطوة واحدة، وكل مقياس يحمل اسم _per_step يكون لكل خطوة مُحسِّن، بما يتوافق مع global_step وlogging_steps وباقي مصطلحات Trainer. حيث يكون المقياس لكل دفعة فرعية، يُصرَّح بذلك صراحةً (batch/microbatches_per_step) أو يكون كمية لكل صف (batch/row_*، batch/samples_per_row).
لذلك، يحتوي كل خطوة على عدد ثابت من row-slots:
row-slots per step = gradient_accumulation_steps x world_sizeمما يجعل مقاييس الدفعة تتكوّن في سلّم يمكنك التحقق من بعضها البعض:
sample sample/forwarded_tokens_mean
└─ packed into a ROW batch/samples_per_row, batch/row_tokens_mean
└─ one row per DP rank = one micro-batch
└─ gradient_accumulation_steps micro-batches = one STEP
batch/samples_per_step, batch/forwarded_tokens_per_stepلذا batch/samples_per_step ≈ row-slots x batch/samples_per_row، وكذلك الأمر بالنسبة للرموز. يتطابق الجانبان فقط حتى مستوى التباين بين الدُفعات الدقيقة داخل الخطوة الواحدة — فمقاييس كل خطوة هي مجموع، بينما مقاييس كل صف هي متوسط — لذا توقع فرقًا بنسبة جزء من المئوية، وليس تطابقًا تامًا.
batch/row_fill_frac هو المؤشر الذي يجب مراقبته عندما تكون العينات طويلة: عينة من 10 آلاف رمز لا تملأ ميزانية 32 ألف رمز بشكل جيد (ثلاث عينات تتسع، وأربع لا تتسع أبدًا، لذا غالبًا ما يحصل الحاصد على عينتين فقط وتكون الصف ممتلئًا بنسبة 77% تقريبًا)، بينما تملأ العينات المكونة من 1000 رمز الميزانية بشكل شبه مثالي. هذا هو التكميم وليس خطأً برمجيًا، وtoken_budget هو العنصر الذي يمكن التحكم به — مع مراعاة أن الانتباه يعمل بتعقيد O(L²) لكل تسلسل، لذا فإن صفًا أكثر امتلاءً من التسلسلات الطويلة لا يستهلك ذاكرة أكثر بشكل خطي.
قائمة الانتظار للنشر
يدفع العامل العينات المُقيَّمة إلى طابور، بينما يسحب المدرب منها. أربعة مقاييس تصف ذلك الطابور الواحد، وتُجيب عن أسئلة مختلفة:
| مقياس | سؤال |
|---|---|
rollout/queue_size | كم عدد العينات التي تنتظر الآن |
sample/time_in_queue_s | مدى المدة التي قضاها عينة واحدة هناك قبل أن تُدرَّب عليها — النصف الثاني من ثوانٍ من عدم توافقها مع السياسة |
perf/rollout_wait_s | كم من الوقت كان التدريب متوقفًا بسبب كون الطابور فارغًا |
rollout/backpressure_s | مدى المدة التي انتظرها التوليد (العامل) لأنه كان متقدماً على التدريب بعدد خطوات max_staleness |
المقياسان الأخيران (perf/rollout_wait_s وrollout/backpressure_s) هما انعكاسان لبعضهما. قراءة هذين المقياسين معًا مع حجم الطابور تُظهر لك أي الجانب هو عنق الزجاجة:
- الطابور شبه فارغ، و
perf/rollout_wait_sمرتفع → مقيّد بالتوليد. المدرب يعاني من نقص الموارد؛ راجعrollout/generated_tokens_per_sوrollout/concurrencyوrollout/score_s. - طابور يحتفظ بحوالي
max_stalenessخطوات من الرموز، وrollout/backpressure_sمرتفع → مقيّد بالمدرب. يتم كبح التوليد، ويتراوحsample/staleness_meanبالقرب من حدّه. - كلاهما مرتفعان → حد
max_stalenessنفسه ضيق جدًا: عمليات التمرير الجارية تملأه قبل أن تصل عيناتها إلى الطابور، فينتظر المدرب بينما يتم كبح التوليد. ارفعmax_staleness. - كلاهما قريب من الصفر → متوازن!
إكمالات
اكتمال هو ما أنشأه خادم vLLM الخاص بالطالب لموجّه واحد.
| مقياس | المعنى |
|---|---|
completions/mean_length | الرموز المولّدة لكل تمريرة |
completions/min_length, completions/max_length | أقصر وأطول إكمال في النافذة |
completions/clipped_ratio | النسبة من المكملات التي لم تنتهِ بـ EOS، أي التي تم قطعها بواسطة max_completion_length |
completions/mean_terminated_length, completions/min_terminated_length, completions/max_terminated_length | نفس الأطوال، على المكملات التي انتهت بـ EOS |
التشغيل
التوليد هو استعلام واحد يُعالَج بالكامل: يولّده الطالب، ثم يُخضعه المعلم للتوجيه الإجباري. وبما أن استدعاء المعلم يقع على المسار الحرج لكل عملية توليد (على عكس GRPO، حيث يكون التقييم حلقة منفصلة على المجموعات المكتملة)، فإن بطء المعلم يظهر مباشرةً في rollout/duration_s.
| مقياس | المعنى |
|---|---|
rollout/duration_s | الوقت الفعلي لتمريرة واحدة، من الإرسال إلى عينة مُقيَّمة: التوليد و استدعاء المعلم |
rollout/score_s | من ذلك، الوقت الذي استغرقته دعوة المعلم /v1/completions |
teacher/<id>/score_s | MOPD فقط: الأمر نفسه، لكل معلم. خبير بطيء واحد يُبطئ فقط عمليات التوليد الموجهة إليه، وهو ما يخفيه المتوسط المدمج |
rollout/generated_tokens_per_s | معدل الإنتاجية خلال آخر فترة زمنية (نافذة زمنية)، بحيث يظهر أي توقف |
rollout/concurrency | عمليات النشر الجارية، أي تلك التي يتم توليدها أو تقييمها |
rollout/vllm_retry_count | طلبات vLLM المُعاد إرسالها، إلى خادم الطالب أو خادم المعلم. يبدو الخادم المتدهور أداءً على أنه بطء غير مفسر. يقع هذا العنصر هنا بدلاً من completions/ لأنه يعدّ الطلبات الموجّهة إلى الخادم، وليس النص المولّد |
rollout/backpressure_s | مدى المدة التي انتظرت فيها عملية التوليد لأنها كانت متقدمة بخطوات max_staleness. راجع قائمة الانتظار للتوزيع |
rollout/queue_size | العينات المُقيَّمة المنتظرة في طابور النشر، حيث يُقيس المدرب مكان سحبها. راجع طابور النشر |
عينات تصل من الطابور
كل عينة هي RolloutSample: موجه، وإكمال الطالب، وتقييم متناثر من المعلم له. يدفع العامل هذه العينات إلى rollout_buffer؛ وكل ما يلي يُقاس على جانب المدرب، حيث يسحبها للتدريب.
| مقياس | المعنى |
|---|---|
sample/forwarded_tokens_mean, sample/forwarded_tokens_max | الرموز في عينة واحدة: الاستعلام + النص المولّد. التعبئة مسألة على مستوى الصف، راجع batch/row_* |
sample/trained_tokens_mean | من بين تلك، كم عدد ما يُحسب عليه الخسارة |
sample/time_in_queue_s | مدى المدة التي قضاها هذا العينة في تلك الطابور قبل أن يُدرَّب عليها. ليس هو نفسه perf/rollout_wait_s — راجع طابور النشر |
sample/staleness_mean, sample/staleness_max | كم عدد إصدارات السياسة التي تسبق البيانات. يُظهر jsd التأثير لكونها خارج السياسة على الخسارة؛ وهذا يُظهر السبب |
sample/dropped_stale_count | عُزلت عينات لتجاوزها max_staleness |
الدفعات
تتكوّن كل دفعة فرعية مصغّرة من world_size صفوف (تذكّر أن التعبئة تسطّح البيانات في تسلسل واحد)، أي صف واحد لكل رتبة من رتب التوازي، بحيث تمرّر الرتبة i الصف i. وتُشكّل gradient_accumulation_steps من هذه الدفعات خطوة واحدة لمُحسِّن المعاملات. وتغطي الخطوة إجمالاً gradient_accumulation_steps × world_size صفًا. وكل مقياس من مقاييس _per_step أدناه هو مجموع على مدى الخطوة كاملة وعبر كل الرتب؛ أما مقاييس batch/row_* فهي متوسطات على الصفوف.
| مقياس | المعنى |
|---|---|
batch/forwarded_tokens_per_step, batch/trained_tokens_per_step | الرموز في خطوة واحدة من المُحسِّن، مُرسَلة ومدرَّبة على التوالي |
batch/samples_per_step | عينة تدريب لكل خطوة محسّن |
batch/microbatches_per_step | يتم احتسابها، وليس قراءتها من ملف الإعدادات |
batch/masked_token_frac | الرموز المُعاد توجيهها التي completion_mask == 0 — وهي الحصة من التمرير الأمامي التي لا تحقق أي تدرج |
batch/samples_per_row, batch/row_tokens_mean, batch/row_tokens_max | كثافة تعبئة المخطط لصف كل رتبة |
batch/row_fill_frac | row tokens مقابل token_budget. القيمة المنخفضة تعني أن الميزانية غير مستخدمة |
batch/row_imbalance | max Σ Lᵢ² / mean Σ Lᵢ² عبر الصفوف. نظرًا لأن الانتباه يعمل بتعقيد O(L²)، فإن هذا يتنبأ بالرتبة التي ستعطل عملية تجميع التدرجات. القيمة 1.0 مثالية |
batch/pad_frac | الحشو بين الرتب. تكلفته بايتات البث فقط؛ يتم إزالته قبل التمرير الأمامي |
batch/dropped_oversize_count | عُزلت عينات لتجاوزها token_budget |
التباعد
ما يقيسه الهدف نفسه، مُتوسطًا على الرموز المدرَّبة ضمن النافذة. هذه هي الأرقام التي يجب مراقبتها من أجل التعلّم، على عكس تلك المتعلقة بمعدل الإنتاجية.
| مقياس | المعنى |
|---|---|
jsd | الـ JSD المعمّم الذي تُقلّله الدالة الخاسرة، عند قيمة beta المُهيّأة. الانخفاض يعني أن توزيع الطالب يقترب من توزيع المعلم |
entropy | إنتروبيا التنبؤ الخاصة بالطالب نفسه. الانهيار هنا مع انخفاض jsd يعني أن الطالب يضيق نطاقه بدلاً من أن يتعلم |
teacher_entropy | إنتروبيا المعلم على المرشحين الذين أبلغ عنهم. وهو محدد من الأسفل بالقيمة الحقيقية، حيث أن المرشحين الذين يعبرون عبر الشبكة هم teacher_top_k فقط |
teacher/<id>/jsd | MOPD فقط: jsd مقيد بالرموز التي قيّمها المعلم. يمكن أن تتباعد المعلمون في مجالات مختلفة بمعدلات مختلفة جدًا، وهو ما يخلط بينه jsd المدمج |
teacher/<id>/entropy | MOPD فقط: نفس تفكيك teacher_entropy |
teacher/<id>/token_frac | MOPD فقط: نسبة الرموز المُقيَّمة التي أخذها المعلم. انحراف التوجيه غير مرئي في الحالات الأخرى: فمعلم محروم من الصفوف لا يزال يُبلّغ عن teacher/<id>/jsd سليم. |
aux_loss | خسارة موازنة الأحمال الخاصة بموجّه MoE لكل دفعة مصغّرة، مُتوسّطة عبر الرتب، وتُسجَّل عندما يعيد النموذج قيم logits للموجّه وrouter_aux_loss_coef ليست 0. على عكس الصفوف أعلاه، ليست هذه الخسارة متوسطًا لكل رمز |
لا توجد entropy لكل معلم على حدة: فانتروبيا الطالب هي خاصية بسياسته الخاصة، وليست مرتبطة بالمعلم الذي قيّم العينة، لذا فإن المقياس المدمج يغطي ذلك بالفعل.
الأداء
تقيس الإنتاجية عدد الرموز التي يعالجها المدرب في الثانية. استغلال عمليات النموذج (MFU) يقدّر النسبة المئوية من القدرة الحسابية النظرية لأجهزة التدريب المستخدمة في عمليات النموذج الأمامية والعكسية. تعتمد القدرة المستخدمة في هذا التقدير على العتاد ودقة التدريب.
يُبلَّغ عن معدل الإنتاجية وMFU على أساسَي زمنَين:
fwd_bwd_يقيس الأداء أثناء المرورين الأمامي والخلفي.wall_clock_يقيس الأداء على مدى خطوة المُحسِّن الكاملة، بما في ذلك تحديثات المُحسِّن، ومزامنة الأوزان، والوقت المنقضي في انتظار النتائج.
يساعد هذا الفرق في التمييز بين أداء الحساب وتكلفة الانتظار والتنسيق. تصف كلا مقياسي MFU أجهزة التدريب فقط: فهي لا تشمل قدرات الحساب أو العتاد لخوادم النشر الخارجي أو الخوادم المعلمة. يعكس مقياس MFU الزمني الفعلي الوقت الذي يقضيه المدرب في الانتظار على تلك الخدمات، وليس معدل استخدام تلك الخدمات نفسها.
يُبلَّغ عن MFU فقط عندما تكون سعة الحوسبة القصوى معروفة لجهاز التدريب المحلي عند الدقة المختارة، وعندما يدعم تقدير FLOPs بنية النموذج (مثل Llama وQwen2 وQwen3 وQwen3-MoE أو Qwen3-VL). وإلا، يُستثنى MFU؛ يستمر التدريب وتبقى مقاييس الإنتاجية والتوقيت متاحة.
| مقياس | المعنى |
|---|---|
perf/step_s | الوقت الفعلي بين خطوات المُحسِّن: يتضمن حسابات، المُحسِّن، مزامنة الأوزان وانتظار الطابور |
perf/fwd_bwd_s | المرور الأمامي + الخلفي، المجموع عبر الدُفعات الدقيقة للخطوة. هذا هو المقام لكل مقياس fwd_bwd_ أدناه |
perf/fwd_s | الجزء الأمامي منها. fwd_s / fwd_bwd_s بالقرب من 1/3 هو التقسيم المعتاد؛ والقيمة الأعلى تعني أن العملية العكسية رخيصة أو أن إعادة الحساب تُدفع في الجزء الأمامي |
perf/optimizer_s | optimizer.step() |
perf/rollout_wait_s | مدى الوقت الذي بقي فيه المدرب محجوباً بسبب كون قائمة الانتظار فارغة. راجع قائمة الانتظار للتوزيع |
perf/weight_sync_s | مزامنة كاملة، بالإضافة إلى _pause_s (انتظار vLLM)، و_barrier_s (انحراف الترتيب)، و_transfer_s (البايتات) |
perf/fwd_bwd_forwarded_tokens_per_s, perf/wall_clock_forwarded_tokens_per_s | الرموز المحوّلة في الثانية على كل أساس |
perf/wall_clock_trained_tokens_per_s | نفس الشيء، مع احتساب الرموز التي رصدها الخسارة فقط |
perf/fwd_bwd_mfu, perf/wall_clock_mfu | استخدام FLOPs للنموذج على كل أساس |
فلسفة التصميم
تم تصميم هذا المُدرِّب ليظل بسيطًا بأقل قدر ممكن، وليس المقصود به أن يتطور ليصبح حلًا عامًا. إذا كنت بحاجة إلى ميزة غير مدعومة، فننصحك بنسخ المستودع وتكييف المُدرِّب ليناسب احتياجاتك مباشرة. لن تُنظر في الميزات الجديدة إلا عند وجود طلب كبير من المجتمع.
AsyncDistillationConfig
فئة trl.experimental.async_distillation.AsyncDistillationConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 1logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Truerestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonedtype: str = 'float32'trust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonemax_completion_length: int = 2048temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0chat_template_kwargs: dict | str | None = Nonevllm_server_base_url: str = 'http://localhost:8000'vllm_server_timeout: float = 1800.0teacher_server_urls: dict[str, str] | str | None = Nonebeta: float = 0.0teacher_temperature: float = 1.0teacher_top_k: int = 8add_tail_bucket: bool = Truetoken_budget: int | None = Nonemax_concurrent_rollouts: int = 512max_staleness: int = 4weight_sync_steps: int = 1rollout_worker_timeout: float = 300.0log_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = None )
المعاملات التي تتحكم في النموذج
- model_init_kwargs (
dict[str, Any]أوstr، اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عند إنشاء نموذج الطالب من مسار. تُستخدم قيمةrevisionأيضًا عند تحميل فئة المعالجة. - dtype (
str, اختياري, الافتراضي هو"float32") — نوع البيانات الذي يُحمَّل به نموذج الطالب، وهو أحد"auto","bfloat16","float16"أو"float32". الافتراضي هو"float32"لأن عدم التطابق بين التدريب والاستدلال الذي تُقاس عليه مدرِّبات التزامنتجاوز عدم التطابق بين التدريب والاستدلال عبر FP16) حساس لدقة المدرِّب نفسه. إغلاق هذه الفجوة من البداية إلى النهاية يتطلب أيضًا تقديم خادم vLLM الخاص بالطالب بنفس نوع البيانات (vllm serve --dtype). Adtypeفيmodel_init_kwargsيتمتع بأولوية. لا تتأثر خوادم المعلم: فهي لا تُحدَّث أبدًا.هذا يضبط فقط نوع البيانات (dtype) الذي تُحمَّل به الأوزان. عند استخدام FSDP مع الدقة المختلطة (الافتراضي هو
bf16=True)، يقوم accelerate بترقية كل معامل قابل للتدريب إلى fp32 قبل التقسيم، لذا فإن الأوزان الرئيسية وحالة المُحسِّن تكون من نوع fp32 بغض النظر عما يقولهdtype، بينما يتم تنفيذ التقدّم والتراجع في bf16 أو fp16. ثم تُكتب نقاط التفتيش (Checkpoints) في نوع البيانات الخاص بالدقة المختلطة، وليس في fp32. بدون FSDP لا يحدث أي ترقية: استخدامdtype="bfloat16"معbf16=Trueيحافظ على أوزان وحالات مُحسِّن من نوع bf16، وهو ما يمثل تدريبًا خالصًا في bf16. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. - router_aux_loss_coef (
float, اختياري) — معامل خسارة التوازن على الأحمال المساعدة لنماذج مزيج الخبراء (MoE)، تُضاف إلى خسارة التدريب بهذا الوزن. عند عدم تعيينه، يُستخدم القيمة المُعلنة في إعدادات النموذج. عيّن0.0لتعطيله. يفشل عند استخدامه مع نموذج غير MoE.
المعاملات التي تتحكم في التوليد
- max_completion_length (
int، اختياري، القيمة الافتراضية2048) — الحد الأقصى لعدد الرموز (tokens) التي سيتم توليدها لكل استكمال. - temperature (
float، اختياري، القيمة الافتراضية1.0) — درجة الحرارة المستخدمة في أخذ عينات من استكمالات الطالب وفق سياسته. - top_p (
float، اختياري، القيمة الافتراضية1.0) — معامل أخذ العينات Top-p (النواة) للتوليد وفق السياسة. - top_k (
int، اختياري، القيمة الافتراضية0) — معامل أخذ العينة Top-k للتوليد وفق السياسة. تعطيل0تصفية Top-k. - min_p (
float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين0.0و1.0. القيم النموذجية تقع في نطاق0.01-0.2. - repetition_penalty (
float، اختياري، القيمة الافتراضية1.0) — قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم >1.0تشجع النموذج على استخدام رموز جديدة، بينما القيم <1.0تشجع النموذج على تكرار الرموز. - chat_template_kwargs (
dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى دالةapply_chat_templateعند توليد الإكمالات.
المعاملات التي تتحكم في خوادم vLLM
- vllm_server_base_url (
str، اختياري، القيمة الافتراضية"http --//localhost:8000"): العنوان الأساسي لخادم vLLM الخاص بالطالب، ويُستخدم لكلًا من التوليد وبث تحديثات الأوزان. - vllm_server_timeout (
float, اختياري، القيمة الافتراضية1800.0) — مهلة بالثواني للاتصالات مع خوادم vLLM: انتظار جاهزية خادم الطالب عند بدء التشغيل، وكل طلب توليد أو تقييم، وكل استدعاء مزامنة الأوزان. يرفع خطأً عند انتهاء مهلة انتظار الخادم واستدعاءات مزامنة الأوزان؛ أما طلب التوليد أو التقييم الذي تتجاوز مهلته فيُعاد. - teacher_server_urls (
dict[str, str]، اختياري، القيمة الافتراضية{"default" -- "http://localhost:8001"}): خوادم vLLM للمعلم، حيث يُشغَّل كل خادم باستخدامvllm serve <teacher-model> --logprobs-mode processed_logprobs --max-logprobs -1. كل معلم ثابت: هذا المدرب لا يبث تحديثات الأوزان إلى أي منها، لذا لا يحتاج المعلم إلىVLLM_SERVER_DEV_MODEولا إلى خلفية لنقل الأوزان، بل إلى هذين العلمين فقط، اللذين يجعلان التقييم دقيقاً (انظرteacher_temperatureوteacher_top_k). يجب أن يتشارك كل معلم مع الطالب نفس مُجزِّئ النص: تُرسل الإكمالات كمعرّفات رموز خام، وتُستخدم المعرّفات التي يبلغ بها المعلم مباشرةً للتفهرس في قاموس الطالب الخاص به فيcompute_loss. المعلم ذو القاموس المختلف يدرّب على الرموز الخاطئة، بصمت إذا كان قاموسه ليس أكبر من قاموس الطالب. التقييم هو طلب مُجبَر بالمعلم على رموز إكمال الطالب الخاصة به (max_tokens=1،prompt_logprobs=teacher_top_k،temperature=teacher_temperature)، وهو نفس الطلب الذي يصدرهget_sequence_logprobs()للمدرّبين على خادم المعلم المتزامن. بسبب ذلك الرمز المُلغى، يحتاج المعلم إلى--max-model-lenأكبر من ذلك الخاص بالطالب، وإلا تعذّر تقييم أطول الإكمالات. يُقيّم إدخال واحد كل عينة (التقطير على السياسة أحادي المعلم العادي، وهو الافتراضي). تمكّن الإدخالات المتعددة MOPD (التقطير على السياسة متعدد المعلمين، انظر MOPD): عمودteacher_idفي كل صف تدريب يختار الإدخال الذي سيقيّمه، على سبيل المثال{"math": "http://localhost:8002", "code": "http://localhost:8003"}معteacher_idيساوي"math"أو"code"لكل صف.
المعاملات التي تتحكم في خسارة التقطير
- beta (
float، اختياري، القيمة الافتراضية0.0) — معامل الاستيفاء لتباعد جنسن-شانون المعمّم.0.0هو تباعد KL الأمامي (الذي يسعى نحو المتوسط)، و1.0هو تباعد KL العكسي (الذي يسعى نحو الوضع)، والقيم بين الاثنين تُستوفى، وفقًا لنفس صياغة JSD المعمّمة التي يحسبها DistillationTrainer داخليًا. يختلف الدعم الذي يُحسب عليه التباعد حسب النظام، على غرارServerDistillationTrainer: عندbeta=0.0، يُستخدم الدعم الكامل الذي يبلغ عرضهteacher_top_kكما يبلغه المعلم (إضافةً إلى سلّة الذيل)، لأن وزن تباعد KL الأمامي هو بالضبط ما يوفره ذلك الدعم. أما عندbeta != 0.0، فيُضيَّق الدعم ليقتصر على مرشحين فقط — الرمز الأعلى ترتيبًا (top-1) الخاص بالمعلم نفسه والرمز الفعلي/المحقق في الإكمال — لأن هذين هما الرمزان الوحيدان اللتين تضمن بروتوكول النقل وجود احتمال سجل (logprob) للمعلم لهما دون إرسال مفردات أوسع (أو كاملة)؛ فأي شيء أوسع لن يكون سوى تقريب احتمالي لتغطية الرموز المرجحة للطالب نفسه، وليس ضمانًا. - teacher_temperature (
float, اختياري، القيمة الافتراضية1.0) — درجة حرارة Softmax للانحراف، تُطبَّق على كلا الجانبين: تُرسل إلى المعلم حتى يحسب vLLM قيم logprobs الخاصة به عند هذه درجة الحرارة على مستوى الخادم (بشكل دقيق، وليس إعادة تحجيم على مستوى العميل)، وتُطبَّق على قيم logits الخاصة بالطالب فيcompute_loss، على غرارServerDistillationTrainerالذي يستخدم قيمةtemperatureواحدة. لا علاقة له بـtemperatureالذي يتحكم فقط في كيفية عينة الطالب لإكمالاته. يجب أن يعمل خادم المعلم مع--logprobs-mode processed_logprobsحتى تصل هذه الإعدادات إلى قيم logprobs المُعادَة؛ وبدونها يقوم المعلم بإبلاغ قيم logprobs الخام بصمت، ولا يؤثر هذا الإعداد إلا على جانب الطالب. - teacher_top_k (
int، اختياري، القيمة الافتراضية8) — عدد مرشحات الرموز لكل موضع يُطلب من المعلم عبرprompt_logprobs. تُستخدم هذه المرشحات فقط (إلى جانب الرمز المحقق، الذي يبلّغ عنه vLLM دائمًا حتى لو كان خارج نطاق أعلى k، بالإضافة إلى دلو ذيل يلتقط كتلة الاحتمال المتبقية، انظرadd_tail_bucket) لتقريب توزيع المعلم، ولا يُنقل المفردات الكاملة عبر HTTP أبدًا. جانب الطالب في التباعد دقيق (يُحسب محليًا، وليس تقريبًا)، لأن الطالب هو النموذج قيد التدريب، وتكون جميع قيم logits الخاصة به متاحة بالفعل فيcompute_loss. القيمة8هي قيمة افتراضية خفيفة لاختبارات الدخان؛ وتستخدم إعدادات التقطير على السياسة الإنتاجية في أطر التعلم المعزز المجاورة دعمًا متناثرًا للمعلم في نطاق مشابه تقريبًا (القيمة الافتراضية في miles هي16، وفي EasyOPD هي64)، لذا فإن رفع هذه القيمة نحو16–64معقول بمجرد بدء التدريب الفعلي. أي قيمة أعلى من20تتطلب أن يكون خادم المعلم قد تم تشغيله مع--max-logprobs -1، مما يرفع الحد الأقصى الافتراضي لقيم logprob لكل رمز في vLLM. - add_tail_bucket (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إضافة دلو ذيلي يمثل كتلة الاحتمال المتبقية خارجteacher_top_k، لتجنّب تباعد صغير بشكل تافه عندما يكونteacher_top_kصغيراً. - token_budget (
int، اختياري) — الحد الأقصى لعدد الرموز الفعلية المُجمَّعة في صف واحد (تمريرة أمامية لرتبة DP واحدة). يُشكّلTokenBudgetBatcherدفعات مصغّرة متوازنة وفق Σ Lᵢ² بحيث يبقى كل صف ضمن هذا الميزانية، مما يحدّ من ذروة الذاكرة بشكل مستقل عن عدد العينات (حيث يصبح عدد العينات في كل صف ديناميكيًا). إذا كانNone(الافتراضي)، يتم تعيينه إلىmax_model_lenلخادم vLLM الخاص بالطالب (يتم الاستعلام عنه عند بدء التدريب) — وهو الحد الأقصى لطول الاستدعاء + الإكمال — بحيث لا يمكن لأي عينة rollout تجاوز الميزانية أبدًا. أي عينة أطول منtoken_budgetلا تتسع في أي صف وتُستبعد مع تحذير، وتُحتسب ضمنbatch/dropped_oversize_count.
المعاملات التي تتحكم في خط أنابيب النشر غير المتزامن
- max_concurrent_rollouts (
int, اختياري، القيمة الافتراضية512) — الحد الأقصى لعدد عمليات التوليد المتزامنة الجارية في آنٍ واحد ضد خوادم vLLM الخاصة بالطالب والمعلمين، سواء كانت قيد التوليد أو قيد التقييم. - max_staleness (
int, اختياري، القيمة الافتراضية4) — الحد الأقصى لعدد خطوات تحديث الأوزان التي يمكن أن يتأخر عنها عينة rollout قبل أن تُستبعد. يتم التمسك بهذا الحد: لا يبدأ rollout إلا عندما تتسع الرموز المُجمّعة والقائمة على التنفيذ ضمن ما يستهلكه المدرب فيmax(max_staleness, 1)خطوات. - weight_sync_steps (
int، اختياري، القيمة الافتراضية1) — عدد خطوات التدريب بين مزامنات الأوزان إلى خادم vLLM الخاص بالطالب. - rollout_worker_timeout (
float, اختياري، القيمة الافتراضية300.0) — عدد الثواني منذ آخر نبضة قلب من عامل التمرير (rollout worker) قبل أن يعتبر المدرب العامل متوقفًا عن الاستجابة ويُلغي العملية.
المعاملات التي تتحكم في التسجيل
- log_completions (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تسجيل عينة من أزواج (الموجّه، الإكمال) كلlog_completions_stepsعينات مُقيَّمة. - log_completions_steps (
int, اختياري، القيمة الافتراضية100) — عدد العينات المُقيَّمة بين تسجيل عمليات الإكمال. يُستخدم فقط إذا كانlog_completionsهوTrue. يُحسب بناءً على العينات التي قيّمها عامل التوليد، وليس خطوات المُحسِّن: يعمل العامل في عملية منفصلة عن المُدرِّب ولا يملك رؤية إلىself.state.global_step. - num_completions_to_print (
int, اختياري) — عدد الإكمالات التي سيتم طباعتها باستخدامrich. إذا كانتNone، فسيتم تسجيل جميع الإكمالات.
فئة التهيئة الخاصة بـ experimental.async_distillation.AsyncDistillationTrainer.
تتضمن هذه الفئة فقط المعاملات الخاصة بالتقطير غير المتزامن على السياسة. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments. تعكس بنيتها بنية AsyncGRPOConfig (خط أنابيب غير متزامن، خادم vLLM، حقول التسجيل هي نفسها)، مع استبدال حقول القص/المجموعة الخاصة بـ GRPO بحقول خسارة تقطير المعلم أدناه.
تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:
logging_steps: القيمة الافتراضية هي1بدلاً من500.gradient_checkpointing: القيمة الافتراضية هيTrueبدلاً منFalse.bf16: القيمة الافتراضية هيTrueإذا لم يتم تعيينfp16، بدلاً منFalse.learning_rate: القيمة الافتراضية هي1e-6بدلاً من5e-5.ignore_data_skip: القيمة الافتراضية هيTrueبدلاً منFalse؛ حلقة التخطي وإعادة التشغيل الخاصة بـ Trainer الأساسي لا تنطبق على طابور rollout غير المتزامن.
AsyncDistillationTrainer
فئة trl.experimental.async_distillation.AsyncDistillationTrainer
< source >( model: str | PreTrainedModelargs: trl.experimental.async_distillation.async_distillation_config.AsyncDistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )
المعاملات
- model (
strأو PreTrainedModel) — نموذج الطالب الذي سيتم تدريبه. يمكن أن يكون أحد ما يلي:- A string, being the model id of a pretrained model hosted inside a model repo on huggingface.co, or a path to a directory containing model weights saved using save_pretrained. Loaded with from_pretrained.
- كائن PreTrainedModel. يتم تبديل تنفيذ الانتباه فيه إلى واجهة FlashAttention الخاصة بمدرب التدريب للتدريب بدون حشو.
يُستخدم اسم النموذج من ملف الإعداد لتحديد نموذج الطالب على خادم vLLM الخاص به.
- args (experimental.async_distillation.AsyncDistillationConfig، اختياري) —
إعدادات لهذا المدرب. إذا كانت
None، يتم استخدام إعداد افتراضي. - train_dataset (Dataset أو IterableDataset) —
مجموعة البيانات المستخدمة للتدريب. يجب أن تتضمن عمود
"prompt"(بصيغة conversational). يتم تجاهل أي أعمدة إضافية. - processing_class (PreTrainedTokenizerBase، اختياري) —
فئة المعالجة المستخدمة لمعالجة البيانات. إذا كانت
None، يتم تحميلها من اسم النموذج باستخدام from_pretrained. إذا لم يكن لديها رمز تعبئة، يتم استخدامtokenizer.eos_token. - callbacks (قائمة من TrainerCallback، اختياري) — قائمة من الاستدعاءات المخصصة لتخصيص حلقة التدريب، تُضاف إلى الاستدعاءات الافتراضية (انظر هنا).
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]، اختياري، القيمة الافتراضية(None, None)) — مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. القيمة الافتراضية هيAdamWوجدولة خطية تتحكم بهاargs. - peft_config (
PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانتNone، فلن يتم تغليف النموذج. عند بدء تشغيل خادم vLLM الخاص بالطالب مع--enable-lora، يتم مزامنة مُكيّف LoRA معه كمُكيّف بدلاً من أوزان مدمجة؛ راجع قسم LoRA في توثيق AsyncDistillation.
النظير غير المتزامن لـ DistillationTrainer، مُصمَّم تمامًا مثل AsyncGRPOTrainer: يعمل عامل نشر في الخلفية على توليد إكمالات الطالب المتوافقة مع السياسة وتقييمها مقابل خادم المعلم بينما يتقدم التدريب بالتوازي، مما يفصل عملية النشر عن حلقة تحديث التدرجات. حيث أن خسارة تدرج السياسة المقصوص في GRPO تقرأ ميزة نسبية على مستوى المجموعة، فإن compute_loss في هذا المدرب يقرأ توزيع معلم متناثر لكل موضع ويقلل JSD المعمم مقابل ذلك (انظر AsyncDistillationConfig.beta)، وهو دائمًا متوافق مع السياسة: الطالب يولّد كل إكمال يتدرب عليه.
على عكس DistillationTrainer المتزامن، يدعم هذا المدرب التقييم فقط مقابل معلم يُقدَّم عبر HTTP (خادم vLLM خارجي). لا يمكن تنفيذ تمريرة أمامية لمعلم محلي (داخل العملية، على وحدة معالجة الرسوميات) داخل العملية الفرعية المولَّدة التي تم تعطيل CUDA فيها، كما هو الحال مع دوال المكافآت في GRPO، بل سيتطلب ذلك بدلاً من ذلك أن يُنفَّذ مرة أخرى في عملية التدريب الرئيسية؛ ولم يتم تنفيذ هذا المسار بعد.
مثال:
>>> from trl.experimental.async_distillation import AsyncDistillationTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
>>> trainer = AsyncDistillationTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()