TRL documentation
Chưng cất bất đồng bộ
Chưng cất bất đồng bộ
Trainer này yêu cầu
vllm,transformers>=5.2.0vàkernels(quá trình huấn luyện sẽ nạp FlashAttention từ Hub thông qua thư viện này). Đối với huấn luyện phân tán, chỉ hỗ trợ FSDP2 (không hỗ trợ DeepSpeed ZeRO).Hiện tại,
vllmvàtransformerscó các ràng buộc phụ thuộc xung đột nhau. Để khắc phục, hãy cài đặt vLLM trước, sau đó ép buộc cài đặt transformers, rồi thêmkernelsthông qua extra của TRL, phần này sẽ cố định phiên bản mà transformers chấp nhận:pip install vllm pip install 'transformers>=5.2.0' --no-deps pip install 'trl[kernels]'
Tổng quan
experimental.async_distillation.AsyncDistillationTrainer là phiên bản bất đồng bộ của DistillationTrainer, được thiết kế tương tự AsyncGRPOTrainer: một worker rollout chạy nền tạo ra các câu trả lời on-policy do chính student sinh ra và chấm điểm chúng dựa trên teacher, trong khi quá trình huấn luyện diễn ra đồng thời thay vì luân phiên giữa việc sinh dữ liệu và cập nhật gradient. Khác với trainer đồng bộ, teacher không bao giờ được tải cục bộ — chỉ cần một URL của server vLLM, do đó teacher có thể chạy trên phần cứng hoàn toàn tách biệt với student và trainer, hoặc thậm chí là một mô hình lớn hơn nhiều so với mức mà student có thể chạy cùng.
compute_loss tối thiểu hóa độ phân kỳ Jensen-Shannon tổng quát giữa phân phối token theo từng vị trí của học sinh và giáo viên (beta=0.0 là KL thuận, beta=1.0 là KL nghịch, các giá trị ở giữa là nội suy), cùng mục tiêu mà DistillationTrainer và ServerDistillationTrainer sử dụng. Quá trình huấn luyện luôn theo chính sách: học sinh tự sinh ra mọi phần hoàn thiện mà nó dùng để huấn luyện.
Đa giáo viên trên chính sách chưng cất (MOPD)
MOPD không phải là một phần của bài báo 2306.13649, vốn là cơ sở cho mục tiêu cốt lõi của trainer này (bài báo đó mô tả một thiết lập đồng bộ, đơn giáo viên); đây là một phương pháp riêng biệt, được mô tả trong MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training. Trong đó, MOPD là giai đoạn thứ ba trong ba giai đoạn — SFT tổng quát, sau đó là huấn luyện RL độc lập theo từng miền với một chuyên gia cho mỗi miền, rồi MOPD kết hợp các chuyên gia đóng băng đó thành một học sinh duy nhất. AsyncDistillationTrainer chỉ triển khai giai đoạn kết hợp thứ ba này: các giáo viên chuyên gia theo từng miền phải đã tồn tại (ví dụ: được huấn luyện riêng biệt bằng GRPOTrainer/RLOOTrainer) và được phục vụ qua HTTP trước khi bạn trỏ teacher_server_urls đến chúng. Giai đoạn 3 của chính bài báo sử dụng reverse KL (beta=1.0), không phải giá trị mặc định beta=0.0 (forward KL) của trainer này.
teacher_server_urls chấp nhận nhiều hơn một mục. Với một mục duy nhất, mọi mẫu đều được chấm điểm bởi một teacher đó (phương pháp on-policy distillation thông thường). Với nhiều mục, cột teacher_id của mỗi mẫu huấn luyện sẽ chọn teacher nào chấm điểm cho mẫu đó — ví dụ, định tuyến các prompt toán học đến teacher chuyên về toán và các prompt mã nguồn đến teacher chuyên về mã nguồn, mỗi teacher được phục vụ độc lập. Mỗi mẫu được gửi đến đúng một teacher tương ứng, không bao giờ được trung bình hóa hoặc kết hợp (ensemble) giữa các teacher. Một mẫu có teacher_id bị thiếu hoặc không được ánh xạ sẽ gây ra lỗi thay vì âm thầm chuyển sang teacher sai. Xem examples/async_distillation_mopd/async_distillation_mopd.py để có một ví dụ có thể chạy, kết hợp các chuyên gia về toán, mã nguồn và tuân theo chỉ thị được phát hành cùng Open-MOPD vào checkpoint SFT chung của chúng, và examples/async_distillation_mopd/launcher.py để chạy nó trên 4 GPU với một lệnh Hugging Face Jobs duy nhất.
Mỗi teacher phải dùng chung tokenizer của student. Các completions được gửi đến các teacher dưới dạng raw token ids, và các candidate ids mà một teacher báo cáo lại sẽ chỉ trực tiếp vào bảng từ vựng của student trong
compute_loss. Các teacher cùng họ model với student (như trong ví dụ MOPD, nơi một student SmolLM3 được tổng hợp từ các chuyên gia SmolLM3 được huấn luyện từ cùng một checkpoint) đáp ứng điều này; một teacher có bảng từ vựng khác sẽ huấn luyện student theo các token sai, một cách âm thầm trừ khi bảng từ vựng của nó lớn hơn bảng từ vựng của student.
Checkpoint và tiếp tục: ignore_data_skip mặc định là True; vòng lặp bỏ qua và phát lại của Trainer cơ sở không áp dụng cho hàng đợi rollout trực tiếp. Thay vào đó, chỉ mục của prompt đầu tiên chưa được huấn luyện sẽ được lưu vào rollout_state.json cùng với mỗi checkpoint và được khôi phục khi tiếp tục, nhờ đó worker nhanh chóng chuyển đến prompt đó mà không cần phát lại các mẫu. Đây là vị trí đã huấn luyện, không phải vị trí của trình tạo: worker chạy trước tiến độ huấn luyện một khoảng bằng độ sâu của hàng đợi rollout, và các mẫu được đệm đó sẽ bị mất khi phiên chạy kết thúc, do đó việc tiếp tục từ vị trí của trình tạo sẽ bỏ qua các prompt đã được tạo ra nhưng chưa bao giờ được huấn luyện. Dữ liệu dạng luồng (IterableDataset) không thể được định vị lại; worker của chúng sẽ khởi động lại từ prompt 0 khi tiếp tục. Dưới FSDP với bf16=True (mặc định) hoặc fp16=True, model.safetensors được ghi ở dtype đó ngay cả khi trọng số chính là fp32, nên một checkpoint được đẩy đi có kích thước bằng mô hình được phục vụ, chứ không phải gấp đôi; trọng số chính fp32 và trạng thái optimizer vẫn được đưa vào các tệp tiếp tục (pytorch_model_fsdp.bin, optimizer.bin), đây là những tệp mà quá trình tiếp tục sẽ đọc, nên việc tiếp tục không bị ảnh hưởng. Không có FSDP, checkpoint cũng chính là tệp tiếp tục, nên nó giữ nguyên dtype chính.
Cách nó khác với DistillationTrainer
Trong DistillationTrainer, teacher là một model được nạp cục bộ: quá trình sinh, forward pass của teacher và cập nhật gradient đều diễn ra tuần tự trong cùng một tiến trình. experimental.async_distillation.AsyncDistillationTrainer tách biệt các khía cạnh này theo cách tương tự mà AsyncGRPOTrainer tách rollout của GRPO khỏi bước cập nhật của nó:
- Worker rollout (quá trình nền) — tạo các chuỗi hoàn thành từ máy chủ vLLM của học sinh, gửi toàn bộ chuỗi về
/v1/completionscủa giáo viên đã được phân giải vớiprompt_logprobsđể chấm điểm theo kiểu teacher-forced (không có token mới nào được tạo ra bởi giáo viên), và đẩy các mẫu sẵn sàng để huấn luyện vào hàng đợi. - Vòng lặp huấn luyện (quá trình chính) — lấy các mẫu từ hàng đợi, tính toán tổn thất generalized-JSD và cập nhật trọng số của mô hình học sinh.
Vì giáo viên được chấm điểm qua HTTP thay vì một bước truyền tiến cục bộ, chỉ một lát cắt thưa, top-k của phân phối của nó được truyền đi (teacher_top_k), chứ không phải toàn bộ từ vựng — xem tài liệu về beta và teacher_top_k của experimental.async_distillation.AsyncDistillationConfig để biết chính xác ứng viên nào mà giao thức truyền đảm bảo có logprob của giáo viên ở mỗi chế độ beta.
Sau mỗi weight_sync_steps bước huấn luyện, trọng số sinh viên đã cập nhật được chuyển đến máy chủ vLLM của nó thông qua NCCL. Tương tự như AsyncGRPOTrainer, quá trình sinh chạy trước quá trình huấn luyện, do đó các mẫu có thể phản ánh chính sách hơi lỗi thời; max_staleness kiểm soát số lượng cập nhật trọng số mà một mẫu có thể bị tụt lại trước khi bị loại bỏ.
Bắt đầu nhanh
# train_async_distillation.py
from datasets import load_dataset
from trl.experimental.async_distillation import AsyncDistillationTrainer
if __name__ == "__main__": # the rollout worker is a spawned process that re-imports this script
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = AsyncDistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Máy chủ giáo viên, máy chủ vLLM của học sinh và trình huấn luyện phải chạy trên các GPU riêng biệt. Cả hai đều là các instance vllm serve thông thường, nhưng chúng cần các cờ khác nhau: máy chủ giáo viên chỉ được dùng để chấm điểm (--logprobs-mode processed_logprobs để teacher_temperature tác động đến logprobs được trả về, --max-logprobs -1 để teacher_top_k có thể vượt quá giới hạn mặc định là 20 của vLLM), trong khi máy chủ học sinh chỉ được dùng để sinh ra từ đó và cần bật chuyển trọng số NCCL để trình huấn luyện có thể đẩy các trọng số đã cập nhật vào. Việc chấm điểm gửi toàn bộ chuỗi của học sinh và yêu cầu giáo viên tạo thêm một token nữa, do đó --max-model-len của máy chủ giáo viên (hoặc giá trị mặc định của nó) phải lớn hơn của máy chủ học sinh:
# Terminal 1: teacher server on GPU 0 (static, never updated)
CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen2.5-1.5B-Instruct \
--port 8001 \
--logprobs-mode processed_logprobs \
--max-logprobs -1# Terminal 2: student's vLLM server on GPU 1 (dev mode + NCCL weight transfer are required)
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
--port 8000 \
--weight-transfer-config '{"backend":"nccl"}'# Terminal 3: training on GPU 2
CUDA_VISIBLE_DEVICES=2 python train_async_distillation.pyLoRA
Truyền peft_config để huấn luyện bộ thích ứng LoRA trên mô hình sinh viên thay vì toàn bộ mô hình:
from peft import LoraConfig
trainer = AsyncDistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
peft_config=LoraConfig(r=32, lora_alpha=64, target_modules="all-linear"),
)Mọi lần đồng bộ trọng số đều phải gửi bản student đã cập nhật đến server của nó. Mặc định, trainer sẽ gộp adapter vào mô hình gốc và gửi toàn bộ trọng số đã gộp, tương đương khoảng 15 GB cho một mô hình 7B ở mỗi lần đồng bộ. Khởi động server vLLM của student với --enable-lora và nó sẽ chỉ gửi adapter, khoảng 160 MB ở r=32:
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
--port 8000 \
--weight-transfer-config '{"backend":"nccl"}' \
--enable-lora \
--max-lora-rank 32 \
--max-loras 6VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 mở endpoint mà trainer gửi mỗi adapter mới tới. Thêm VLLM_WORKER_MULTIPROC_METHOD=spawn nếu bạn phục vụ tensor-parallel, và giữ --weight-transfer-config trong mọi trường hợp: trainer chỉ chọn chế độ đồng bộ khi nó khởi động, lúc đó server đã chạy sẵn, và merged sync là phương án dự phòng. Server teacher không bị ảnh hưởng: nó không bao giờ được cập nhật.
--max-lora-rank phải là một trong các giá trị 1, 8, 16, 32, 64, 128, 256, 320, 512. Tham số này đặt rank cao nhất mà server có thể phục vụ, chứ không phải rank mà server sẽ phục vụ, do đó adapter r=4 hoạt động bình thường dưới 8. --max-loras phải ít nhất bằng max_staleness + 2: trainer giữ max_staleness + 1 phiên bản adapter được đăng ký để một rollout bắt đầu dưới một policy cũ hơn có thể hoàn tất dưới policy đó thay vì chuyển đổi policy giữa chừng quá trình sinh, và mỗi lần đồng bộ sẽ nạp phiên bản tiếp theo trước khi gỡ phiên bản cũ nhất. Trainer kiểm tra cả hai giá trị khi khởi động và cho bạn biết cần khởi động lại server với giá trị nào.
vLLM nạp adapter từ đĩa thay vì qua mạng, do đó trainer ghi mỗi phiên bản dưới <output_dir>/.vllm_lora/ và cung cấp đường dẫn cho server. Nếu server chạy trên một máy khác, thư mục đó phải nằm trên một hệ thống tệp mà cả hai đều có thể truy cập.
<output_dir>/.vllm_lora/là bộ nhớ đệm phục vụ, không phải nơi lưu adapter đã huấn luyện. Thư mục này chỉ giữ các phiên bản mới nhất và mỗi phiên bản sẽ bị xóa ngay sau khi hết cửa sổ thời gian hợp lệ. Checkpoint mới là thứ bảo toàn adapter bạn đã huấn luyện, vì vậy đừng tắt tính năng này: vớisave_strategy="no", một phiên chạy kéo dài nhiều giờ sẽ kết thúc mà không để lại gì.output_dircũng phải có thể đọc được bởi server và phải tồn tại lâu hơn thời gian chạy của job, nên không thể dùng vùng lưu tạm cục bộ trên node, dù cách đó sẽ tránh được việc đồng bộ hóa trên hệ thống tệp chia sẻ chậm.
Adapter sync không phải lúc nào cũng nhanh hơn. vLLM tạo ra token chậm hơn khoảng 1,33–1,39 lần khi phục vụ một adapter LoRA so với khi phục vụ các trọng số đã hợp nhất, và quá trình tạo ra thường là yếu tố chi phối thời gian thực tế. Đổi lại, bạn có được thời gian tạm dừng ngắn hơn đáng kể ở mỗi lần đồng bộ và khoảng 1% băng thông đồng bộ. Nếu thông lượng tạo ra là nút thắt của bạn, đồng bộ hợp nhất thường vẫn là lựa chọn tốt hơn.
Các chỉ số được ghi log
Một lượt rollout trải qua một số giai đoạn trước khi trở thành gradient. Trước tiên, hãy cùng xem xét các giai đoạn khác nhau, từ một prompt đến cấu thành batch cuối cùng của chúng ta:
Dataset row = PROMPT (message list + optional `teacher_id`)
└─ ROLLOUT (1 prompt -> 1 student completion -> 1 teacher scoring call)
├─ generate (student's vLLM /v1/completions, sampled)
└─ score (the routed teacher's /v1/completions with `prompt_logprobs`, teacher-forced)
└─ SAMPLE (prompt + completion + the teacher's sparse per-position distribution)
════════════ Trainer process boundary: `rollout_buffer` (mp.Queue) ════════════
└─ SAMPLE (Pulled 1 at a time; dropped if staleness > `max_staleness`)
└─ ROW (Planner assigns it to one of `dp` rows, Σ Lᵢ²-balanced)
└─ MICRO-BATCH (`dp` rows, one per rank)
└─ PACKED ROW (1 concat sequence, `position_ids` reset per sample)
└─ FORWARD (`compute_loss`, bs=1, inter-rank padding stripped)
└─ OPTIMIZER STEP (from `grad_accum` micro-batches)Đọc từ trên xuống dưới:
- Một rollout là một prompt được tạo ra một lần và được chấm điểm một lần. Không có nhóm: quá trình chưng cất không có baseline lợi thế để tính toán giữa các thế hệ, do đó một prompt không được lặp lại và một rollout tạo ra chính xác một mẫu huấn luyện.
- một mẫu là phần hoàn thành đó cùng với các ứng viên top-
teacher_top_kcủa giáo viên tại mỗi vị trí hoàn thành. Đây là thứ vượt qua ranh giới tiến trình. - vượt qua ranh giới, trainer phân bổ các mẫu vào các rows (một hàng cho mỗi DP rank), đóng gói mỗi hàng thành một chuỗi nối tiếp duy nhất, và tích lũy
grad_accummicro-batch thành một bước optimizer duy nhất.
Vì vậy, chúng ta tách các chỉ số dựa trên giai đoạn (hoặc thực thể) mà chúng liên quan:
| namespace | thực thể mà nó đếm |
|---|---|
rollout/ | một vòng lặp sinh và chấm điểm: mất bao lâu, tiến được bao xa |
completions/ | mà sinh viên (vLLM) đã tạo cho một prompt |
sample/ | đại diện cho một mẫu huấn luyện, khi nó đến trong hàng đợi |
batch/ | một micro-batch hoặc một bước tối ưu hóa (được xây dựng từ một hoặc nhiều mẫu) |
perf/ | giây đo được và FLOPs |
Mọi thứ mà chính hàm loss đo lường đều được ghi log không có tiền tố (jsd, entropy, teacher_entropy), kèm theo phần phân tách teacher/<teacher_id>/* dưới MOPD — xem phần phân kỳ bên dưới.
Hãy cùng định nghĩa một số thuật ngữ để các chỉ số token không gây nhầm lẫn:
- Các token generated là những gì học sinh đã tạo ra (
completions/*). - Các token forwarded là tất cả các token mà bước forward xử lý: bao gồm prompt và các token đã được tạo ra.
- Các token được huấn luyện là tập con mà loss được tính trên đó, nơi
completion_mask == 1. Trained ≠ generated: một vị trí completion mà teacher không chấm điểm cho ứng viên nào sẽ bị mask khỏi divergence nhưng vẫn được forward.
Các chỉ số được ghi log một lần mỗi cửa sổ ghi log: tất cả những gì được ghi lại kể từ lần log trước, bao phủ logging_steps bước tối ưu hóa gần nhất. Trong cửa sổ:
- Một giá trị trung bình được đo cho mỗi lượt rollout, mẫu hoặc cuộc gọi, chẳng hạn như
rollout/duration_svàrollout/score_s, sẽ được lấy trung bình trên tất cả các lượt rollout, mẫu hoặc cuộc gọi trong cửa sổ. Một tỷ lệ nhưrollout/generated_tokens_per_slà tổng số token chia cho tổng số giây. - Ngược lại, một tên mà phần cuối chứa từ
countsẽ được cộng dồn:sample/dropped_stale_countlà số lượng mẫu bị loại kể từ lần ghi log cuối, không phải kể từ khi bắt đầu huấn luyện. - Tên mà phần cuối chứa từ
maxhoặcmin, chẳng hạn nhưsample/staleness_maxhoặccompletions/max_length, sẽ giữ lại giá trị lớn nhất hoặc nhỏ nhất. - Bất kỳ chỉ số nào khác đều là giá trị trung bình của các giá trị được ghi lại trong cửa sổ.
Đơn vị:
_s: giây.tokens_per_s: số token mỗi giây._frac: tỷ lệ nằm trong khoảng từ 0 đến 1._per_step: lượng trong một bước tối ưu hóa, được trung bình hóa trên các bước trong cửa sổ.
Các chỉ số mà GRPOTrainer cũng ghi lại vẫn giữ tên GRPO (completions/mean_length, completions/clipped_ratio).
Cách các số lô được kết hợp
Một dòng là thứ mà một rank DP forward trong một micro-batch: một vài mẫu được nối thành một chuỗi duy nhất, với position_ids được khởi động lại tại mỗi ranh giới mẫu. Planner quyết định mẫu nào nằm ở dòng nào (cân bằng Σ Lᵢ² để không rank nào bị chậm), và một data collator thực hiện việc nối.
Trong tất cả các chỉ số của chúng tôi, một “step” luôn có nghĩa là một bước tối ưu hóa HOÀN CHỈNH, không bao giờ là một micro-batch. gradient_accumulation_steps micro-batches tạo thành một step, và mọi chỉ số có tên _per_step đều tính trên mỗi bước tối ưu hóa, khớp với global_step, logging_steps và phần còn lại của từ vựng Trainer. Khi một chỉ số tính trên mỗi micro-batch, điều đó sẽ được nêu rõ (batch/microbatches_per_step) hoặc đó là một đại lượng tính trên mỗi dòng (batch/row_*, batch/samples_per_row).
Do đó, một bước sẽ giữ một số lượng cố định các row-slots:
row-slots per step = gradient_accumulation_steps x world_sizeđiều này giúp các chỉ số theo lô (batch metrics) kết hợp thành một thang bậc mà bạn có thể kiểm tra chéo lẫn nhau:
sample sample/forwarded_tokens_mean
└─ packed into a ROW batch/samples_per_row, batch/row_tokens_mean
└─ one row per DP rank = one micro-batch
└─ gradient_accumulation_steps micro-batches = one STEP
batch/samples_per_step, batch/forwarded_tokens_per_stepDo đó batch/samples_per_step ≈ row-slots x batch/samples_per_row, và tương tự cho tokens. Hai vế chỉ khớp nhau trong phạm vi biến động giữa các micro-batch bên trong một bước — các chỉ số theo bước là tổng, còn các chỉ số theo hàng là trung bình — nên hãy kỳ vọng sai lệch ở mức vài phần nghìn, không phải khớp chính xác.
batch/row_fill_frac là chỉ số cần theo dõi khi các mẫu có độ dài lớn: một mẫu 10k token sẽ lấp đầy ngân sách 32k một cách kém hiệu quả (ba mẫu thì vừa, bốn mẫu thì không bao giờ vừa, nên bộ đóng gói thường chỉ nhận được hai mẫu và hàng chỉ đạt ~77% độ đầy), trong khi các mẫu 1k token lại lấp đầy ngân sách gần như hoàn hảo. Đây là do lượng tử hóa, không phải lỗi, và token_budget là công cụ điều chỉnh — cần lưu ý rằng attention có độ phức tạp O(L²) trên mỗi chuỗi, nên một hàng chứa nhiều chuỗi dài hơn sẽ không làm tăng bộ nhớ theo cấp số tuyến tính.
Hàng đợi triển khai
Worker đẩy các mẫu đã chấm điểm vào hàng đợi và trainer lấy từ đó. Bốn chỉ số mô tả hàng đợi duy nhất đó, và chúng trả lời những câu hỏi khác nhau:
| metric | câu hỏi |
|---|---|
rollout/queue_size | hiện tại có bao nhiêu mẫu đang chờ |
sample/time_in_queue_s | bao lâu một mẫu đơn lẻ nằm đó trước khi được huấn luyện — nửa giây của tính off-policy của nó |
perf/rollout_wait_s | bao lâu quá trình huấn luyện bị chặn do hàng đợi trống |
rollout/backpressure_s | bao lâu quá trình tạo (worker) đã chờ đợi vì nó đi trước quá trình huấn luyện max_staleness bước |
Hai chỉ số cuối (perf/rollout_wait_s và rollout/backpressure_s) là hình ảnh phản chiếu của nhau. Đọc chúng cùng với kích thước hàng đợi sẽ cho bạn biết phía nào là nút thắt cổ chai:
- Hàng đợi gần như trống,
perf/rollout_wait_scao → generation-bound. Trainer đang bị thiếu dữ liệu; hãy xemrollout/generated_tokens_per_s,rollout/concurrencyvàrollout/score_s. - hàng đợi chứa khoảng
max_stalenessbước token,rollout/backpressure_scao → trainer-bound. Việc sinh bị giữ lại, vàsample/staleness_meannằm gần giới hạn của nó. - cả hai đều cao → chính giới hạn
max_stalenesslà quá chặt: các rollout đang chạy sẽ lấp đầy giới hạn này trước khi mẫu của chúng đến hàng đợi, khiến trình huấn luyện phải chờ trong khi quá trình sinh bị giữ lại. Hãy tăngmax_staleness. - cả hai gần bằng không → cân bằng!
Hoàn thành
Một completion là kết quả mà máy chủ vLLM của sinh viên tạo ra cho một prompt.
| metric | ý nghĩa |
|---|---|
completions/mean_length | số token được tạo ra mỗi lần rollout |
completions/min_length, completions/max_length | hoàn thành ngắn nhất và dài nhất trong cửa sổ |
completions/clipped_ratio | tỷ lệ các phần hoàn thành không kết thúc bằng EOS, tức là bị cắt bởi max_completion_length |
completions/mean_terminated_length, completions/min_terminated_length, completions/max_terminated_length | có cùng độ dài, trên các phần hoàn thành kết thúc bằng EOS |
Các lần triển khai
Một rollout là một prompt được xử lý trọn vẹn: do student tạo ra, sau đó được teacher-forced qua teacher của nó. Vì bước gọi teacher nằm trên đường dẫn quan trọng của mỗi rollout (khác với GRPO, nơi việc chấm điểm là một vòng lặp riêng trên các nhóm đã hoàn thành), một teacher chậm sẽ thể hiện trực tiếp qua rollout/duration_s.
| metric | ý nghĩa |
|---|---|
rollout/duration_s | thời gian thực cho một lượt rollout, từ khi dispatch đến mẫu được chấm điểm: quá trình generation và cuộc gọi teacher |
rollout/score_s | của điều đó, thời gian mà cuộc gọi /v1/completions của giáo viên mất |
teacher/<id>/score_s | Chỉ MOPD: tương tự, theo từng giáo viên. Một chuyên gia chậm chỉ làm chậm các rollout được định tuyến đến nó, điều mà giá trị trung bình pha trộn che giấu |
rollout/generated_tokens_per_s | tốc độ sinh trong khoảng thời gian gần nhất (theo cửa sổ), do đó một sự gián đoạn sẽ hiển thị |
rollout/concurrency | rollouts đang thực hiện, tức là đang được tạo ra hoặc đang được chấm điểm |
rollout/vllm_retry_count | các yêu cầu vLLM đã thử lại, đến máy chủ của sinh viên hoặc của giáo viên. Một máy chủ bị suy giảm hiệu năng nếu không được phát hiện sẽ trông giống như sự chậm trễ không rõ nguyên nhân. Chỉ số này nằm ở đây thay vì trong completions/ vì nó đếm số yêu cầu gửi đến máy chủ, không phải văn bản được tạo ra |
rollout/backpressure_s | bao lâu quá trình tạo bị chờ đợi do nó đi trước max_staleness bước. Xem hàng đợi rollout |
rollout/queue_size | các mẫu được chấm điểm đang chờ trong hàng đợi rollout, được đo tại vị trí mà trainer lấy chúng. Xem hàng đợi rollout |
Các mẫu đến từ hàng đợi
Mỗi mẫu là một RolloutSample: một prompt, phần hoàn thành của student và điểm đánh giá thưa của teacher cho phần đó. Worker đẩy chúng vào rollout_buffer; mọi thứ bên dưới được đo lường ở phía trainer, khi nó lấy chúng để huấn luyện.
| metric | ý nghĩa |
|---|---|
sample/forwarded_tokens_mean, sample/forwarded_tokens_max | số token trong một mẫu: prompt + phần sinh ra. Việc đóng gói là vấn đề ở cấp độ hàng, xem batch/row_* |
sample/trained_tokens_mean | trong số đó, bao nhiêu phần được tính vào loss |
sample/time_in_queue_s | bao lâu mẫu này nằm trong hàng đợi đó trước khi được huấn luyện. Không giống với perf/rollout_wait_s — xem hàng đợi rollout |
sample/staleness_mean, sample/staleness_max | là số lượng phiên bản chính sách nằm sau dữ liệu. jsd cho thấy tác động của việc không theo chính sách lên loss; điều này cho thấy nguyên nhân |
sample/dropped_stale_count | các mẫu bị loại do vượt quá max_staleness |
Các lô
Một micro-batch gồm world_size hàng (nhớ rằng packing làm phẳng thành 1 chuỗi), nên mỗi DP rank xử lý một hàng, do đó rank i thực hiện forward cho hàng i. gradient_accumulation_steps micro-batch như vậy tạo thành một bước optimizer. Một bước bao phủ tổng cộng gradient_accumulation_steps × world_size hàng. Mọi metric _per_step bên dưới là tổng trên toàn bộ bước và trên mọi rank; các metric batch/row_* là trung bình trên các hàng.
| metric | ý nghĩa |
|---|---|
batch/forwarded_tokens_per_step, batch/trained_tokens_per_step | số token trong một bước tối ưu hóa, lần lượt được truyền về phía trước và huấn luyện |
batch/samples_per_step | mẫu huấn luyện cho mỗi bước tối ưu |
batch/microbatches_per_step | được đếm, không được đọc từ cấu hình |
batch/masked_token_frac | các token được chuyển tiếp có completion_mask == 0 — phần của bước forward không tạo ra gradient |
batch/samples_per_row, batch/row_tokens_mean, batch/row_tokens_max | mật độ mà trình lập kế hoạch đã đóng gói hàng của mỗi rank |
batch/row_fill_frac | row tokens so với token_budget. Giá trị thấp có nghĩa là ngân sách chưa được sử dụng |
batch/row_imbalance | max Σ Lᵢ² / mean Σ Lᵢ² trên các hàng. Attention có độ phức tạp O(L²), do đó chỉ số này dự đoán rank nào sẽ làm chậm quá trình all-reduce gradient. 1.0 là hoàn hảo |
batch/pad_frac | padding giữa các rank. Chỉ tốn chi phí cho các byte được broadcast; nó sẽ được loại bỏ trước khi thực hiện forward |
batch/dropped_oversize_count | các mẫu bị loại do vượt quá token_budget |
Sự phân kỳ
Điều mà bản thân hàm mục tiêu đo lường, được tính trung bình trên các token đã được huấn luyện trong cửa sổ. Đây là những con số cần theo dõi để đánh giá quá trình học, thay vì để đánh giá thông lượng.
| metric | ý nghĩa |
|---|---|
jsd | JSD tổng quát mà loss tối thiểu hóa, tại beta đã cấu hình. Việc giảm đi cho thấy phân phối của student đang hội tụ về phân phối của teacher |
entropy | entropy dự đoán của chính học sinh. Sự sụp đổ ở đây kèm theo jsd giảm cho thấy học sinh đang thu hẹp thay vì học |
teacher_entropy | entropy của teacher trên các ứng viên mà nó đã báo cáo. Bị chặn dưới bởi giá trị thực, vì chỉ có teacher_top_k ứng viên được truyền qua mạng |
teacher/<id>/jsd | Chỉ MOPD: jsd bị giới hạn ở các token mà giáo viên đã chấm điểm. Các giáo viên trong các miền khác nhau có thể phân kỳ với các tốc độ rất khác nhau, điều mà jsd pha trộn làm lẫn lộn |
teacher/<id>/entropy | Chỉ MOPD: cùng một cách phân tách của teacher_entropy |
teacher/<id>/token_frac | Chỉ MOPD: tỷ lệ các token được chấm điểm mà giáo viên đã nhận. Sự lệch định tuyến thường không thể hiện rõ: một giáo viên thiếu dòng dữ liệu vẫn báo cáo teacher/<id>/jsd ở mức bình thường. |
aux_loss | tổn thất cân bằng tải của bộ định tuyến MoE trên mỗi micro-batch, trung bình trên các rank, được ghi log khi mô hình trả về router logits và router_aux_loss_coef không bằng 0. Khác với các dòng ở trên, đây không phải là trung bình trên mỗi token |
Không có entropy riêng cho từng teacher: entropy của student là thuộc tính của chính sách của nó, không phải của việc teacher nào đã chấm điểm mẫu, nên chỉ số tổng hợp đã bao gồm điều này.
Hiệu năng
Throughput đo số lượng token mà trainer xử lý mỗi giây. Model FLOPs Utilization (MFU) ước tính phần trăm năng lực tính toán lý thuyết của các thiết bị huấn luyện được sử dụng cho các bước truyền thẳng và truyền ngược của mô hình. Năng lực được sử dụng cho ước tính này phụ thuộc vào phần cứng và độ chính xác của quá trình huấn luyện.
Throughput và MFU được báo cáo trên hai cơ sở thời gian:
fwd_bwd_đo hiệu năng trong các bước truyền thuận và truyền ngược.wall_clock_đo hiệu suất trên toàn bộ bước tối ưu hóa, bao gồm cập nhật bộ tối ưu hóa, đồng bộ hóa trọng số và thời gian chờ cho các rollout.
Sự khác biệt này giúp phân biệt hiệu suất tính toán với chi phí chờ đợi và phối hợp. Cả hai chỉ số MFU đều mô tả chỉ các thiết bị huấn luyện: chúng không bao gồm khả năng tính toán hoặc sức mạnh phần cứng của các máy chủ rollout hoặc teacher bên ngoài. MFU theo thời gian thực (wall-clock) phản ánh thời gian mà trình huấn luyện dành ra để chờ các dịch vụ đó, chứ không phải mức sử dụng của chính các dịch vụ này.
MFU chỉ được báo cáo khi công suất tính toán đỉnh được biết đến cho thiết bị huấn luyện cục bộ ở độ chính xác đã chọn, và khi ước tính FLOPs hỗ trợ kiến trúc của mô hình (chẳng hạn như Llama, Qwen2, Qwen3, Qwen3-MoE hoặc Qwen3-VL). Ngược lại, MFU sẽ bị bỏ qua; quá trình huấn luyện vẫn tiếp tục và các chỉ số thông lượng cũng như thời gian vẫn khả dụng.
| metric | ý nghĩa |
|---|---|
perf/step_s | thời gian thực giữa các bước tối ưu hóa: bao gồm tính toán, tối ưu hóa, đồng bộ trọng số và chờ hàng đợi |
perf/fwd_bwd_s | forward + backward, tổng trên các micro-batch của bước. Đây là mẫu số của mọi chỉ số fwd_bwd_ bên dưới |
perf/fwd_s | phần forward của nó. fwd_s / fwd_bwd_s gần 1/3 là tỷ lệ phân chia thông thường; cao hơn có nghĩa là backward rẻ hoặc chi phí recompute đang được tính ở phần forward |
perf/optimizer_s | optimizer.step() |
perf/rollout_wait_s | mất bao lâu để trainer bị chặn do hàng đợi trống. Xem hàng đợi rollout |
perf/weight_sync_s | một đồng bộ hóa đầy đủ, cùng với _pause_s (chờ vLLM), _barrier_s (sai lệch rank) và _transfer_s (các byte) |
perf/fwd_bwd_forwarded_tokens_per_s, perf/wall_clock_forwarded_tokens_per_s | số token được chuyển tiếp mỗi giây trên mỗi cơ sở |
perf/wall_clock_trained_tokens_per_s | giống nhau, chỉ tính các token mà loss đã xem |
perf/fwd_bwd_mfu, perf/wall_clock_mfu | tỷ lệ sử dụng FLOPs của model trên mỗi cơ sở |
Triết lý thiết kế
Trainer này được giữ ở mức tối giản một cách có chủ đích và không nhằm mục đích phát triển thành một giải pháp đa năng. Nếu bạn cần một tính năng không được hỗ trợ, chúng tôi khuyến nghị bạn clone kho mã và tự điều chỉnh trainer cho phù hợp với nhu cầu của mình. Các tính năng mới chỉ được xem xét khi có nhu cầu đáng kể từ cộng đồng.
AsyncDistillationConfig
class trl.experimental.async_distillation.AsyncDistillationConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 1logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Truerestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonedtype: str = 'float32'trust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonemax_completion_length: int = 2048temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0chat_template_kwargs: dict | str | None = Nonevllm_server_base_url: str = 'http://localhost:8000'vllm_server_timeout: float = 1800.0teacher_server_urls: dict[str, str] | str | None = Nonebeta: float = 0.0teacher_temperature: float = 1.0teacher_top_k: int = 8add_tail_bucket: bool = Truetoken_budget: int | None = Nonemax_concurrent_rollouts: int = 512max_staleness: int = 4weight_sync_steps: int = 1rollout_worker_timeout: float = 300.0log_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = None )
Các tham số điều khiển mô hình
- model_init_kwargs (
dict[str, Any]hoặcstr, tùy chọn) — Các đối số dạng từ khóa cho from_pretrained, được sử dụng khi khởi tạo mô hình sinh viên từ một đường dẫn. Giá trịrevisioncũng được sử dụng khi nạp lớp xử lý. - dtype (
str, tuỳ chọn, mặc định là"float32") — Kiểu dữ liệu để nạp mô hình student, một trong số"auto","bfloat16","float16"hoặc"float32". Mặc định là"float32"vì sự lệch pha giữa huấn luyện và suy luận mà các bộ huấn luyện bất đồng bộ được đo lườngĐánh bại sự lệch pha Huấn luyện-Suy luận thông qua FP16) rất nhạy cảm với độ chính xác của chính bộ huấn luyện. Để thu hẹp khoảng cách đó từ đầu đến cuối, bạn cũng cần phục vụ máy chủ vLLM của student với cùng một kiểu dữ liệu (vllm serve --dtype). Adtypetrongmodel_init_kwargscó hiệu lực cao hơn. Các máy chủ teacher không bị ảnh hưởng: chúng không bao giờ được cập nhật.Điều này chỉ đặt dtype mà các trọng số được nạp vào. Dưới FSDP với độ chính xác hỗn hợp (
bf16=Truelà mặc định), accelerate sẽ upcast mọi tham số có thể huấn luyện lên fp32 trước khi sharding, do đó trọng số master và trạng thái optimizer luôn là fp32 bất kểdtypenói gì, trong khi forward và backward chạy ở bf16 hoặc fp16. Checkpoint sau đó được ghi ở dtype độ chính xác hỗn hợp đó, không phải fp32. Không có FSDP thì không có gì được upcast:dtype="bfloat16"vớibf16=Truegiữ nguyên trọng số và trạng thái optimizer ở bf16, tức là huấn luyện thuần bf16. - trust_remote_code (
bool, tùy chọn, mặc định làFalse) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained. - router_aux_loss_coef (
float, tùy chọn) — Hệ số của tổn thất phụ cân bằng tải cho các mô hình Mixture-of-Experts (MoE), được cộng vào tổn thất huấn luyện với trọng số này. Khi không được đặt, giá trị được khai báo trong cấu hình mô hình sẽ được sử dụng. Đặt thành0.0để tắt nó. Gặp lỗi khi sử dụng với mô hình không phải MoE.
Các tham số kiểm soát quá trình sinh
- max_completion_length (
int, tùy chọn, mặc định là2048) — Số lượng token tối đa được tạo ra cho mỗi completion. - temperature (
float, tùy chọn, mặc định là1.0) — Nhiệt độ để lấy mẫu các phần hoàn thành theo chính sách của học sinh. - top_p (
float, tùy chọn, mặc định là1.0) — Tham số lấy mẫu Top-p (nucleus) cho việc tạo nội dung on-policy. - top_k (
int, tùy chọn, mặc định là0) — Tham số lấy mẫu top-k cho việc tạo nội dung on-policy.0tắt bộ lọc top-k. - min_p (
float, tùy chọn) — Xác suất tối thiểu của token, sẽ được nhân với xác suất của token có khả năng cao nhất. Giá trị này phải nằm trong khoảng từ0.0đến1.0. Các giá trị điển hình nằm trong khoảng0.01-0.2. - repetition_penalty (
float, tùy chọn, mặc định là1.0) — Giá trị động áp dụng hình phạt cho các token mới dựa trên việc chúng có xuất hiện trong prompt và văn bản đã tạo ra cho đến hiện tại hay không. Các giá trị >1.0khuyến khích mô hình sử dụng các token mới, trong khi các giá trị <1.0khuyến khích mô hình lặp lại các token. - chat_template_kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền cho hàmapply_chat_templatekhi tạo các câu trả lời hoàn chỉnh.
Các tham số điều khiển máy chủ vLLM
- vllm_server_base_url (
str, tuỳ chọn, mặc định là"http --//localhost:8000"): URL gốc của máy chủ vLLM của student, được sử dụng cho cả việc tạo nội dung và cập nhật trọng số theo luồng. - vllm_server_timeout (
float, tuỳ chọn, mặc định là1800.0) — Thời gian chờ (tính bằng giây) cho các cuộc gọi đến các máy chủ vLLM: chờ máy chủ của student sẵn sàng khi khởi động, mỗi yêu cầu sinh hoặc chấm điểm, và mỗi cuộc gọi đồng bộ trọng số. Chờ máy chủ và các cuộc gọi đồng bộ trọng số sẽ gây lỗi khi hết thời gian; một yêu cầu sinh hoặc chấm điểm hết thời gian sẽ được thử lại. - teacher_server_urls (
dict[str, str], tùy chọn, mặc định là{"default" -- "http://localhost:8001"}): Máy chủ vLLM của teacher, mỗi máy chủ được khởi động bằngvllm serve <teacher-model> --logprobs-mode processed_logprobs --max-logprobs -1. Mọi teacher đều tĩnh: trainer này không bao giờ stream cập nhật trọng số đến bất kỳ teacher nào, do đó một teacher không cầnVLLM_SERVER_DEV_MODEhay backend chuyển trọng số, chỉ cần hai cờ đó, giúp điểm đánh giá của nó chính xác (xemteacher_temperaturevàteacher_top_k). Mọi teacher phải dùng chung tokenizer của student: các completion được gửi dưới dạng token id thô, và các id mà teacher báo lại được dùng trực tiếp để chỉ mục vào bảng từ vựng của chính student trongcompute_loss. Một teacher có bảng từ vựng khác sẽ huấn luyện sai token, một cách âm thầm nếu bảng từ vựng của nó không lớn hơn bảng từ vựng của student. Việc chấm điểm là một yêu cầu teacher-forced đối với các token completion của chính student (max_tokens=1,prompt_logprobs=teacher_top_k,temperature=teacher_temperature), cùng một yêu cầu màget_sequence_logprobs()phát ra cho các trainer server-teacher đồng bộ. Do token bỏ đi đó, một teacher cần--max-model-lenlớn hơn của student, nếu không các completion dài nhất sẽ không thể được chấm điểm. Một mục duy nhất chấm điểm mọi mẫu (chưng cất on-policy đơn teacher thông thường, mặc định). Nhiều mục kích hoạt MOPD (chưng cất on-policy đa teacher, xem MOPD): cộtteacher_idcủa mỗi hàng huấn luyện chọn mục nào chấm điểm nó, ví dụ{"math": "http://localhost:8002", "code": "http://localhost:8003"}vớiteacher_idlà"math"hoặc"code"cho mỗi hàng.
Các tham số kiểm soát tổn thất chưng cất
- beta (
float, tuỳ chọn, mặc định là0.0) — Hệ số nội suy cho Divergence Jensen-Shannon tổng quát.0.0là KL thuận (mean-seeking),1.0là KL nghịch (mode-seeking), và các giá trị ở giữa được nội suy, tuân theo cùng công thức JSD tổng quát mà DistillationTrainer tính toán bên trong. Hỗ trợ (support) mà divergence được tính trên đó khác nhau tùy theo chế độ, phản ánhServerDistillationTrainer: tạibeta=0.0, toàn bộ hỗ trợ do teacher báo cáo với độ rộngteacher_top_k(cùng với bucket đuôi) được sử dụng, vì trọng số của KL thuận chính xác là những gì mà hỗ trợ đó cung cấp. Tạibeta != 0.0, hỗ trợ được thu hẹp lại chỉ còn hai ứng viên — token top-1 của chính teacher và token thực tế/đã thực hiện của completion — vì đó là hai danh tính token duy nhất mà giao thức truyền dẫn đảm bảo có logprob từ teacher mà không cần truyền đi một bảng từ vựng rộng hơn (hoặc đầy đủ); bất kỳ phạm vi rộng hơn nào cũng chỉ là một xấp xỉ xác suất của việc bao phủ các token có khả năng cao của student, chứ không phải một sự đảm bảo. - teacher_temperature (
float, tùy chọn, mặc định là1.0) — Nhiệt độ softmax của độ phân kỳ, được áp dụng cho cả hai phía: gửi đến teacher để vLLM tính toán logprobs của nó ở nhiệt độ này phía server (chính xác, không phải là việc điều chỉnh lại phía client), và được áp dụng cho logits của chính student trongcompute_loss, mô phỏngtemperatureduy nhất củaServerDistillationTrainer. Không liên quan đếntemperature, vốn chỉ kiểm soát cách student lấy mẫu các câu trả lời của nó. Server của teacher phải chạy với--logprobs-mode processed_logprobsđể thiết lập này có thể tác động đến logprobs được trả về; nếu không, teacher sẽ âm thầm báo cáo logprobs thô và thiết lập này chỉ ảnh hưởng đến phía student. - teacher_top_k (
int, tuỳ chọn, mặc định là8) — Số lượng token ứng viên cho từng vị trí được yêu cầu từ teacher thông quaprompt_logprobs. Chỉ những ứng viên này (cùng với token thực tế, vốn luôn được vLLM báo cáo ngay cả khi nó nằm ngoài top-k, cùng một thùng đuôi (tail bucket) nắm bắt phần khối lượng xác suất còn lại, xemadd_tail_bucket) được dùng để xấp xỉ phân phối của teacher; toàn bộ bảng từ vựng không bao giờ được truyền qua HTTP. Phía student của độ phân kỳ là chính xác (được tính cục bộ, không xấp xỉ), vì student chính là mô hình đang được huấn luyện và toàn bộ logits của nó đã có sẵn trongcompute_loss.8là giá trị mặc định nhẹ nhàng cho kiểm thử khói (smoke testing); các cấu hình on-policy-distillation trong sản xuất của các framework RL lân cận sử dụng hỗ trợ teacher thưa trong khoảng xấp xỉ tương tự (miles mặc định là16, EasyOPD là64), do đó việc tăng giá trị này lên16–64là hợp lý khi bắt đầu huấn luyện thực sự. Bất kỳ giá trị nào lớn hơn20đều yêu cầu server của teacher phải được khởi động với--max-logprobs -1, điều này gỡ bỏ giới hạn logprob tối đa cho từng token mặc định của vLLM. - add_tail_bucket (
bool, tùy chọn, mặc định làTrue) — Có nên thêm một bucket đuôi đại diện cho phần khối lượng xác suất còn lại nằm ngoàiteacher_top_khay không, nhằm tránh độ phân kỳ quá nhỏ một cách hiển nhiên khiteacher_top_kcó giá trị nhỏ. - token_budget (
int, tuỳ chọn) — Số lượng token thực tối đa được đóng gói vào một hàng (một bước forward của một rank DP).TokenBudgetBatchertạo ra các micro-batch cân bằng theo Σ Lᵢ², trong đó mỗi hàng đều nằm trong giới hạn ngân sách này, từ đó giới hạn bộ nhớ đỉnh độc lập với số lượng mẫu (số mẫu trên mỗi hàng trở nên động). NếuNone(mặc định), giá trị này được đặt bằngmax_model_lencủa server vLLM của student (được truy vấn khi bắt đầu huấn luyện) — giới hạn trên của độ dài prompt + completion — để đảm bảo không có mẫu rollout nào vượt quá ngân sách. Một mẫu dài hơntoken_budgetkhông vừa với bất kỳ hàng nào và sẽ bị loại kèm theo cảnh báo, được đếm vàobatch/dropped_oversize_count.
Các tham số điều khiển pipeline rollout bất đồng bộ
- max_concurrent_rollouts (
int, tuỳ chọn, mặc định là512) — Số lượng rollout tối đa đang chạy đồng thời trên các máy chủ vLLM của student và teachers, đang được tạo ra hoặc đang được chấm điểm. - max_staleness (
int, tùy chọn, mặc định là4) — Số bước cập nhật trọng số tối đa mà một mẫu rollout có thể bị tụt lại so với phiên bản mô hình hiện tại trước khi bị loại bỏ. Quá trình sinh được giữ trong giới hạn này: một rollout chỉ bắt đầu khi các token đang xếp hàng và đang xử lý vừa đủ với lượng mà trainer tiêu thụ trongmax(max_staleness, 1)bước. - weight_sync_steps (
int, tùy chọn, mặc định là1) — Số bước huấn luyện giữa các lần đồng bộ trọng số sang máy chủ vLLM của student. - rollout_worker_timeout (
float, tùy chọn, mặc định là300.0) — Số giây kể từ lần heartbeat cuối cùng của rollout worker, sau đó trainer sẽ coi nó là bị treo và hủy bỏ.
Các tham số kiểm soát việc ghi log
- log_completions (
bool, tùy chọn, mặc định làFalse) — Có nên ghi nhật ký một mẫu các cặp (prompt, completion) mỗilog_completions_stepsmẫu được chấm điểm hay không. - log_completions_steps (
int, tuỳ chọn, mặc định là100) — Số lượng mẫu được chấm điểm giữa các lần ghi log completions. Chỉ được sử dụng nếulog_completionslàTrue. Được đếm theo số mẫu mà rollout worker đã chấm điểm, không phải theo số bước optimizer: worker chạy trong một tiến trình riêng biệt với trainer và không có khả năng truy cập vàoself.state.global_step. - num_completions_to_print (
int, tùy chọn) — Số lượng completions được in ra bằngrich. Nếu làNone, tất cả các completions sẽ được ghi log.
Lớp cấu hình cho experimental.async_distillation.AsyncDistillationTrainer.
Lớp này chỉ bao gồm các tham số đặc thù cho quá trình chưng cất on-policy bất đồng bộ. Để xem danh sách đầy đủ các đối số huấn luyện, vui lòng tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments. Cấu trúc của nó mô phỏng AsyncGRPOConfig (pipeline bất đồng bộ, máy chủ vLLM, các trường ghi log giống nhau), với các trường clipping/group của GRPO được thay thế bằng các trường tổn thất chưng cất từ giáo viên bên dưới.
Các tham số này có giá trị mặc định khác với TrainingArguments:
logging_steps: Mặc định là1thay vì500.gradient_checkpointing: Mặc định làTruethay vìFalse.bf16: Mặc định làTruenếufp16không được đặt, thay vìFalse.learning_rate: Mặc định là1e-6thay vì5e-5.ignore_data_skip: Mặc định làTruethay vìFalse; vòng lặp bỏ qua và phát lại của Trainer cơ sở không áp dụng cho hàng đợi rollout bất đồng bộ.
AsyncDistillationTrainer
class trl.experimental.async_distillation.AsyncDistillationTrainer
< source >( model: str | PreTrainedModelargs: trl.experimental.async_distillation.async_distillation_config.AsyncDistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )
Tham số
- model (
strhoặc PreTrainedModel) — Mô hình sinh viên cần huấn luyện. Có thể là:- Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một đường dẫn đến một directory chứa các model weights được lưu bằng save_pretrained. Được nạp bằng from_pretrained.
- Một đối tượng PreTrainedModel. Việc triển khai chú ý của nó được chuyển sang backend FlashAttention của trainer để huấn luyện không cần padding.
Tên mô hình từ cấu hình được sử dụng để xác định mô hình sinh viên trên máy chủ vLLM của nó.
- args (experimental.async_distillation.AsyncDistillationConfig, tuỳ chọn) —
Cấu hình cho trainer này. Nếu là
None, một cấu hình mặc định sẽ được sử dụng. - train_dataset (Dataset hoặc IterableDataset) —
Dataset để sử dụng cho huấn luyện. Phải bao gồm một cột
"prompt"(định dạng conversational). Mọi cột bổ sung khác sẽ bị bỏ qua. - processing_class (PreTrainedTokenizerBase, optional) —
Lớp xử lý được dùng để xử lý dữ liệu. Nếu là
None, nó sẽ được tải từ tên mô hình bằng from_pretrained. Nếu không có token đệm,tokenizer.eos_tokensẽ được sử dụng. - callbacks (list of TrainerCallback, optional) — Danh sách các callback để tùy chỉnh vòng lặp huấn luyện, được thêm vào các callback mặc định (xem ở đây).
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], tùy chọn, mặc định là(None, None)) — Một tuple chứa optimizer và scheduler cần sử dụng. Mặc định làAdamWvà lịch trình tuyến tính được điều khiển bởiargs. - peft_config (
PeftConfig, tùy chọn) — Cấu hình PEFT được sử dụng để bọc model. Nếu làNone, model sẽ không được bọc. Khi server vLLM của student được khởi động với--enable-lora, một adapter LoRA sẽ được đồng bộ hóa đến đó dưới dạng adapter thay vì dưới dạng weights đã merge; xem phần LoRA trong tài liệu AsyncDistillation.
Phiên bản bất đồng bộ của DistillationTrainer, được thiết kế y hệt AsyncGRPOTrainer: một worker rollout chạy nền tạo ra các phần hoàn thành on-policy của học sinh và chấm điểm chúng
so với một máy chủ giáo viên trong khi quá trình huấn luyện diễn ra song song, tách rời rollout khỏi vòng lặp cập nhật gradient.
Trong khi tổn thất gradient chính sách có cắt của GRPO đọc một lợi thế tương đối theo nhóm, hàm compute_loss của trainer này đọc một
phân bố giáo viên thưa theo từng vị trí và tối thiểu hóa JSD tổng quát so với nó (xem AsyncDistillationConfig.beta), luôn ở chế độ on-policy: học sinh tạo ra mọi phần hoàn thành mà nó dùng để huấn luyện.
Khác với DistillationTrainer đồng bộ, trainer này chỉ hỗ trợ chấm điểm dựa trên một teacher được phục vụ qua HTTP (một server vLLM bên ngoài). Một bước forward của teacher cục bộ (trong tiến trình, trên GPU) không thể chạy bên trong tiến trình con được sinh ra với CUDA bị vô hiệu hóa của rollout worker như cách các hàm reward của GRPO có thể, và thay vào đó sẽ cần được chạy lại trong tiến trình huấn luyện chính; con đường này hiện chưa được triển khai.
Ví dụ:
>>> from trl.experimental.async_distillation import AsyncDistillationTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
>>> trainer = AsyncDistillationTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()