TRL documentation

Mempercepat Pelatihan

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mempercepat Pelatihan

Panduan ini membahas berbagai metode untuk mempercepat pelatihan di TRL. Setiap teknik mencakup contoh minimal dengan tautan ke dokumentasi yang lebih komprehensif.

vLLM untuk generasi cepat dalam metode online

Metode online seperti GRPO atau Online DPO mengharuskan model untuk menghasilkan kelengkapan, yang sering kali merupakan proses lambat dan dapat berdampak signifikan pada waktu pelatihan. Untuk mempercepat generasi, Anda dapat menggunakan vLLM, sebuah pustaka yang memungkinkan generasi cepat melalui, antara lain, PagedAttention. Trainer online TRL mendukung vLLM, yang sangat meningkatkan kecepatan pelatihan. Untuk detail lebih lanjut, lihat Integrasi vLLM.

Untuk menggunakan vLLM, pertama instal dengan menggunakan:

pip install trl[vllm]
DPO Online
GRPO
RLOO

Pertama, mulai server vLLM dengan menjalankan:

VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1

Lalu, jalankan skrip pelatihan dan berikan use_vllm=True dalam argumen pelatihan.

from trl.experimental.online_dpo import OnlineDPOConfig

training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")

Implementasi perhatian yang dioptimalkan

TRL mendukung berbagai implementasi perhatian yang dioptimalkan, yang dapat mempercepat pelatihan secara signifikan sekaligus mengurangi penggunaan memori. Anda dapat menggunakan kernel yang sudah dioptimalkan secara langsung dari Kernels Hub atau backend perhatian yang dibangun secara manual.

Kernels dari Hub
Build manual

Anda dapat menggunakan kernel perhatian yang telah dioptimalkan sebelumnya dari Hub tanpa kompilasi manual:

from trl import SFTConfig

training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})

Opsi lainnya termasuk kernels-community/vllm-flash-attn3 dan kernels-community/paged-attention.

Optimized attention berfungsi di semua trainer TRL. Untuk detail lebih lanjut, lihat Kernels Hub Integration.

Pelatihan presisi campuran

Pelatihan presisi campuran menggunakan bf16 atau fp16 dapat mempercepat pelatihan dan mengurangi penggunaan memori dengan dampak minimal pada kualitas model.

from trl import SFTConfig

training_args = SFTConfig(..., bf16=True)  # or fp16=True for older GPUs

Gunakan bf16=True untuk GPU Ampere (A100, RTX 30xx) atau yang lebih baru, dan fp16=True untuk GPU yang lebih lama. Pelatihan presisi campuran didukung di semua trainer TRL.

Update on GitHub