TRL documentation
Mempercepat Pelatihan
Mempercepat Pelatihan
Panduan ini membahas berbagai metode untuk mempercepat pelatihan di TRL. Setiap teknik mencakup contoh minimal dengan tautan ke dokumentasi yang lebih komprehensif.
vLLM untuk generasi cepat dalam metode online
Metode online seperti GRPO atau Online DPO mengharuskan model untuk menghasilkan kelengkapan, yang sering kali merupakan proses lambat dan dapat berdampak signifikan pada waktu pelatihan. Untuk mempercepat generasi, Anda dapat menggunakan vLLM, sebuah pustaka yang memungkinkan generasi cepat melalui, antara lain, PagedAttention. Trainer online TRL mendukung vLLM, yang sangat meningkatkan kecepatan pelatihan. Untuk detail lebih lanjut, lihat Integrasi vLLM.
Untuk menggunakan vLLM, pertama instal dengan menggunakan:
pip install trl[vllm]
Pertama, mulai server vLLM dengan menjalankan:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Lalu, jalankan skrip pelatihan dan berikan use_vllm=True dalam argumen pelatihan.
from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")Pertama, mulai server vLLM dengan menjalankan:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Lalu, jalankan skrip pelatihan dan berikan use_vllm=True dalam argumen pelatihan.
from trl import GRPOConfig
training_args = GRPOConfig(..., use_vllm=True, vllm_mode="server")Anda dapat menyesuaikan konfigurasi server dengan meneruskan argumen tambahan. Untuk informasi lebih lanjut, lihat integrasi vLLM.
Saat menggunakan vLLM, pastikan GPU yang dialokasikan untuk pelatihan dan generasi dipisahkan untuk menghindari konflik sumber daya. Misalnya, jika Anda berencana menggunakan 4 GPU untuk pelatihan dan 4 GPU lainnya untuk generasi vLLM, Anda dapat menentukan alokasi GPU menggunakan
CUDA_VISIBLE_DEVICES.Setel GPU 0-3 untuk generasi vLLM:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Dan GPU 4-7 untuk pelatihan:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Pertama, mulai server vLLM dengan menjalankan:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Lalu, jalankan skrip pelatihan dan berikan use_vllm=True dalam argumen pelatihan.
from trl import RLOOConfig
training_args = RLOOConfig(..., use_vllm=True, vllm_mode="server")Anda dapat menyesuaikan konfigurasi server dengan meneruskan argumen tambahan. Untuk informasi lebih lanjut, lihat integrasi vLLM.
Saat menggunakan vLLM, pastikan GPU yang dialokasikan untuk pelatihan dan generasi dipisahkan untuk menghindari konflik sumber daya. Misalnya, jika Anda berencana menggunakan 4 GPU untuk pelatihan dan 4 GPU lainnya untuk generasi vLLM, Anda dapat menentukan alokasi GPU menggunakan
CUDA_VISIBLE_DEVICES.Setel GPU 0-3 untuk generasi vLLM:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Dan GPU 4-7 untuk pelatihan:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Implementasi perhatian yang dioptimalkan
TRL mendukung berbagai implementasi perhatian yang dioptimalkan, yang dapat mempercepat pelatihan secara signifikan sekaligus mengurangi penggunaan memori. Anda dapat menggunakan kernel yang sudah dioptimalkan secara langsung dari Kernels Hub atau backend perhatian yang dibangun secara manual.
Anda dapat menggunakan kernel perhatian yang telah dioptimalkan sebelumnya dari Hub tanpa kompilasi manual:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})Opsi lainnya termasuk kernels-community/vllm-flash-attn3 dan kernels-community/paged-attention.
Optimized attention berfungsi di semua trainer TRL. Untuk detail lebih lanjut, lihat Kernels Hub Integration.
Membangun backend perhatian yang dioptimalkan secara manual itu kompleks dan memakan waktu. Hal ini tidak pernah disarankan kecuali benar-benar diperlukan. Pertimbangkan untuk menggunakan Kernels dari Hub sebagai gantinya, seperti yang dijelaskan di bagian sebelumnya.
Jika Anda telah menginstal backend perhatian yang dioptimalkan seperti Flash Attention 2 secara manual, Anda dapat menentukannya dalam argumen pelatihan:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "flash_attention_2"})Pelatihan presisi campuran
Pelatihan presisi campuran menggunakan bf16 atau fp16 dapat mempercepat pelatihan dan mengurangi penggunaan memori dengan dampak minimal pada kualitas model.
from trl import SFTConfig
training_args = SFTConfig(..., bf16=True) # or fp16=True for older GPUsGunakan bf16=True untuk GPU Ampere (A100, RTX 30xx) atau yang lebih baru, dan fp16=True untuk GPU yang lebih lama. Pelatihan presisi campuran didukung di semua trainer TRL.