TRL documentation

Démarrage rapide

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Démarrage rapide

TRL est une bibliothèque complète pour l’entraînement postérieur des modèles de base à l’aide de techniques telles que le Supervised Fine-Tuning (SFT), le Group Relative Policy Optimization (GRPO) et le Direct Preference Optimization (DPO).

Exemples rapides

Commencez immédiatement avec les formateurs les plus populaires de TRL. Chaque exemple utilise des modèles compacts pour une expérimentation rapide.

Affinage supervisé

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Group Relative Policy Optimization

accuracy_reward nécessite math-verify, que vous pouvez installer avec pip install trl[math_verify].

from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
    reward_funcs=accuracy_reward,
)
trainer.train()

Optimisation des préférences directes

from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

Modélisation de la récompense

from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Interface en ligne de commande

Passez directement au code - entraînez directement depuis votre terminal :

# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara

# DPO: Align with preferences  
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

Et maintenant ?

📚 En savoir plus

🚀 Passer à l'échelle

💡 Exemples

Dépannage

Mémoire insuffisante ?

Réduire la taille du lot et activer les optimisations :

SFT
DPO
GRPO
training_args = SFTConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)

La perte ne diminue-t-elle pas ?

Essayez d'ajuster le taux d'apprentissage :

training_args = SFTConfig(learning_rate=2e-5)  # Good starting point

Pour obtenir plus d'aide, ouvrez un issue sur GitHub.

Update on GitHub