TRL documentation
DPO Eğiticisi
DPO Eğiticisi
Genel Bakış
TRL, Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning ve Chelsea Finn tarafından yazılan Direct Preference Optimization: Your Language Model is Secretly a Reward Model makalesinde anlatıldığı üzere, dil modellerini eğitmek için Direct Preference Optimization (DPO) Trainer'ı destekler.
Makalenin özeti aşağıdaki gibidir:
Büyük ölçekli denetimsiz dil modelleri (LM) geniş dünya bilgisi ve bazı akıl yürütme becerileri öğrense de, eğitimlerinin tamamen denetimsiz doğası nedeniyle davranışlarının hassas bir şekilde kontrol edilmesi zordur. Bu tür bir yönlendirilebilirlik elde etmek için mevcut yöntemler, model çıktılarının göreli kalitesine dair insan etiketlerini toplar ve denetimsiz LM'yi bu tercihlerle hizalamak için ince ayar yapar; bu işlem genellikle insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ile yapılır. Ancak RLHF karmaşık ve çoğu zaman istikrarsız bir prosedürdür; önce insan tercihlerini yansıtan bir ödül modeli sığdırılır, ardından büyük denetimsiz LM, orijinal modelden çok fazla sapmadan bu tahmini ödülü en üst düzeye çıkarmak için pekiştirmeli öğrenme kullanılarak ince ayarlanır. Bu makalede, RLHF'te ödül modelinin yeni bir parametrelenmesini tanıtıyoruz. Bu parametrelendirme, ilgili optimal politikanın kapalı formda çıkarılmasını sağlayarak standart RLHF probleminin yalnızca basit bir sınıflandırma kaybı ile çözülmesine olanak tanır. Doğrudan Tercih Optimizasyonu (DPO) olarak adlandırdığımız sonuçtaki algoritma istikrarlı, yüksek performanslı ve hesaplamalı olarak hafiftir; ince ayar sırasında LM'den örneklem alma veya önemli hiperparametre ayarlaması yapma ihtiyacını ortadan kaldırır. Deneylerimiz, DPO'nun mevcut yöntemler kadar iyi veya daha iyi bir şekilde LM'leri insan tercihleriyle hizalamak için ince ayar yapabildiğini göstermektedir. Önemli olan, DPO ile yapılan ince ayarın, üretkenliklerin duygu durumunu kontrol etme yeteneğinde PPO tabanlı RLHF'yi aşması ve özetleme ile tek turlu diyalogda yanıt kalitesini eşitlemesi veya iyileştirmesidir; ayrıca uygulama ve eğitim açısından çok daha basittir.
Bu eğitim sonrası yöntemi Kashif Rasul tarafından katkı sağlanmış ve daha sonra Quentin Gallouédec tarafından yeniden yapılandırılmıştır.
Hızlı başlangıç
Bu örnek, TRL'deki DPOTrainer kullanarak bir dil modelinin nasıl eğitileceğini göstermektedir. Bir Qwen 3 0.6B modelini UltraFeedback veri seti üzerinde eğitiyoruz.
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Beklenen veri seti türü ve biçimi
DPO, bir tercih veri seti gerektirir. DPOTrainer, hem standart hem de sohbet veri seti biçimleriyle uyumludur. Sohbet veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.
# Standard format
## Explicit prompt (recommended)
preference_example = {"prompt": "The sky is", "chosen": " blue.", "rejected": " green."}
# Implicit prompt
preference_example = {"chosen": "The sky is blue.", "rejected": "The sky is green."}
# Conversational format
## Explicit prompt (recommended)
preference_example = {"prompt": [{"role": "user", "content": "What color is the sky?"}],
"chosen": [{"role": "assistant", "content": "It is blue."}],
"rejected": [{"role": "assistant", "content": "It is green."}]}
## Implicit prompt
preference_example = {"chosen": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is blue."}],
"rejected": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is green."}]}Veri setiniz bu formatlardan birinde değilse, beklenen formata dönüştürmek için ön işleme uygulayabilirsiniz. İşte Vezora/Code-Preference-Pairs veri setiyle bir örnek:
from datasets import load_dataset
dataset = load_dataset("Vezora/Code-Preference-Pairs")
def preprocess_function(example):
return {
"prompt": [{"role": "user", "content": example["input"]}],
"chosen": [{"role": "assistant", "content": example["accepted"]}],
"rejected": [{"role": "assistant", "content": example["rejected"]}],
}
dataset = dataset.map(preprocess_function, remove_columns=["instruction", "input", "accepted", "ID"])
print(next(iter(dataset["train"]))){
"prompt": [{"role": "user", "content": "Create a nested loop to print every combination of numbers [...]"}],
"chosen": [{"role": "assistant", "content": "Here is an example of a nested loop in Python [...]"}],
"rejected": [{"role": "assistant", "content": "Here is an example of a nested loop in Python [...]"}],
}DPO yönteminin derinlemesine incelenmesi
Direct Preference Optimization (DPO), bir dil modelini tercih verileriyle hizalamak için tasarlanmış bir eğitim yöntemidir. Gözetimli girdi–çıktı çiftleri yerine, model aynı istem (prompt) için oluşturulan tamamlama çiftleri üzerinde eğitilir; bu çiftlerden biri diğerine tercih edilir. Amaç, açık bir ödül modeli gerektirmeden, referans modele göre tercih edilen ve tercih edilmeyen tamamlamaların log-olabilirlikleri arasındaki farkı doğrudan optimize ederek bu farkı genişletmektir. Uygulamada bu, genellikle tercih edilen tamamlamaların olasılığını artırmak yerine tercih edilmeyen tamamlamaların olasılığını bastırmak yoluyla sağlanır.
Bu bölüm, DPO'nun pratikte nasıl çalıştığını, ana adımları olan ön işleme ve kayıp hesaplama adımlarını kapsayacak şekilde açıklar.
Önişleme ve belirteçleştirme
Eğitim sırasında, her örneğin bir istem (prompt) ile tercih edilen (chosen) ve tercih edilmeyen (rejected) bir tamamlama içermesi beklenir. Beklenen formatlar hakkında daha fazla ayrıntı için Veri seti formatları bölümüne bakın.
DPOTrainer, her girdiyi modelin tokenizer'ı kullanarak işler.
Kaybın hesaplanması

DPO'da kullanılan kayıp şu şekilde tanımlanır:
burada istemdir, tercih edilen tamamlamadır ve tercih edilmeyen tamamlamadır. eğitilen politika modelidir, referans modelidir, sigmoid fonksiyonudur ve tercih sinyalinin gücünü kontrol eden bir hiperparametredir.
Kayıp Türleri
Literatürde hedefin çeşitli formülasyonları önerilmiştir. Başlangıçta, DPO'nun hedefi yukarıda sunulduğu gibi tanımlanmıştır.
loss_type= | Açıklama |
|---|---|
"sigmoid" (varsayılan) | Tercih verileri verildiğinde, Bradley-Terry modeline göre bir ikili sınıflandırıcı sığdırılabilir ve gerçekte DPO yazarları, lojistik regresyon sığdırmak için normalize edilmiş olasılık üzerinden logsigmoid ile sigmoid kaybını önermektedir. |
"hinge" | RSO yazarları, SLiC makalesindeki normalize edilmiş olasılık üzerinde bir menteşe kaybı (hinge loss) kullanmayı önermektedir. Bu durumda beta, pay (margin) değerinin tersidir. |
"ipo" | IPO yazarları, logit dönüşümünün aşırı öğrenmeye yol açabileceğini savunmakta ve tercihleri doğrudan optimize etmek için kimlik dönüşümünü önermektedir; TRL bunu loss_type="ipo" olarak sunar. |
"exo_pair" | EXO yazarları reverse-KL tercih optimizasyonunu önermektedir. label_smoothing kesinlikle 0.0'dan büyük olmalıdır; önerilen değer 1e-3'tür (basitleştirilmiş çiftli varyant için Denklem 16'ya bakınız). Tam yöntem K>2 SFT tamamlaması kullanır ve K büyüdükçe PPO'ya yaklaşır. |
"nca_pair" | NCA yazarları, NCA'nın göreli olasılık yerine her yanıt için mutlak olasılığı optimize ettiğini göstermektedir. |
"robust" | Robust DPO yazarları, gürültülü tercihler altında yanlı olmayan bir DPO kaybı önermektedir. Etiket değiştirme olasılığını modellemek için DPOConfig içinde label_smoothing kullanın; geçerli değerler [0.0, 0.5) aralığındadır. |
"bco_pair" | BCO yazarları, logit değerinin bir ödül olarak kullanıldığı, sınıflandırıcının {prompt, chosen completion} çiftlerini 1'e ve {prompt, rejected completion} çiftlerini 0'a eşleyecek şekilde eğitildiği bir ikili sınıflandırıcı eğitir. |
"sppo_hard" | SPPO yazarları, SPPO'nun seçilen ödülleri 1/2'ye kadar büyük, reddedilen ödülleri ise -1/2'ye kadar küçük olacak şekilde iterek Nash dengesini iteratif olarak çözebildiğini ve veri seyrekliği sorunlarını hafifletebildiğini iddia etmektedir. Uygulama, bu algoritmayı yaklaşık olarak, kazananı 1'e ve kaybedeni 0'a atayarak sert etiket olasılıkları kullanarak modellemektedir. |
"aot" veya loss_type="aot_unpaired" | AOT yazarları, Optimal Transport ile Dağılımsal Tercih Hizalaması (Distributional Preference Alignment) önermektedir. loss_type="aot" eşlenmiş (paired) veriler içindir; loss_type="aot_unpaired" ise eşlenmemiş (unpaired) veriler içindir. Her ikisi de sıralı kantiller aracılığıyla stokastik baskınlığı (stochastic dominance) zorlar; GPU başına daha büyük batch boyutları faydalıdır. |
"apo_zero" veya loss_type="apo_down" | APO yöntemi, sabitlenmiş bir hedef tanıtır. apo_zero, kazananları artırır ve kaybedenlerin ağırlığını azaltır (modelin kazananlardan düşük performans gösterdiği durumlarda faydalıdır). apo_down, her ikisinin ağırlığını da azaltır, kaybedenlere daha güçlü bir baskı uygular (modelin zaten kazananlardan iyi performans gösterdiği durumlarda faydalıdır). |
"discopop" | DiscoPOP makalesi, daha verimli çevrimdışı tercih optimizasyon kayıplarını keşfetmek için LLM'leri kullanır. Makalede önerilen DiscoPOP kaybı (log-oran modüle edilmiş bir kayıp), farklı görevlerde (IMDb olumlu metin üretimi, Reddit TLDR özetleme ve Alpaca Eval 2.0) diğer optimizasyon kayıplarından daha iyi performans göstermiştir. |
"sft" | SFT (Supervised Fine-Tuning) kaybı, modelin tercih edilen yanıtları üretmesini sağlamak için kullanılan negatif log olasıklık (negative log likelihood) kaybıdır. |
"sigmoid_norm" | SimPO yazarları, orijinal sigmoid kaybındaki uzunluk önyargısını, maskelenmemiş token sayısına normalize ederek ele alır; TRL bunu loss_type="sigmoid_norm" olarak sunar. |
"udpo" | UDPO yazarları, gürültülü tercihler altında önyargısız bir DPO kaybı önermektedir; bu kayıp, "robust" ile aksine, çevirme olasılığı fazla tahmin edildiğinde bile önyargısızlığını korur. Çevirme olasılığı ε değerini ayarlamak için DPOConfig içinde label_smoothing parametresini kullanın; geçerli değerler [0.0, 0.5) aralığındadır. |
Kaydedilen metrikler
Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz:
global_step: Şu ana kadar atılan toplam optimizör adımı sayısı.epoch: Veri seti yinelemesine dayalı olarak geçerli epoch numarası.num_tokens: Şu ana kadar işlenen toplam token sayısı.loss: Güncel kayıt aralığındaki ortalama DPO kaybı.entropy: Modelin maskelenmemiş jetonlar üzerindeki tahmini jeton dağılımının ortalama entropisi.aux_loss: Bir Mixture-of-Experts modelinin,router_aux_loss_coefile ölçeklenip kayba eklenmeden önceki yük dengeleme yardımcı kaybı. Sadece model bir MoE modeli olduğunda verouter_aux_loss_coefsıfır olmadığında kaydedilir.mean_token_accuracy: Seçilen tamamlamadan gelen token ile modelin en iyi 1 tahmininin eşleştiği, maskelenmemiş tokenların oranı.learning_rate: Bir zamanlayıcı kullanılıyorsa dinamik olarak değişebilen mevcut öğrenme oranı.grad_norm: Gradyan kesme işleminden önce hesaplanan gradyanların L2 normu.logits/chosen: Modelin seçilen tamamlamadaki jetonlara atadığı ortalama logit değerleri.logits/rejected: Modelin reddedilen tamamlamadaki jetonlara atadığı ortalama logit değerleri.logps/chosen: Modelin seçilen tamamlamadaki jetonlara atadığı ortalama log-olasılık.logps/rejected: Modelin reddedilen tamamlamadaki jetonlara atadığı ortalama log-olasılık.rewards/chosen: Seçilen tamamlama için hesaplanan ortalama örtük ödül, şu şekilde hesaplanır: .rewards/rejected: reddedilen tamamlama için hesaplanan ortalama örtük ödül, şu şekilde hesaplanır: .rewards/margins: Seçilen ve reddedilen tamamlamalar arasındaki ortalama örtük ödül marjı.rewards/accuracies: Seçilen tamamlamanın örtük ödülünün reddedilen tamamlamanın örtük ödülünden yüksek olduğu örneklerin oranı.
Özelleştirme
Uyumluluk ve kısıtlamalar
Mevcut DPOTrainer uygulamasında bazı argüman kombinasyonları bilinçli olarak kısıtlanmıştır:
use_weighting=True,loss_type="aot"veyaloss_type="aot_unpaired"ile desteklenmez.lm_headhedefli PEFT adaptörleri desteklenmez (bunun yerinemodules_to_save=["lm_head"]kullanın).- PEFT modelleriyle eğitim sırasında bağımsız bir
ref_modeltutmayan modellerdesync_ref_model=Truedesteklenmez. sync_ref_model=True,precompute_ref_log_probs=Trueile birleştirilemez.precompute_ref_log_probs=True,IterableDataset(eğitim veya değerlendirme) ile desteklenmez.
Çoklu kayıp kombinasyonları
DPO trainer, farklı ağırlıklarla birden fazla kayıp fonksiyonunu birleştirmeyi destekleyerek daha gelişmiş optimizasyon stratejilerine olanak tanır. Bu, MPO (Mixed Preference Optimization) gibi algoritmaların uygulanması için özellikle faydalıdır. MPO, Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization makalesinde açıklandığı gibi, birden fazla optimizasyon hedefini birleştiren bir eğitim yaklaşımıdır.
Birden fazla kaybı birleştirmek için, kayıp türlerini ve ilgili ağırlıkları listeler olarak belirtin:
# MPO: Combines DPO (sigmoid) for preference and BCO (bco_pair) for quality
training_args = DPOConfig(
loss_type=["sigmoid", "bco_pair", "sft"], # loss types to combine
loss_weights=[0.8, 0.2, 1.0] # corresponding weights, as used in the MPO paper
)Model başlatma
from_pretrained() yönteminin kwargs'larını doğrudan DPOConfig'e iletebilirsiniz. Örneğin, bir modeli farklı bir hassasiyette yüklemek istiyorsanız, buna benzer şekilde
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)Bunu, DPOConfig sınıfına model_init_kwargs={"dtype": torch.bfloat16} argümanını geçirerek yapabilirsiniz.
from trl import DPOConfig
training_args = DPOConfig(
model_init_kwargs={"dtype": torch.bfloat16},
)from_pretrained() işlevinin tüm anahtar kelime argümanlarının desteklendiğini unutmayın.
PEFT ile adaptörler eğitin
🤗 PEFT kütüphanesiyle sıkı entegrasyon destekliyoruz; bu sayede kullanıcılar, tüm modeli eğitmek yerine adaptörleri kolayca eğitebilir ve Hub üzerinde paylaşabilir.
from datasets import load_dataset
from trl import DPOTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = DPOTrainer(
"Qwen/Qwen3-0.6B",
train_dataset=dataset,
peft_config=LoraConfig(),
)
trainer.train()PeftModel eğitiminizi devam ettirebilirsiniz. Bunun için, önce DPOTrainer dışında bir PeftModel yükleyin ve peft_config argümanını geçirmeden doğrudan trainer'a iletin.
from datasets import load_dataset
from trl import DPOTrainer
from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = DPOTrainer(
model=model,
train_dataset=dataset,
)
trainer.train()Adaptörler eğitilirken, yalnızca yeni parametrelerin öğrenildiği için tam ince ayara kıyasla genellikle daha yüksek bir öğrenme oranı (≈1e‑5) kullanılır.
DPOConfig(learning_rate=1e-5, ...)
DPO için Hızlı Deney
RapidFire AI, TRL üzerine oturan ve tek bir GPU üzerinde bile birden fazla DPO yapılandırmasını aynı anda başlatmanızı sağlayan açık kaynak bir deney motorudur. Yapılandırmaları sırayla denemek yerine RapidFire, yeniden başlatmadan tüm öğrenme eğrilerini daha erken görmenize, düşük performans gösteren çalıştırmaları durdurmanıza ve umut verici olanları uçuş sırasında yeni ayarlarla klonlamanıza olanak tanır. Daha fazla bilgi için RapidFire AI Entegrasyonu bölümüne bakın.
Unsloth ile Eğitim
Unsloth, LLM'leri (Llama, Mistral, Gemma, DeepSeek ve diğerleri) %70'e varan VRAM tasarrufu ile 2 katına kadar daha hızlı eğiten, eğitim, değerlendirme ve dağıtım için akıcı, Hugging Face ile uyumlu bir iş akışı sunan açık kaynaklı bir ince ayar ve pekiştirmeli öğrenme çerçevesidir. Daha fazla bilgi için Unsloth Entegrasyonu sayfasına bakın.
DPO ile Araç Çağrısı
DPOTrainer, tool calling yeteneklerine sahip modellerin ince ayarını tamamen destekler. Bu durumda, veri setindeki her örnek şunları içermelidir:
- Sohbet mesajları (istem, seçilen ve reddedilen), herhangi bir araç çağrısını (
tool_calls) ve araç yanıtlarını (toolrol mesajları) içerir toolssütunundaki kullanılabilir araçların listesi, genellikle JSON şemaları olarak sağlanır
Beklenen veri seti yapısına ilişkin ayrıntılar için Veri Seti Biçimi — Araç Çağrısı bölümüne bakın.
Görsel Dil Modellerinin Eğitimi
DPOTrainer, Görüntü-Dil Modelleri (VLM) eğitimini tam olarak destekler. Bir VLM eğitmek için, veri setinde her örnek için tek bir görüntü içeren bir image sütunu veya her örnek için bir görüntü listesi içeren bir images sütunu bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görüntü Veri Seti bölümüne bakın.
Bu tür bir veri setinin bir örneği, RLAIF-V Veri Seti'dir.
from trl import DPOConfig, DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-VL-3B-Instruct",
args=DPOConfig(max_length=None),
train_dataset=load_dataset("HuggingFaceH4/rlaif-v_formatted", split="train"),
)
trainer.train()VLM'ler için kırpma işlemi, görüntü jetonlarını kaldırarak eğitim sırasında hatalara yol açabilir. Bunu önlemek için DPOConfig içinde
max_length=Nonedeğerini ayarlayın. Bu, modelin görüntü jetonlarını kırpma işlemi olmadan tam dizi uzunluğunu işlemesine olanak tanır.DPOConfig(max_length=None, ...)Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca
max_lengthkullanın.
DPOTrainer
sınıf trl.DPOTrainer
< source >( model: str | PreTrainedModel | PeftModelref_model: transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.dpo_config.DPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = None )
Parametreler
- model (
strveya PreTrainedModel veyaPeftModel) — Eğitilecek model. Şunlardan biri olabilir:- Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin
'./my_model_directory/'. Model,args.model_init_kwargsiçindeki anahtar kelime argümanlarıyla,<ModelArchitecture>.from_pretrained(burada<ModelArchitecture>model yapılandırmasından türetilir) kullanılarak yüklenir.dtype,args.model_init_kwargsiçinde belirtilmediyse, varsayılan olarakfloat32olur. Bu, from_pretrained'den farklıdır; orada (Transformers v5'ten itibaren) dtype model yapılandırmasından çıkarılır. - Bir PreTrainedModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
- Bir
PeftModelnesnesi. Yalnızca nedensel dil modelleri desteklenir.
- Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin
- ref_model (PreTrainedModel, isteğe bağlı) —
Referans log olasılıklarını hesaplamak için kullanılan referans model. Sağlanırsa, bu model doğrudan referans politika olarak kullanılır. PeftModel olamaz. None ise, eğitimci model ile eşleşen başlangıç politikasını, yani DPO eğitimine başlamadan önceki model durumunu otomatik olarak kullanır.
- Sağlanırsa, bu model doğrudan referans politika olarak kullanılır.
PeftModelolamaz. Noneise, trainer, DPO eğitimine başlamadan önceki model durumu olan,model'e karşılık gelen başlangıç politikasını otomatik olarak kullanır.
- Sağlanırsa, bu model doğrudan referans politika olarak kullanılır.
- args (DPOConfig, isteğe bağlı) —
Bu eğitimci için yapılandırma.
Noneise varsayılan yapılandırma kullanılır. - data_collator (
DataCollator, isteğe bağlı) — İşlenmiştrain_datasetveyaeval_datasetöğelerinin listesinden bir batch oluşturmak için kullanılacak işlev. Model bir dil modeli ise varsayılan olarakDataCollatorForPreference, model bir görü-dil modeli iseDataCollatorForVisionPreferencekullanılır. Özel collator'lar, padding uygulamadan önce dizileri kısaltmalıdır; trainer, collation sonrası kısaltma uygulamaz. - train_dataset (Dataset veya IterableDataset) —
Eğitim için kullanılacak veri seti. Bu trainer hem dil modelleme türünü hem de
istek-tamamlama türünü destekler. Örneklerin biçimi şu şekillerden biri olabilir:
- Standart: Her örnek düz metin içerir.
- Sohbet: Her örnek yapılandırılmış mesajlar içerir (ör. rol ve içerik).
train_datasetbir IterableDataset (ör. bir akış veri seti) olduğunda, uzunluğu çıkarılamadığı ve eğitim döngüsünü sınırlamak ile öğrenme oranı zamanlayıcısını yapılandırmak için toplam eğitim adım sayısının gerekli olması nedeniyle,max_stepseğitim argümanlarında ayarlanmalıdır. - eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict veya
dict[str, Dataset | IterableDataset]) — Değerlendirme için kullanılacak veri seti.train_datasetile aynı gereksinimleri karşılaması gerekir. - processing_class (PreTrainedTokenizerBase veya ProcessorMixin, isteğe bağlı) —
Verileri işlemek için kullanılan işleme sınıfı. Dolgu tarafı “left” olarak ayarlanmalıdır.
Noneise, işleme sınıfı modelin adından from_pretrained ile yüklenir. Bir dolgu belirteci,tokenizer.pad_token, ayarlanmış olmalıdır. İşleme sınıfı bir dolgu belirteci ayarlamadıysa,tokenizer.eos_tokenvarsayılan olarak kullanılır. - compute_metrics (
Callable[[EvalPrediction], dict], isteğe bağlı) — Değerlendirme sırasında metrikleri hesaplamak için kullanılacak işlev. Bir EvalPrediction almalı ve metrik değerlerini içeren bir sözlük döndürmelidir. SFTConfig ilebatch_eval_metricsdeğeriTrueolarak ayarlandığında,compute_metricsişleviniz bir boolecompute_resultargümanı almalıdır. Bu, son değerlendirme grubundan sonra tetiklenir ve işlevin grup düzeyindeki istatistikleri biriktirmek yerine küresel özet istatistikleri hesaplayıp döndürmesi gerektiğini sinyal verir. Aldığı logitler, ek bir ileri geçişle yeniden hesaplanır. Bu özellik kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır. - callbacks (liste TrainerCallback, isteğe bağlı) —
Eğitim döngüsünü özelleştirmek için kullanılacak geri çağrılar listesi. Bunlar, burada.
Varsayılan olarak kullanılan geri çağrılardan birini kaldırmak istiyorsanız, remove_callback metodunu kullanın.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], isteğe bağlı, varsayılan(None, None)) — Kullanılacak optimizörü ve zamanlayıcıyı içeren bir demet. ModelinizdeAdamWörneği veargstarafından kontrol edilen get_linear_schedule_with_warmup tarafından verilen bir zamanlayıcı olarak varsayılan değerlere sahip olacaktır. - quantization_config (BitsAndBytesConfig, isteğe bağlı) —
Model bir model tanımlayıcısından yüklenirken kullanılan nicelleştirme yapılandırması. QLoRA eğitimi için
peft_configile birleştirin. Model zaten örneklenmişse yok sayılır. - peft_config (
PeftConfig, isteğe bağlı) — Modeli sarmak için kullanılan PEFT yapılandırması.Noneise model sarılmaz.
Doğrudan Tercih Optimizasyonu (DPO) yöntemi için Trainer. Bu algoritma ilk olarak Direct Preference Optimization: Your Language Model is Secretly a Reward Model makalesinde önerilmiştir. Bu sınıf, Trainer sınıfının bir sarmalayıcısıdır ve tüm özelliklerini ve yöntemlerini devralır.
Örnek:
>>> from trl import DPOTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
>>> trainer = DPOTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()eğit
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Parametreler
- resume_from_checkpoint (
strveyabool, isteğe bağlı) —strise, önceki birTrainerörneği tarafından kaydedilen bir kontrol noktasının yerel yolu.boolise veTruedeğerine eşitse, önceki birTrainerörneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder. - trial (
optuna.Trialveyadict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü. - ignore_keys_for_eval (
list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.
Dönüş değeri
~trainer_utils.TrainOutput
Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.
Ana eğitim giriş noktası.
Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.
Yalnızca ana süreçten kaydedecektir.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Parametreler
- commit_message (
str, isteğe bağlı, varsayılan"End of training") — İterlerken gönderilecek mesaj. - blocking (
bool, isteğe bağlı, varsayılanTrue) — Fonksiyonun yalnızcagit pushişlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir. - token (
str, isteğe bağlı, varsayılanNone) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton. - revision (
str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır. - private (
bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarakargs.hub_private_repodeğerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur. - kwargs (
dict[str, Any], isteğe bağlı) —~Trainer.create_model_cardile birlikte iletilen ek anahtar kelime argümanları.
self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.
DPOConfig
sınıf trl.DPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonedisable_dropout: bool = Truedataset_num_proc: int | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'precompute_ref_log_probs: bool = Falseprecompute_ref_batch_size: int | None = Noneloss_type: list[str] = <factory>loss_weights: list[float] | None = Noneld_alpha: float | None = Nonef_divergence_type: str = 'reverse_kl'f_alpha_divergence_coef: float = 0.5label_smoothing: float = 0.0beta: float = 0.1use_weighting: bool = Falsediscopop_tau: float = 0.05activation_offloading: bool = Falsesync_ref_model: bool = Falseref_model_mixup_alpha: float = 0.6ref_model_sync_steps: int = 512pad_token: str | None = None )
Modeli kontrol eden parametreler
- model_init_kwargs (
dict[str, Any], isteğe bağlı) — DPOTrainer'inmodelargümanı bir dize olarak verildiğinde from_pretrained için kullanılan anahtar kelime argümanları.revisiondeğeri, işleme sınıfı yüklenirken de kullanılır. - trust_remote_code (
bool, isteğe bağlı, varsayılanFalse) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained ve from_pretrained işlevlerine aktarılır. - router_aux_loss_coef (
float, isteğe bağlı) — Mixture-of-Experts (MoE) modelleri için yük dengeleme yardımcı kaybının katsayısı, eğitim kaybına bu ağırlıkla eklenir. Ayarlanmadığında, model yapılandırmasında beyan edilen değer kullanılır. Devre dışı bırakmak için0.0olarak ayarlayın. MoE olmayan bir modelle kullanıldığında hata verir. - disable_dropout (
bool, isteğe bağlı, varsayılanTrue) — Modelde ve referans modelde dropout'un devre dışı bırakılıp bırakılmayacağı.
Veri ön işleme sürecini kontrol eden parametreler
- dataset_num_proc (
int, isteğe bağlı) — Veri setini işlemek için kullanılacak süreç sayısı. - max_length (
intveyaNone, isteğe bağlı, varsayılan1024) — Tokenize edilmiş dizinin maksimum uzunluğu.max_lengthdeğerinden uzun olan diziler,truncation_modedeğerine bağlı olarak soldan veya sağdan kırpılır.Noneise kırpma uygulanmaz. - truncation_mode (
str, isteğe bağlı, varsayılan"keep_start") — Dizimax_lengthdeğerini aştığında kullanılacak kesme modu. Desteklenen tek değer"keep_start"'tır."keep_end"değeri kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır. - padding_free (
bool, isteğe bağlı, varsayılanFalse) — Batch içindeki tüm dizileri tek bir sürekli diziye dönüştürerek padding olmadan ileri geçişleri (forward pass) gerçekleştirip gerçekleştirilmeyeceğini belirtir. Bu, padding kaynaklı gereksiz yükü ortadan kaldırarak bellek kullanımını azaltır. Şu anda bu özellik, düzleştirilmiş batch yapısını verimli bir şekilde işleyebildiği için yalnızca FlashAttention 2 veya 3 ile desteklenmektedir. Geçici olarak kullanılamıyor: DPO yeniden yapılandırmasından (refactor) bu yanaTrueolarak ayarlanması bir uyarı üretir ve standart padding'e geri düşer. Gelecekteki bir güncellemede yeniden sunulması planlanmaktadır. - pad_to_multiple_of (
intveyastr, isteğe bağlı, varsayılan"auto") — Belirlenirse, diziler bu değerin katına kadar doldurulur."auto", Neuron (AWS Trainium) üzerinde 128'in katına kadar doldurur; bu platform her giriş şekli için bir kez derleme yapar ve başka yerlerde doldurma uygulanmaz. - precompute_ref_log_probs (
bool, isteğe bağlı, varsayılanFalse) — Eğitimden önce, eğitim veri setinin tamamı için referans model log olasılıklarının önceden hesaplanıp hesaplanmayacağı. Bu, referans modelin bellekte tutulmasına gerek kalmadığı için eğitim sırasında bellek tasarrufu sağlar. - precompute_ref_batch_size (
int, isteğe bağlı) — Referans model log olasılıklarını önceden hesaplanırken kullanılacak batch boyutu. Bu değer, ön işleme hızını artırmak için eğitim batch boyutundan daha yüksek ayarlanabilir.Noneise, eğitim içinper_device_train_batch_size, değerlendirme içinper_device_eval_batch_sizevarsayılan olarak kullanılır.
Eğitimi kontrol eden parametreler
- loss_type (
list[str], isteğe bağlı, varsayılan["sigmoid"]) — Kullanılacak kayıp türü. Olası değerler:'sigmoid','hinge','ipo','exo_pair','nca_pair','robust','bco_pair','sppo_hard','aot','aot_unpaired','apo_zero','apo_down','discopop','sft','sigmoid_norm','udpo'. Birden fazla kayıp türü sağlanırsa, bunlarloss_weightsiçinde belirtilen ağırlıklar kullanılarak birleştirilir. - loss_weights (
list[float], isteğe bağlı) — Çoklu kayıp kombinasyonları için kayıp ağırlıkları listesi. Birden fazla kayıp türünü birleştirirken kullanılır. Örnek: MPO için[0.8, 0.2, 1.0]. Sağlanmazsa, tüm kayıp türleri için eşit ağırlıklar (1.0) varsayılan olarak kullanılır. - ld_alpha (
float, isteğe bağlı) — LD-DPO makalesindeki α parametresi, yanıtlardaki ayrıntılı token log-olasılıklarının ağırlıklandırmasını kontrol eder.Noneise ayrıntılı kısma ağırlıklandırma uygulanmaz ve kayıp, standart DPO kaybına eşdeğer olur. [0.0, 1.0] aralığında olmalıdır:ld_alpha=1.0ağırlıklandırma uygulamaz,ld_alpha=0.0ise ortak uzunlukların ötesindeki tokenları maskeleme yapar. - f_divergence_type (
str, isteğe bağlı, varsayılan"reverse_kl") — politika ve referans arasındaki f-divergence düzenleyicisi (f-DPO makalesi). Olası değerler:reverse_kl(varsayılan),forward_kl,js_divergence,alpha_divergence. Varsayılan olmayan bir değeri yalnızca seçilen-rededilen ödül farkına dayalı kayıp türleri destekler:'sigmoid','sigmoid_norm','hinge','ipo','exo_pair','robust','discopop','sft','udpo'. Diğer kayıp türlerinin geçerli bir f-divergence genellemesi yoktur ve varsayılan olmayan bir değerle reddedilir. - f_alpha_divergence_coef (
float, isteğe bağlı, varsayılan0.5) —f_divergence_type='alpha_divergence'kullanıldığında yalnızca kullanılan, u^-α düzenleyicisi için α katsayısı. - label_smoothing (
float, isteğe bağlı, varsayılan0.0) — Robust DPO, UDPO ve EXO'da kullanılan etiket yumuşatma (label smoothing) parametresi. Robust DPO ve UDPO'da, bir tercih etiketinin tersine çevrilme olasılığı ε olarak yorumlanır ve [0.0, 0.5) aralığında olmalıdır; Robust DPO makalesi tarafından önerilen tipik bir değer 0.1'dir. UDPO, a = ε / (1 - ε) değerini belirlemek için bunu kullanır ve UDPO makalesi a = 0.8, yani ε = 4/9 değerini önerir. EXO'da ise ε etiket yumuşatma parametresine karşılık gelir ve makale bunun için tipik olarak 1e-3 değerini önerir. - beta (
float, isteğe bağlı, varsayılan0.1) — Referans modelden sapmayı kontrol eden parametre. β değeri ne kadar yüksekse, referans modelden sapma o kadar azdır. IPO kaybı (loss_type='ipo') için bu değer, makalede τ ile gösterilen düzenleme parametresidir. - use_weighting (
bool, isteğe bağlı, varsayılanFalse) — Politikanın uzunluk-normalize edilmiş dizi olasılıklarını kullanarak tercih çiftlerine WPO tarzı ağırlıklandırma uygulanıp uygulanmayacağı. - discopop_tau (
float, isteğe bağlı, varsayılan0.05) — DiscoPOP makalesindeki τ/sıcaklık parametresi,loss_type='discopop'kullanıldığında log-oran modüle edilmiş kaybın şeklini kontrol eder. Makale, varsayılan değeridiscopop_tau=0.05olarak önerir. - activation_offloading (
bool, isteğe bağlı, varsayılanFalse) — Aktivasyonların CPU'ya taşınıp taşınmayacağı. - sync_ref_model (
bool, isteğe bağlı, varsayılanFalse) — Referans modelin,ref_model_mixup_alphaparametresini kullanarak herref_model_sync_stepsadımda aktif modelle senkronize edilip edilmeyeceğini belirtir. Bu senkronizasyon, TR-DPO makalesinden kaynaklanmaktadır.sync_ref_model=Truehenüz PEFT veyaprecompute_ref_log_probs=Trueile uyumlu değildir. - ref_model_mixup_alpha (
float, isteğe bağlı, varsayılan0.6) — TR-DPO makalesinden gelen α parametresi, güncellemeler sırasında mevcut politika ile önceki referans politika arasındaki karışımı kontrol eder. Referans politika şu denkleme göre güncellenir:π_ref = α * π_θ + (1 - α) * π_ref_prev. Bu parametreyi kullanmak içinsync_ref_model=Truedeğerini ayarlamanız gerekir. - ref_model_sync_steps (
int, isteğe bağlı, varsayılan512) — TR-DPO makalesindeki τ parametresi, mevcut politikanın referans politika ile ne sıklıkta senkronize edileceğini belirler. Bu parametreyi kullanmak içinsync_ref_model=Truedeğerini ayarlamanız gerekir.
Kullanımdan kaldırılan parametreler
DPOTrainer için yapılandırma sınıfı.
Bu sınıf yalnızca DPO eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments belgelerine başvurun. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.
HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.
Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:
logging_steps: Varsayılan olarak500yerine10değerine ayarlanır.gradient_checkpointing: Varsayılan olarakFalseyerineTruedeğerini alır.bf16:fp16ayarlanmadıysa varsayılan olarakTrue,Falseyerine.learning_rate: Varsayılan olarak5e-5yerine1e-6olarak ayarlanır.