TRL documentation

DPO Eğiticisi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DPO Eğiticisi

All_models-DPO-blue smol_course-Chapter_2-yellow

Genel Bakış

TRL, Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning ve Chelsea Finn tarafından yazılan Direct Preference Optimization: Your Language Model is Secretly a Reward Model makalesinde anlatıldığı üzere, dil modellerini eğitmek için Direct Preference Optimization (DPO) Trainer'ı destekler.

Makalenin özeti aşağıdaki gibidir:

Büyük ölçekli denetimsiz dil modelleri (LM) geniş dünya bilgisi ve bazı akıl yürütme becerileri öğrense de, eğitimlerinin tamamen denetimsiz doğası nedeniyle davranışlarının hassas bir şekilde kontrol edilmesi zordur. Bu tür bir yönlendirilebilirlik elde etmek için mevcut yöntemler, model çıktılarının göreli kalitesine dair insan etiketlerini toplar ve denetimsiz LM'yi bu tercihlerle hizalamak için ince ayar yapar; bu işlem genellikle insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ile yapılır. Ancak RLHF karmaşık ve çoğu zaman istikrarsız bir prosedürdür; önce insan tercihlerini yansıtan bir ödül modeli sığdırılır, ardından büyük denetimsiz LM, orijinal modelden çok fazla sapmadan bu tahmini ödülü en üst düzeye çıkarmak için pekiştirmeli öğrenme kullanılarak ince ayarlanır. Bu makalede, RLHF'te ödül modelinin yeni bir parametrelenmesini tanıtıyoruz. Bu parametrelendirme, ilgili optimal politikanın kapalı formda çıkarılmasını sağlayarak standart RLHF probleminin yalnızca basit bir sınıflandırma kaybı ile çözülmesine olanak tanır. Doğrudan Tercih Optimizasyonu (DPO) olarak adlandırdığımız sonuçtaki algoritma istikrarlı, yüksek performanslı ve hesaplamalı olarak hafiftir; ince ayar sırasında LM'den örneklem alma veya önemli hiperparametre ayarlaması yapma ihtiyacını ortadan kaldırır. Deneylerimiz, DPO'nun mevcut yöntemler kadar iyi veya daha iyi bir şekilde LM'leri insan tercihleriyle hizalamak için ince ayar yapabildiğini göstermektedir. Önemli olan, DPO ile yapılan ince ayarın, üretkenliklerin duygu durumunu kontrol etme yeteneğinde PPO tabanlı RLHF'yi aşması ve özetleme ile tek turlu diyalogda yanıt kalitesini eşitlemesi veya iyileştirmesidir; ayrıca uygulama ve eğitim açısından çok daha basittir.

Bu eğitim sonrası yöntemi Kashif Rasul tarafından katkı sağlanmış ve daha sonra Quentin Gallouédec tarafından yeniden yapılandırılmıştır.

Hızlı başlangıç

Bu örnek, TRL'deki DPOTrainer kullanarak bir dil modelinin nasıl eğitileceğini göstermektedir. Bir Qwen 3 0.6B modelini UltraFeedback veri seti üzerinde eğitiyoruz.

from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

Beklenen veri seti türü ve biçimi

DPO, bir tercih veri seti gerektirir. DPOTrainer, hem standart hem de sohbet veri seti biçimleriyle uyumludur. Sohbet veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.

# Standard format
## Explicit prompt (recommended)
preference_example = {"prompt": "The sky is", "chosen": " blue.", "rejected": " green."}
# Implicit prompt
preference_example = {"chosen": "The sky is blue.", "rejected": "The sky is green."}

# Conversational format
## Explicit prompt (recommended)
preference_example = {"prompt": [{"role": "user", "content": "What color is the sky?"}],
                      "chosen": [{"role": "assistant", "content": "It is blue."}],
                      "rejected": [{"role": "assistant", "content": "It is green."}]}
## Implicit prompt
preference_example = {"chosen": [{"role": "user", "content": "What color is the sky?"},
                                 {"role": "assistant", "content": "It is blue."}],
                      "rejected": [{"role": "user", "content": "What color is the sky?"},
                                   {"role": "assistant", "content": "It is green."}]}

Veri setiniz bu formatlardan birinde değilse, beklenen formata dönüştürmek için ön işleme uygulayabilirsiniz. İşte Vezora/Code-Preference-Pairs veri setiyle bir örnek:

from datasets import load_dataset

dataset = load_dataset("Vezora/Code-Preference-Pairs")


def preprocess_function(example):
    return {
        "prompt": [{"role": "user", "content": example["input"]}],
        "chosen": [{"role": "assistant", "content": example["accepted"]}],
        "rejected": [{"role": "assistant", "content": example["rejected"]}],
    }


dataset = dataset.map(preprocess_function, remove_columns=["instruction", "input", "accepted", "ID"])
print(next(iter(dataset["train"])))
{
    "prompt": [{"role": "user", "content": "Create a nested loop to print every combination of numbers [...]"}],
    "chosen": [{"role": "assistant", "content": "Here is an example of a nested loop in Python [...]"}],
    "rejected": [{"role": "assistant", "content": "Here is an example of a nested loop in Python [...]"}],
}

DPO yönteminin derinlemesine incelenmesi

Direct Preference Optimization (DPO), bir dil modelini tercih verileriyle hizalamak için tasarlanmış bir eğitim yöntemidir. Gözetimli girdi–çıktı çiftleri yerine, model aynı istem (prompt) için oluşturulan tamamlama çiftleri üzerinde eğitilir; bu çiftlerden biri diğerine tercih edilir. Amaç, açık bir ödül modeli gerektirmeden, referans modele göre tercih edilen ve tercih edilmeyen tamamlamaların log-olabilirlikleri arasındaki farkı doğrudan optimize ederek bu farkı genişletmektir. Uygulamada bu, genellikle tercih edilen tamamlamaların olasılığını artırmak yerine tercih edilmeyen tamamlamaların olasılığını bastırmak yoluyla sağlanır.

Bu bölüm, DPO'nun pratikte nasıl çalıştığını, ana adımları olan ön işleme ve kayıp hesaplama adımlarını kapsayacak şekilde açıklar.

Önişleme ve belirteçleştirme

Eğitim sırasında, her örneğin bir istem (prompt) ile tercih edilen (chosen) ve tercih edilmeyen (rejected) bir tamamlama içermesi beklenir. Beklenen formatlar hakkında daha fazla ayrıntı için Veri seti formatları bölümüne bakın. DPOTrainer, her girdiyi modelin tokenizer'ı kullanarak işler.

Kaybın hesaplanması

dpo_figure

DPO'da kullanılan kayıp şu şekilde tanımlanır:LDPO(θ)=−E(x,y+,y−) ⁣[log⁡σ ⁣(β(log⁡πθ(y+ ⁣∣x)πref(y+ ⁣∣x)−log⁡πθ(y− ⁣∣x)πref(y− ⁣∣x)))] \mathcal{L}_{\mathrm{DPO}}(\theta) = -\mathbb{E}_{(x,y^{+},y^{-})}\!\left[\log \sigma\!\left(\beta\Big(\log\frac{\pi_{\theta}(y^{+}\!\mid x)}{\pi_{\mathrm{ref}}(y^{+}\!\mid x)}-\log \frac{\pi_{\theta}(y^{-}\!\mid x)}{\pi_{\mathrm{ref}}(y^{-}\!\mid x)}\Big)\right)\right]

burada x x istemdir, y+ y^+ tercih edilen tamamlamadır ve y− y^- tercih edilmeyen tamamlamadır. πθ \pi_{\theta} eğitilen politika modelidir, πref \pi_{\mathrm{ref}} referans modelidir, σ \sigma sigmoid fonksiyonudur ve β>0 \beta > 0 tercih sinyalinin gücünü kontrol eden bir hiperparametredir.

Kayıp Türleri

Literatürde hedefin çeşitli formülasyonları önerilmiştir. Başlangıçta, DPO'nun hedefi yukarıda sunulduğu gibi tanımlanmıştır.

loss_type=Açıklama
"sigmoid" (varsayılan)Tercih verileri verildiğinde, Bradley-Terry modeline göre bir ikili sınıflandırıcı sığdırılabilir ve gerçekte DPO yazarları, lojistik regresyon sığdırmak için normalize edilmiş olasılık üzerinden logsigmoid ile sigmoid kaybını önermektedir.
"hinge"RSO yazarları, SLiC makalesindeki normalize edilmiş olasılık üzerinde bir menteşe kaybı (hinge loss) kullanmayı önermektedir. Bu durumda beta, pay (margin) değerinin tersidir.
"ipo"IPO yazarları, logit dönüşümünün aşırı öğrenmeye yol açabileceğini savunmakta ve tercihleri doğrudan optimize etmek için kimlik dönüşümünü önermektedir; TRL bunu loss_type="ipo" olarak sunar.
"exo_pair"EXO yazarları reverse-KL tercih optimizasyonunu önermektedir. label_smoothing kesinlikle 0.0'dan büyük olmalıdır; önerilen değer 1e-3'tür (basitleştirilmiş çiftli varyant için Denklem 16'ya bakınız). Tam yöntem K>2 SFT tamamlaması kullanır ve K büyüdükçe PPO'ya yaklaşır.
"nca_pair"NCA yazarları, NCA'nın göreli olasılık yerine her yanıt için mutlak olasılığı optimize ettiğini göstermektedir.
"robust"Robust DPO yazarları, gürültülü tercihler altında yanlı olmayan bir DPO kaybı önermektedir. Etiket değiştirme olasılığını modellemek için DPOConfig içinde label_smoothing kullanın; geçerli değerler [0.0, 0.5) aralığındadır.
"bco_pair"BCO yazarları, logit değerinin bir ödül olarak kullanıldığı, sınıflandırıcının {prompt, chosen completion} çiftlerini 1'e ve {prompt, rejected completion} çiftlerini 0'a eşleyecek şekilde eğitildiği bir ikili sınıflandırıcı eğitir.
"sppo_hard"SPPO yazarları, SPPO'nun seçilen ödülleri 1/2'ye kadar büyük, reddedilen ödülleri ise -1/2'ye kadar küçük olacak şekilde iterek Nash dengesini iteratif olarak çözebildiğini ve veri seyrekliği sorunlarını hafifletebildiğini iddia etmektedir. Uygulama, bu algoritmayı yaklaşık olarak, kazananı 1'e ve kaybedeni 0'a atayarak sert etiket olasılıkları kullanarak modellemektedir.
"aot" veya loss_type="aot_unpaired"AOT yazarları, Optimal Transport ile Dağılımsal Tercih Hizalaması (Distributional Preference Alignment) önermektedir. loss_type="aot" eşlenmiş (paired) veriler içindir; loss_type="aot_unpaired" ise eşlenmemiş (unpaired) veriler içindir. Her ikisi de sıralı kantiller aracılığıyla stokastik baskınlığı (stochastic dominance) zorlar; GPU başına daha büyük batch boyutları faydalıdır.
"apo_zero" veya loss_type="apo_down"APO yöntemi, sabitlenmiş bir hedef tanıtır. apo_zero, kazananları artırır ve kaybedenlerin ağırlığını azaltır (modelin kazananlardan düşük performans gösterdiği durumlarda faydalıdır). apo_down, her ikisinin ağırlığını da azaltır, kaybedenlere daha güçlü bir baskı uygular (modelin zaten kazananlardan iyi performans gösterdiği durumlarda faydalıdır).
"discopop"DiscoPOP makalesi, daha verimli çevrimdışı tercih optimizasyon kayıplarını keşfetmek için LLM'leri kullanır. Makalede önerilen DiscoPOP kaybı (log-oran modüle edilmiş bir kayıp), farklı görevlerde (IMDb olumlu metin üretimi, Reddit TLDR özetleme ve Alpaca Eval 2.0) diğer optimizasyon kayıplarından daha iyi performans göstermiştir.
"sft"SFT (Supervised Fine-Tuning) kaybı, modelin tercih edilen yanıtları üretmesini sağlamak için kullanılan negatif log olasıklık (negative log likelihood) kaybıdır.
"sigmoid_norm"SimPO yazarları, orijinal sigmoid kaybındaki uzunluk önyargısını, maskelenmemiş token sayısına normalize ederek ele alır; TRL bunu loss_type="sigmoid_norm" olarak sunar.
"udpo"UDPO yazarları, gürültülü tercihler altında önyargısız bir DPO kaybı önermektedir; bu kayıp, "robust" ile aksine, çevirme olasılığı fazla tahmin edildiğinde bile önyargısızlığını korur. Çevirme olasılığı ε değerini ayarlamak için DPOConfig içinde label_smoothing parametresini kullanın; geçerli değerler [0.0, 0.5) aralığındadır.

Kaydedilen metrikler

Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz:

  • global_step: Şu ana kadar atılan toplam optimizör adımı sayısı.
  • epoch: Veri seti yinelemesine dayalı olarak geçerli epoch numarası.
  • num_tokens: Şu ana kadar işlenen toplam token sayısı.
  • loss: Güncel kayıt aralığındaki ortalama DPO kaybı.
  • entropy: Modelin maskelenmemiş jetonlar üzerindeki tahmini jeton dağılımının ortalama entropisi.
  • aux_loss: Bir Mixture-of-Experts modelinin, router_aux_loss_coef ile ölçeklenip kayba eklenmeden önceki yük dengeleme yardımcı kaybı. Sadece model bir MoE modeli olduğunda ve router_aux_loss_coef sıfır olmadığında kaydedilir.
  • mean_token_accuracy: Seçilen tamamlamadan gelen token ile modelin en iyi 1 tahmininin eşleştiği, maskelenmemiş tokenların oranı.
  • learning_rate: Bir zamanlayıcı kullanılıyorsa dinamik olarak değişebilen mevcut öğrenme oranı.
  • grad_norm: Gradyan kesme işleminden önce hesaplanan gradyanların L2 normu.
  • logits/chosen: Modelin seçilen tamamlamadaki jetonlara atadığı ortalama logit değerleri.
  • logits/rejected: Modelin reddedilen tamamlamadaki jetonlara atadığı ortalama logit değerleri.
  • logps/chosen: Modelin seçilen tamamlamadaki jetonlara atadığı ortalama log-olasılık.
  • logps/rejected: Modelin reddedilen tamamlamadaki jetonlara atadığı ortalama log-olasılık.
  • rewards/chosen: Seçilen tamamlama için hesaplanan ortalama örtük ödül, şu şekilde hesaplanır: βlog⁡πθ(y+ ⁣∣x)πref(y+ ⁣∣x) \beta \log \frac{\pi_{\theta}(y^{+}\!\mid x)}{\pi_{\mathrm{ref}}(y^{+}\!\mid x)} .
  • rewards/rejected: reddedilen tamamlama için hesaplanan ortalama örtük ödül, şu şekilde hesaplanır: βlog⁡πθ(y− ⁣∣x)πref(y− ⁣∣x) \beta \log \frac{\pi_{\theta}(y^{-}\!\mid x)}{\pi_{\mathrm{ref}}(y^{-}\!\mid x)} .
  • rewards/margins: Seçilen ve reddedilen tamamlamalar arasındaki ortalama örtük ödül marjı.
  • rewards/accuracies: Seçilen tamamlamanın örtük ödülünün reddedilen tamamlamanın örtük ödülünden yüksek olduğu örneklerin oranı.

Özelleştirme

Uyumluluk ve kısıtlamalar

Mevcut DPOTrainer uygulamasında bazı argüman kombinasyonları bilinçli olarak kısıtlanmıştır:

  • use_weighting=True, loss_type="aot" veya loss_type="aot_unpaired" ile desteklenmez.
  • lm_head hedefli PEFT adaptörleri desteklenmez (bunun yerine modules_to_save=["lm_head"] kullanın).
  • PEFT modelleriyle eğitim sırasında bağımsız bir ref_model tutmayan modellerde sync_ref_model=True desteklenmez.
  • sync_ref_model=True, precompute_ref_log_probs=True ile birleştirilemez.
  • precompute_ref_log_probs=True, IterableDataset (eğitim veya değerlendirme) ile desteklenmez.

Çoklu kayıp kombinasyonları

DPO trainer, farklı ağırlıklarla birden fazla kayıp fonksiyonunu birleştirmeyi destekleyerek daha gelişmiş optimizasyon stratejilerine olanak tanır. Bu, MPO (Mixed Preference Optimization) gibi algoritmaların uygulanması için özellikle faydalıdır. MPO, Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization makalesinde açıklandığı gibi, birden fazla optimizasyon hedefini birleştiren bir eğitim yaklaşımıdır.

Birden fazla kaybı birleştirmek için, kayıp türlerini ve ilgili ağırlıkları listeler olarak belirtin:

# MPO: Combines DPO (sigmoid) for preference and BCO (bco_pair) for quality
training_args = DPOConfig(
    loss_type=["sigmoid", "bco_pair", "sft"],  # loss types to combine
    loss_weights=[0.8, 0.2, 1.0]  # corresponding weights, as used in the MPO paper
)

Model başlatma

from_pretrained() yönteminin kwargs'larını doğrudan DPOConfig'e iletebilirsiniz. Örneğin, bir modeli farklı bir hassasiyette yüklemek istiyorsanız, buna benzer şekilde

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)

Bunu, DPOConfig sınıfına model_init_kwargs={"dtype": torch.bfloat16} argümanını geçirerek yapabilirsiniz.

from trl import DPOConfig

training_args = DPOConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)

from_pretrained() işlevinin tüm anahtar kelime argümanlarının desteklendiğini unutmayın.

PEFT ile adaptörler eğitin

🤗 PEFT kütüphanesiyle sıkı entegrasyon destekliyoruz; bu sayede kullanıcılar, tüm modeli eğitmek yerine adaptörleri kolayca eğitebilir ve Hub üzerinde paylaşabilir.

from datasets import load_dataset
from trl import DPOTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = DPOTrainer(
    "Qwen/Qwen3-0.6B",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)

trainer.train()

PeftModel eğitiminizi devam ettirebilirsiniz. Bunun için, önce DPOTrainer dışında bir PeftModel yükleyin ve peft_config argümanını geçirmeden doğrudan trainer'a iletin.

from datasets import load_dataset
from trl import DPOTrainer
from peft import AutoPeftModelForCausalLM

model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = DPOTrainer(
    model=model,
    train_dataset=dataset,
)

trainer.train()

Adaptörler eğitilirken, yalnızca yeni parametrelerin öğrenildiği için tam ince ayara kıyasla genellikle daha yüksek bir öğrenme oranı (≈1e‑5) kullanılır.

DPOConfig(learning_rate=1e-5, ...)

DPO için Hızlı Deney

RapidFire AI, TRL üzerine oturan ve tek bir GPU üzerinde bile birden fazla DPO yapılandırmasını aynı anda başlatmanızı sağlayan açık kaynak bir deney motorudur. Yapılandırmaları sırayla denemek yerine RapidFire, yeniden başlatmadan tüm öğrenme eğrilerini daha erken görmenize, düşük performans gösteren çalıştırmaları durdurmanıza ve umut verici olanları uçuş sırasında yeni ayarlarla klonlamanıza olanak tanır. Daha fazla bilgi için RapidFire AI Entegrasyonu bölümüne bakın.

Unsloth ile Eğitim

Unsloth, LLM'leri (Llama, Mistral, Gemma, DeepSeek ve diğerleri) %70'e varan VRAM tasarrufu ile 2 katına kadar daha hızlı eğiten, eğitim, değerlendirme ve dağıtım için akıcı, Hugging Face ile uyumlu bir iş akışı sunan açık kaynaklı bir ince ayar ve pekiştirmeli öğrenme çerçevesidir. Daha fazla bilgi için Unsloth Entegrasyonu sayfasına bakın.

DPO ile Araç Çağrısı

DPOTrainer, tool calling yeteneklerine sahip modellerin ince ayarını tamamen destekler. Bu durumda, veri setindeki her örnek şunları içermelidir:

  • Sohbet mesajları (istem, seçilen ve reddedilen), herhangi bir araç çağrısını (tool_calls) ve araç yanıtlarını (tool rol mesajları) içerir
  • tools sütunundaki kullanılabilir araçların listesi, genellikle JSON şemaları olarak sağlanır

Beklenen veri seti yapısına ilişkin ayrıntılar için Veri Seti Biçimi — Araç Çağrısı bölümüne bakın.

Görsel Dil Modellerinin Eğitimi

DPOTrainer, Görüntü-Dil Modelleri (VLM) eğitimini tam olarak destekler. Bir VLM eğitmek için, veri setinde her örnek için tek bir görüntü içeren bir image sütunu veya her örnek için bir görüntü listesi içeren bir images sütunu bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görüntü Veri Seti bölümüne bakın. Bu tür bir veri setinin bir örneği, RLAIF-V Veri Seti'dir.

from trl import DPOConfig, DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-VL-3B-Instruct",
    args=DPOConfig(max_length=None),
    train_dataset=load_dataset("HuggingFaceH4/rlaif-v_formatted", split="train"),
)
trainer.train()

VLM'ler için kırpma işlemi, görüntü jetonlarını kaldırarak eğitim sırasında hatalara yol açabilir. Bunu önlemek için DPOConfig içinde max_length=None değerini ayarlayın. Bu, modelin görüntü jetonlarını kırpma işlemi olmadan tam dizi uzunluğunu işlemesine olanak tanır.

DPOConfig(max_length=None, ...)

Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca max_length kullanın.

DPOTrainer

sınıf trl.DPOTrainer

< >

( model: str | PreTrainedModel | PeftModelref_model: transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.dpo_config.DPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = None )

Parametreler

  • model (str veya PreTrainedModel veya PeftModel) — Eğitilecek model. Şunlardan biri olabilir:
    • Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin './my_model_directory/'. Model, args.model_init_kwargs içindeki anahtar kelime argümanlarıyla, <ModelArchitecture>.from_pretrained (burada <ModelArchitecture> model yapılandırmasından türetilir) kullanılarak yüklenir. dtype, args.model_init_kwargs içinde belirtilmediyse, varsayılan olarak float32 olur. Bu, from_pretrained'den farklıdır; orada (Transformers v5'ten itibaren) dtype model yapılandırmasından çıkarılır.
    • Bir PreTrainedModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
    • Bir PeftModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
  • ref_model (PreTrainedModel, isteğe bağlı) — Referans log olasılıklarını hesaplamak için kullanılan referans model. Sağlanırsa, bu model doğrudan referans politika olarak kullanılır. PeftModel olamaz. None ise, eğitimci model ile eşleşen başlangıç politikasını, yani DPO eğitimine başlamadan önceki model durumunu otomatik olarak kullanır.
    • Sağlanırsa, bu model doğrudan referans politika olarak kullanılır. PeftModel olamaz.
    • None ise, trainer, DPO eğitimine başlamadan önceki model durumu olan, model'e karşılık gelen başlangıç politikasını otomatik olarak kullanır.
  • args (DPOConfig, isteğe bağlı) — Bu eğitimci için yapılandırma. None ise varsayılan yapılandırma kullanılır.
  • data_collator (DataCollator, isteğe bağlı) — İşlenmiş train_dataset veya eval_dataset öğelerinin listesinden bir batch oluşturmak için kullanılacak işlev. Model bir dil modeli ise varsayılan olarak DataCollatorForPreference, model bir görü-dil modeli ise DataCollatorForVisionPreference kullanılır. Özel collator'lar, padding uygulamadan önce dizileri kısaltmalıdır; trainer, collation sonrası kısaltma uygulamaz.
  • train_dataset (Dataset veya IterableDataset) — Eğitim için kullanılacak veri seti. Bu trainer hem dil modelleme türünü hem de istek-tamamlama türünü destekler. Örneklerin biçimi şu şekillerden biri olabilir:
    • Standart: Her örnek düz metin içerir.
    • Sohbet: Her örnek yapılandırılmış mesajlar içerir (ör. rol ve içerik).

    train_dataset bir IterableDataset (ör. bir akış veri seti) olduğunda, uzunluğu çıkarılamadığı ve eğitim döngüsünü sınırlamak ile öğrenme oranı zamanlayıcısını yapılandırmak için toplam eğitim adım sayısının gerekli olması nedeniyle, max_steps eğitim argümanlarında ayarlanmalıdır.

  • eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict veya dict[str, Dataset | IterableDataset]) — Değerlendirme için kullanılacak veri seti. train_dataset ile aynı gereksinimleri karşılaması gerekir.
  • processing_class (PreTrainedTokenizerBase veya ProcessorMixin, isteğe bağlı) — Verileri işlemek için kullanılan işleme sınıfı. Dolgu tarafı “left” olarak ayarlanmalıdır. None ise, işleme sınıfı modelin adından from_pretrained ile yüklenir. Bir dolgu belirteci, tokenizer.pad_token, ayarlanmış olmalıdır. İşleme sınıfı bir dolgu belirteci ayarlamadıysa, tokenizer.eos_token varsayılan olarak kullanılır.
  • compute_metrics (Callable[[EvalPrediction], dict], isteğe bağlı) — Değerlendirme sırasında metrikleri hesaplamak için kullanılacak işlev. Bir EvalPrediction almalı ve metrik değerlerini içeren bir sözlük döndürmelidir. SFTConfig ile batch_eval_metrics değeri True olarak ayarlandığında, compute_metrics işleviniz bir boole compute_result argümanı almalıdır. Bu, son değerlendirme grubundan sonra tetiklenir ve işlevin grup düzeyindeki istatistikleri biriktirmek yerine küresel özet istatistikleri hesaplayıp döndürmesi gerektiğini sinyal verir. Aldığı logitler, ek bir ileri geçişle yeniden hesaplanır. Bu özellik kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır.
  • callbacks (liste TrainerCallback, isteğe bağlı) — Eğitim döngüsünü özelleştirmek için kullanılacak geri çağrılar listesi. Bunlar, burada.

    Varsayılan olarak kullanılan geri çağrılardan birini kaldırmak istiyorsanız, remove_callback metodunu kullanın.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], isteğe bağlı, varsayılan (None, None)) — Kullanılacak optimizörü ve zamanlayıcıyı içeren bir demet. Modelinizde AdamW örneği ve args tarafından kontrol edilen get_linear_schedule_with_warmup tarafından verilen bir zamanlayıcı olarak varsayılan değerlere sahip olacaktır.
  • quantization_config (BitsAndBytesConfig, isteğe bağlı) — Model bir model tanımlayıcısından yüklenirken kullanılan nicelleştirme yapılandırması. QLoRA eğitimi için peft_config ile birleştirin. Model zaten örneklenmişse yok sayılır.
  • peft_config (PeftConfig, isteğe bağlı) — Modeli sarmak için kullanılan PEFT yapılandırması. None ise model sarılmaz.

Doğrudan Tercih Optimizasyonu (DPO) yöntemi için Trainer. Bu algoritma ilk olarak Direct Preference Optimization: Your Language Model is Secretly a Reward Model makalesinde önerilmiştir. Bu sınıf, Trainer sınıfının bir sarmalayıcısıdır ve tüm özelliklerini ve yöntemlerini devralır.

Örnek:

>>> from trl import DPOTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

>>> trainer = DPOTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

eğit

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Parametreler

  • resume_from_checkpoint (str veya bool, isteğe bağlı) — str ise, önceki bir Trainer örneği tarafından kaydedilen bir kontrol noktasının yerel yolu. bool ise ve True değerine eşitse, önceki bir Trainer örneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder.
  • trial (optuna.Trial veya dict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü.
  • ignore_keys_for_eval (list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.

Dönüş değeri

~trainer_utils.TrainOutput

Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.

Ana eğitim giriş noktası.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.

Yalnızca ana süreçten kaydedecektir.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Parametreler

  • commit_message (str, isteğe bağlı, varsayılan "End of training") — İterlerken gönderilecek mesaj.
  • blocking (bool, isteğe bağlı, varsayılan True) — Fonksiyonun yalnızca git push işlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir.
  • token (str, isteğe bağlı, varsayılan None) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton.
  • revision (str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır.
  • private (bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarak args.hub_private_repo değerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur.
  • kwargs (dict[str, Any], isteğe bağlı) — ~Trainer.create_model_card ile birlikte iletilen ek anahtar kelime argümanları.

self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.

DPOConfig

sınıf trl.DPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonedisable_dropout: bool = Truedataset_num_proc: int | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'precompute_ref_log_probs: bool = Falseprecompute_ref_batch_size: int | None = Noneloss_type: list[str] = <factory>loss_weights: list[float] | None = Noneld_alpha: float | None = Nonef_divergence_type: str = 'reverse_kl'f_alpha_divergence_coef: float = 0.5label_smoothing: float = 0.0beta: float = 0.1use_weighting: bool = Falsediscopop_tau: float = 0.05activation_offloading: bool = Falsesync_ref_model: bool = Falseref_model_mixup_alpha: float = 0.6ref_model_sync_steps: int = 512pad_token: str | None = None )

Modeli kontrol eden parametreler

  • model_init_kwargs (dict[str, Any], isteğe bağlı) — DPOTrainer'in model argümanı bir dize olarak verildiğinde from_pretrained için kullanılan anahtar kelime argümanları. revision değeri, işleme sınıfı yüklenirken de kullanılır.
  • trust_remote_code (bool, isteğe bağlı, varsayılan False) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained ve from_pretrained işlevlerine aktarılır.
  • router_aux_loss_coef (float, isteğe bağlı) — Mixture-of-Experts (MoE) modelleri için yük dengeleme yardımcı kaybının katsayısı, eğitim kaybına bu ağırlıkla eklenir. Ayarlanmadığında, model yapılandırmasında beyan edilen değer kullanılır. Devre dışı bırakmak için 0.0 olarak ayarlayın. MoE olmayan bir modelle kullanıldığında hata verir.
  • disable_dropout (bool, isteğe bağlı, varsayılan True) — Modelde ve referans modelde dropout'un devre dışı bırakılıp bırakılmayacağı.

Veri ön işleme sürecini kontrol eden parametreler

  • dataset_num_proc (int, isteğe bağlı) — Veri setini işlemek için kullanılacak süreç sayısı.
  • max_length (int veya None, isteğe bağlı, varsayılan 1024) — Tokenize edilmiş dizinin maksimum uzunluğu. max_length değerinden uzun olan diziler, truncation_mode değerine bağlı olarak soldan veya sağdan kırpılır. None ise kırpma uygulanmaz.
  • truncation_mode (str, isteğe bağlı, varsayılan "keep_start") — Dizi max_length değerini aştığında kullanılacak kesme modu. Desteklenen tek değer "keep_start"'tır. "keep_end" değeri kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır.
  • padding_free (bool, isteğe bağlı, varsayılan False) — Batch içindeki tüm dizileri tek bir sürekli diziye dönüştürerek padding olmadan ileri geçişleri (forward pass) gerçekleştirip gerçekleştirilmeyeceğini belirtir. Bu, padding kaynaklı gereksiz yükü ortadan kaldırarak bellek kullanımını azaltır. Şu anda bu özellik, düzleştirilmiş batch yapısını verimli bir şekilde işleyebildiği için yalnızca FlashAttention 2 veya 3 ile desteklenmektedir. Geçici olarak kullanılamıyor: DPO yeniden yapılandırmasından (refactor) bu yana True olarak ayarlanması bir uyarı üretir ve standart padding'e geri düşer. Gelecekteki bir güncellemede yeniden sunulması planlanmaktadır.
  • pad_to_multiple_of (int veya str, isteğe bağlı, varsayılan "auto") — Belirlenirse, diziler bu değerin katına kadar doldurulur. "auto", Neuron (AWS Trainium) üzerinde 128'in katına kadar doldurur; bu platform her giriş şekli için bir kez derleme yapar ve başka yerlerde doldurma uygulanmaz.
  • precompute_ref_log_probs (bool, isteğe bağlı, varsayılan False) — Eğitimden önce, eğitim veri setinin tamamı için referans model log olasılıklarının önceden hesaplanıp hesaplanmayacağı. Bu, referans modelin bellekte tutulmasına gerek kalmadığı için eğitim sırasında bellek tasarrufu sağlar.
  • precompute_ref_batch_size (int, isteğe bağlı) — Referans model log olasılıklarını önceden hesaplanırken kullanılacak batch boyutu. Bu değer, ön işleme hızını artırmak için eğitim batch boyutundan daha yüksek ayarlanabilir. None ise, eğitim için per_device_train_batch_size, değerlendirme için per_device_eval_batch_size varsayılan olarak kullanılır.

Eğitimi kontrol eden parametreler

  • loss_type (list[str], isteğe bağlı, varsayılan ["sigmoid"]) — Kullanılacak kayıp türü. Olası değerler: 'sigmoid', 'hinge', 'ipo', 'exo_pair', 'nca_pair', 'robust', 'bco_pair', 'sppo_hard', 'aot', 'aot_unpaired', 'apo_zero', 'apo_down', 'discopop', 'sft', 'sigmoid_norm', 'udpo'. Birden fazla kayıp türü sağlanırsa, bunlar loss_weights içinde belirtilen ağırlıklar kullanılarak birleştirilir.
  • loss_weights (list[float], isteğe bağlı) — Çoklu kayıp kombinasyonları için kayıp ağırlıkları listesi. Birden fazla kayıp türünü birleştirirken kullanılır. Örnek: MPO için [0.8, 0.2, 1.0]. Sağlanmazsa, tüm kayıp türleri için eşit ağırlıklar (1.0) varsayılan olarak kullanılır.
  • ld_alpha (float, isteğe bağlı) — LD-DPO makalesindeki α parametresi, yanıtlardaki ayrıntılı token log-olasılıklarının ağırlıklandırmasını kontrol eder. None ise ayrıntılı kısma ağırlıklandırma uygulanmaz ve kayıp, standart DPO kaybına eşdeğer olur. [0.0, 1.0] aralığında olmalıdır: ld_alpha=1.0 ağırlıklandırma uygulamaz, ld_alpha=0.0 ise ortak uzunlukların ötesindeki tokenları maskeleme yapar.
  • f_divergence_type (str, isteğe bağlı, varsayılan "reverse_kl") — politika ve referans arasındaki f-divergence düzenleyicisi (f-DPO makalesi). Olası değerler: reverse_kl (varsayılan), forward_kl, js_divergence, alpha_divergence. Varsayılan olmayan bir değeri yalnızca seçilen-rededilen ödül farkına dayalı kayıp türleri destekler: 'sigmoid', 'sigmoid_norm', 'hinge', 'ipo', 'exo_pair', 'robust', 'discopop', 'sft', 'udpo'. Diğer kayıp türlerinin geçerli bir f-divergence genellemesi yoktur ve varsayılan olmayan bir değerle reddedilir.
  • f_alpha_divergence_coef (float, isteğe bağlı, varsayılan 0.5) — f_divergence_type='alpha_divergence' kullanıldığında yalnızca kullanılan, u^-α düzenleyicisi için α katsayısı.
  • label_smoothing (float, isteğe bağlı, varsayılan 0.0) — Robust DPO, UDPO ve EXO'da kullanılan etiket yumuşatma (label smoothing) parametresi. Robust DPO ve UDPO'da, bir tercih etiketinin tersine çevrilme olasılığı ε olarak yorumlanır ve [0.0, 0.5) aralığında olmalıdır; Robust DPO makalesi tarafından önerilen tipik bir değer 0.1'dir. UDPO, a = ε / (1 - ε) değerini belirlemek için bunu kullanır ve UDPO makalesi a = 0.8, yani ε = 4/9 değerini önerir. EXO'da ise ε etiket yumuşatma parametresine karşılık gelir ve makale bunun için tipik olarak 1e-3 değerini önerir.
  • beta (float, isteğe bağlı, varsayılan 0.1) — Referans modelden sapmayı kontrol eden parametre. β değeri ne kadar yüksekse, referans modelden sapma o kadar azdır. IPO kaybı (loss_type='ipo') için bu değer, makalede τ ile gösterilen düzenleme parametresidir.
  • use_weighting (bool, isteğe bağlı, varsayılan False) — Politikanın uzunluk-normalize edilmiş dizi olasılıklarını kullanarak tercih çiftlerine WPO tarzı ağırlıklandırma uygulanıp uygulanmayacağı.
  • discopop_tau (float, isteğe bağlı, varsayılan 0.05) — DiscoPOP makalesindeki τ/sıcaklık parametresi, loss_type='discopop' kullanıldığında log-oran modüle edilmiş kaybın şeklini kontrol eder. Makale, varsayılan değeri discopop_tau=0.05 olarak önerir.
  • activation_offloading (bool, isteğe bağlı, varsayılan False) — Aktivasyonların CPU'ya taşınıp taşınmayacağı.
  • sync_ref_model (bool, isteğe bağlı, varsayılan False) — Referans modelin, ref_model_mixup_alpha parametresini kullanarak her ref_model_sync_steps adımda aktif modelle senkronize edilip edilmeyeceğini belirtir. Bu senkronizasyon, TR-DPO makalesinden kaynaklanmaktadır. sync_ref_model=True henüz PEFT veya precompute_ref_log_probs=True ile uyumlu değildir.
  • ref_model_mixup_alpha (float, isteğe bağlı, varsayılan 0.6) — TR-DPO makalesinden gelen α parametresi, güncellemeler sırasında mevcut politika ile önceki referans politika arasındaki karışımı kontrol eder. Referans politika şu denkleme göre güncellenir: π_ref = α * π_θ + (1 - α) * π_ref_prev. Bu parametreyi kullanmak için sync_ref_model=True değerini ayarlamanız gerekir.
  • ref_model_sync_steps (int, isteğe bağlı, varsayılan 512) — TR-DPO makalesindeki τ parametresi, mevcut politikanın referans politika ile ne sıklıkta senkronize edileceğini belirler. Bu parametreyi kullanmak için sync_ref_model=True değerini ayarlamanız gerekir.

Kullanımdan kaldırılan parametreler

  • pad_token —

    pad_token parametresi kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır. Bunun yerine tokenizer.pad_token değerini doğrudan ayarlayın ve trainer'a processing_class olarak iletin.

DPOTrainer için yapılandırma sınıfı.

Bu sınıf yalnızca DPO eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments belgelerine başvurun. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.

HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.

Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:

  • logging_steps: Varsayılan olarak 500 yerine 10 değerine ayarlanır.
  • gradient_checkpointing: Varsayılan olarak False yerine True değerini alır.
  • bf16: fp16 ayarlanmadıysa varsayılan olarak True, False yerine.
  • learning_rate: Varsayılan olarak 5e-5 yerine 1e-6 olarak ayarlanır.
Update on GitHub