TRL documentation
Callback
Callback
RichProgressCallback
TrainerCallback yang menampilkan kemajuan pelatihan atau evaluasi menggunakan Rich.
LogCompletionsCallback
kelas trl.LogCompletionsCallback
< source >( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )
Parameter
- trainer (
Trainer) — Trainer yang akan dihubungkan dengan callback. Dataset evaluasi dari trainer harus mencakup kolom"prompt"yang berisi prompt untuk menghasilkan completion. - generation_config (GenerationConfig, opsional) — Konfigurasi generasi yang akan digunakan untuk menghasilkan kelengkapan.
- num_prompts (
int, opsional) — Jumlah prompt untuk menghasilkan pelengkap. Jika tidak diberikan, secara default menggunakan jumlah contoh dalam dataset evaluasi. - freq (
int, opsional) — Frekuensi untuk mencatat penyelesaian. Jika tidak diberikan, secara default menggunakaneval_stepsdari trainer.
TrainerCallback yang mencatat kelengkapan ke Weights & Biases dan/atau Comet.
BEMACallback
kelas trl.BEMACallback
< source >( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )
Parameter
- update_freq (
int, opsional, defaultnya400) — Perbarui bobot BEMA setiap X langkah. Dinotasikan sebagai {@html "ϕ"} in the paper. - ema_power (
float, optional, defaults to0.5) — Power for the EMA decay factor. Denoted {@html "κ "} dalam makalah. Untuk menonaktifkan EMA, atur ini ke0.0. - bias_power (
float, opsional, defaultnya0.2) — Daya untuk faktor penskalaan BEMA. Dilambangkan dengan {@html "η \\eta η"} dalam makalah. Nilai besar (misalnya 8.0) membuat {@html "αt \\alpha_t αt"} meluruh ke 0, mendekati koreksi bias yang dinonaktifkan; 0.0 justru mengunci {@html "αt \\alpha_t αt"} pada 1 untuk setiap langkah (koreksi maksimum, tanpa peluruhan). lag (int, opsional, defaultnya 10) — Offset awal dalam jadwal weight decay yang mengontrol kehalusan tahap awal dengan bertindak sebagai usia awal virtual untuk pembaruan. Dilambangkan sebagai {@html "ρ \\rho ρ "}η"} in the paper. A large value (e.g.8.0) makes {@html "αt"} decay to0, approximating disabled bias-correction;0.0instead pins {@html "αt"} at1for every step (maximum, undecayed correction). - lag (
int, optional, defaults to10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ"} dalam makalah. - update_after (
int, opsional, defaultnya0) — Waktu burn-in sebelum mulai memperbarui bobot BEMA. Dilambangkan dengan {@html "τ \\tau τ"} dalam makalah. multiplier (float, opsional, defaultnya 1.0) — Nilai awal untuk faktor peluruhan EMA. Dilambangkan sebagai {@html "γ \\gamma γ "}τ"} in the paper. - multiplier (
float, optional, defaults to1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ"} dalam makalah. - min_ema_multiplier (
float, opsional, defaultnya0.0) — Nilai minimum untuk faktor peluruhan EMA. - device (
str, opsional, default"cpu") — Perangkat yang digunakan untuk buffer BEMA, misalnya"cpu"atau"cuda". Perhatikan bahwa dalam kebanyakan kasus, perangkat ini HARUS BERBEDA dari perangkat yang digunakan untuk pelatihan guna menghindari OOM.
TrainerCallback yang mengimplementasikan BEMA (Bias-Corrected Exponential Moving Average) oleh Adam Block dan Cyril Zhang. Kode dari https://github.com/abblock/bema di bawah lisensi MIT.
BEMA menghitung bobot model yang berskala seperti:
di mana adalah bobot model saat ini, adalah snapshot bobot model pada langkah pertama update_after langkah, adalah rata-rata bergerak eksponensial dari bobot model, dan adalah faktor penskalaan yang meluruh seiring jumlah langkah sebagai
EMA dihitung sebagai:
di mana adalah faktor peluruhan yang meluruh seiring jumlah langkah sebagai
WeaveCallback
kelas trl.WeaveCallback
< source >( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )
Parameter
- trainer (
Trainer) — Trainer yang akan dihubungkan dengan callback. Dataset evaluasi dari trainer harus mencakup kolom"prompt"yang berisi prompt untuk menghasilkan completion. - project_name (
str, opsional) — Nama proyek Weave tempat data akan dicatat. Jika tidak disediakan, akan mencoba menggunakan klien weave yang ada atau kembali ke nama proyek dari run wandb yang aktif. Akan memicu error jika tidak ada yang tersedia. - scorers (
dict[str, Callable], opsional) — Kamus yang memetakan nama scorer ke fungsi scorer. JikaNone, beroperasi dalam mode tracing (hanya prediksi). Jika disediakan, beroperasi dalam mode evaluasi (prediksi + skor + ringkasan). Fungsi scorer harus memiliki tanda tangan:scorer(prompt: str, completion: str) -> float | int - generation_config (GenerationConfig, opsional) — Konfigurasi generasi yang akan digunakan untuk menghasilkan kelengkapan.
- num_prompts (
int, opsional) — Jumlah prompt untuk menghasilkan pelengkap. Jika tidak diberikan, secara default menggunakan jumlah contoh dalam dataset evaluasi. - dataset_name (
str, opsional, default"eval_dataset") — Nama untuk metadata dataset di Weave. - model_name (
str, opsional) — Nama untuk metadata model di Weave. Jika tidak disediakan, akan mencoba mengekstrak dari konfigurasi model.
TrainerCallback yang mencatat jejak dan evaluasi ke W&B Weave. Callback ini menggunakan https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ untuk mencatat jejak dan evaluasi pada setiap langkah evaluasi.
Mendukung dua mode berdasarkan parameter scorers:
- Mode Tracing (ketika scorers=None): Mencatat prediksi untuk eksplorasi dan analisis data
- Mode Evaluasi (ketika scorer disediakan): Mencatat prediksi dengan penilaian dan metrik ringkasan
Kedua mode menggunakan EvaluationLogger dari Weave untuk pencatatan data yang terstruktur dan konsisten.
Callback ini mencatat data selama fase evaluasi (on_evaluate) alih-alih langkah pelatihan, sehingga lebih efisien dan secara semantik lebih tepat. Callback ini menangani dengan baik jika instalasi weave tidak ada dengan mencatat peringatan dan melewatkan fungsionalitas yang spesifik untuk weave. Callback ini juga memeriksa klien weave yang sudah ada sebelum menginisialisasi yang baru.
Penggunaan:
# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer) # project_name optional
trainer.add_callback(weave_callback)
# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)
# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
# Your scoring logic here (metadata available via eval_attributes)
return score
weave_callback = WeaveTraceCallback(
trainer=trainer,
project_name="my-llm-training", # optional and needed only if weave client is not initialized
scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)Inisialisasi Weave saat pelatihan dimulai.