TRL documentation

Trainer CPO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Trainer CPO

model badge

Tổng quan

Contrastive Preference Optimization (CPO) như được giới thiệu trong bài báo Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation của Haoran Xu, Amr Sharaf, Yunmo Chen, Weiting Tan, Lingfeng Shen, Benjamin Van Durme, Kenton Murray và Young Jin Kim. Về mặt tổng quan, CPO huấn luyện các mô hình tránh việc tạo ra các bản dịch ở mức chấp nhận được nhưng không hoàn hảo trong các tác vụ Machine Translation (MT). Tuy nhiên, CPO là một xấp xỉ tổng quát của loss DPO và có thể được áp dụng cho các lĩnh vực khác, chẳng hạn như chat.

CPO nhằm giảm thiểu hai khiếm khuyết cơ bản của SFT. Thứ nhất, phương pháp của SFT, vốn tối thiểu hóa sự khác biệt giữa đầu ra dự đoán và các tham chiếu chuẩn vàng, vốn dĩ giới hạn hiệu suất của mô hình ở mức chất lượng của dữ liệu huấn luyện. Thứ hai, SFT thiếu cơ chế để ngăn mô hình bác bỏ các sai sót trong bản dịch. Hàm mục tiêu của CPO được suy ra từ hàm mục tiêu của DPO.

Bắt đầu nhanh

Ví dụ này minh họa cách huấn luyện một mô hình bằng phương pháp CPO. Chúng ta sử dụng mô hình Qwen 0.5B làm mô hình cơ sở. Chúng ta sử dụng dữ liệu ưu tiên từ dataset UltraFeedback. Bạn có thể xem dữ liệu trong dataset tại đây:

Dưới đây là script để huấn luyện mô hình:

# train_cpo.py
from datasets import load_dataset
from trl.experimental.cpo import CPOConfig, CPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = CPOConfig(output_dir="Qwen2-0.5B-CPO")
trainer = CPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

Chạy script bằng lệnh sau:

torchrun --nproc_per_node 8 train_cpo.py

Kiểu dữ liệu tập dữ liệu dự kiến

CPO yêu cầu một dataset sở thích. experimental.cpo.CPOTrainer hỗ trợ cả định dạng dataset đối thoại và chuẩn. Khi được cung cấp một dataset đối thoại, trainer sẽ tự động áp dụng chat template lên dataset đó.

Các chỉ số được ghi log

Trong quá trình huấn luyện và đánh giá, chúng ta ghi lại các chỉ số sau:

  • rewards/chosen: trung bình của log xác suất của mô hình chính sách cho các phản hồi được chọn, được nhân với beta
  • rewards/rejected: trung bình của log xác suất của mô hình chính sách cho các phản hồi bị từ chối, được nhân với beta
  • rewards/accuracies: trung bình của tần suất phần thưởng được chọn > phần thưởng bị từ chối tương ứng
  • rewards/margins: hiệu số trung bình giữa phần thưởng được chọn và phần thưởng bị từ chối tương ứng
  • nll_loss: tổn thất log-likelihood âm trung bình của mô hình chính sách cho các phản hồi được chọn

Các biến thể CPO

Tối ưu hóa sở thích đơn giản (SimPO)

Simple Preference Optimization (SimPO) của Yu Meng, Mengzhou Xia và Danqi Chen đề xuất một thuật toán tối ưu hóa sở thích đơn giản và hiệu quả hơn DPO mà không sử dụng mô hình tham chiếu. Các thiết kế chính trong SimPO là (1) sử dụng log likelihood chuẩn hóa theo độ dài làm phần thưởng ẩn, và (2) tích hợp biên độ phần thưởng mục tiêu vào mục tiêu xếp hạng Bradley-Terry. Mã nguồn chính thức có thể tìm thấy tại princeton-nlp/SimPO.

Tóm tắt từ bài báo như sau:

Direct Preference Optimization (DPO) là thuật toán tối ưu hóa sở thích ngoại tuyến được sử dụng rộng rãi, tái tham số hóa các hàm phần thưởng trong học tăng cường từ phản hồi của con người (RLHF) nhằm tăng cường sự đơn giản và độ ổn định của quá trình huấn luyện. Trong công trình này, chúng tôi đề xuất SimPO, một cách tiếp cận đơn giản hơn nhưng hiệu quả hơn. Hiệu quả của SimPO được quy cho một thiết kế then chốt: sử dụng xác suất log trung bình của một chuỗi làm phần thưởng ẩn. Công thức phần thưởng này phù hợp hơn với quá trình sinh của mô hình và loại bỏ nhu cầu về một mô hình tham chiếu, giúp hiệu quả hơn về mặt tính toán và bộ nhớ. Ngoài ra, chúng tôi giới thiệu một biên độ phần thưởng mục tiêu vào hàm mục tiêu Bradley-Terry để khuyến khích khoảng cách lớn hơn giữa các phản hồi thắng và thua, từ đó nâng cao hơn nữa hiệu suất của thuật toán. Chúng tôi so sánh SimPO với DPO và các biến thể mới nhất của nó trên nhiều cấu hình huấn luyện tiên tiến, bao gồm cả các mô hình cơ sở và mô hình được điều chỉnh theo hướng dẫn như Mistral và Llama3. Chúng tôi đánh giá trên các bộ chuẩn tuân theo hướng dẫn rộng rãi, bao gồm AlpacaEval 2, MT-Bench và bộ chuẩn Arena-Hard đầy thách thức gần đây. Kết quả của chúng tôi cho thấy SimPO liên tục và vượt trội hơn đáng kể so với các phương pháp hiện có mà không làm tăng đáng kể độ dài phản hồi. Cụ thể, SimPO vượt trội hơn DPO tới 6,4 điểm trên AlpacaEval 2 và tới 7,5 điểm trên Arena-Hard. Mô hình hiệu suất cao nhất của chúng tôi, được xây dựng trên Llama3-8B-Instruct, đạt tỷ lệ thắng kiểm soát độ dài ấn tượng 44,7 trên AlpacaEval 2 — vượt qua Claude 3 Opus trên bảng xếp hạng, và tỷ lệ thắng 33,8 trên Arena-Hard — khiến nó trở thành mô hình mã nguồn mở 8B mạnh nhất.

Mất SimPO được tích hợp trong experimental.cpo.CPOTrainer, vì đây là một hàm mất thay thế, thêm biên phần thưởng, cho phép chuẩn hóa theo độ dài và không sử dụng điều chỉnh BC. Để sử dụng hàm mất này, chỉ cần bật loss_type="simpo" và cpo_alpha=0.0 trong experimental.cpo.CPOConfig và đặt simpo_gamma thành một giá trị được khuyến nghị.

CPO-SimPO

Chúng tôi cũng cung cấp phương pháp kết hợp sử dụng CPO và SimPO, cho phép huấn luyện ổn định hơn và cải thiện hiệu suất. Tìm hiểu thêm chi tiết tại CPO-SimPO GitHub. Để sử dụng phương pháp này, chỉ cần bật SimPO bằng cách đặt loss_type="simpo" và một giá trị cpo_alpha khác không trong experimental.cpo.CPOConfig.

AlphaPO

Phương pháp AlphaPO — Reward shape matters for LLM alignment (AlphaPO) của Aman Gupta, Shao Tang, Qingquan Song, Sirou Zhu, Jiwoo Hong, Ankan Saha, Viral Gupta, Noah Lee, Eunki Kim, Jason Zhu, Natesh Pillai và S. Sathiya Keerthi cũng được triển khai trong experimental.cpo.CPOTrainer. AlphaPO là một phương pháp thay thế, áp dụng một phép biến đổi lên hình dạng của hàm phần thưởng trong ngữ cảnh của SimPO loss. Tóm tắt từ bài báo như sau:

Học tăng cường với phản hồi từ con người (Reinforcement Learning with Human Feedback - RLHF) và các biến thể của nó đã đạt được những bước tiến lớn trong việc hiệu chỉnh hiệu quả các mô hình ngôn ngữ lớn (LLMs) để tuân theo chỉ dẫn và phản ánh các giá trị của con người. Gần đây hơn, các Thuật toán Hiệu chỉnh Trực tiếp (Direct Alignment Algorithms - DAAs) đã xuất hiện, trong đó giai đoạn mô hình hóa phần thưởng của RLHF được bỏ qua bằng cách đặc trưng hóa phần thưởng trực tiếp như một hàm của chính sách đang được học. Một số ví dụ phổ biến về DAAs bao gồm Tối ưu hóa Sở thích Trực tiếp (Direct Preference Optimization - DPO) và Tối ưu hóa Sở thích Đơn giản (Simple Preference Optimization - SimPO). Các phương pháp này thường gặp phải hiện tượng dịch chuyển khả năng xảy ra (likelihood displacement), trong đó xác suất của các phản hồi được ưu thích thường bị giảm đi một cách không mong muốn. Trong bài báo này, chúng tôi lập luận rằng, đối với DAAs, hình dạng của hàm phần thưởng là rất quan trọng. Chúng tôi giới thiệu AlphaPO, một phương pháp DAA mới, tận dụng một tham số α để giúp thay đổi hình dạng của hàm phần thưởng vượt ra ngoài phần thưởng log tiêu chuẩn. AlphaPO giúp duy trì sự kiểm soát chi tiết đối với dịch chuyển khả năng xảy ra và quá tối ưu hóa. So với SimPO, một trong những DAA có hiệu suất tốt nhất, AlphaPO mang lại cải thiện tương đối khoảng 7% đến 10% về hiệu suất hiệu chỉnh cho các phiên bản instruct của Mistral-7B và Llama3-8B, đồng thời đạt được cải thiện tương đối từ 15% đến 50% so với DPO trên cùng các mô hình đó. Phân tích và kết quả được trình bày làm nổi bật tầm quan trọng của hình dạng phần thưởng và cách một người có thể thay đổi nó một cách có hệ thống để ảnh hưởng đến động lực học huấn luyện, cũng như cải thiện hiệu suất hiệu chỉnh.

Để sử dụng hàm mất mát này như đã mô tả trong bài báo, chúng ta có thể đặt loss_type="alphapo", điều này sẽ tự động đặt loss_type="simpo" và cpo_alpha=0.0, cùng với alpha và simpo_gamma thành các giá trị được khuyến nghị trong experimental.cpo.CPOConfig. Ngoài ra, bạn có thể tự động đặt loss_type="simpo", cpo_alpha=0.0, cùng với alpha và simpo_gamma thành các giá trị được khuyến nghị. Các biến thể khác của phương pháp này cũng là khả thi, chẳng hạn như đặt loss_type="ipo" và alpha thành bất kỳ giá trị nào khác không.

Hàm mất mát

Thuật toán CPO hỗ trợ một số hàm mất mát. Hàm mất mát có thể được đặt bằng tham số loss_type trong experimental.cpo.CPOConfig. Các hàm mất mát được hỗ trợ bao gồm:

loss_type=Mô tả
"sigmoid" (mặc định)Với dữ liệu ưu tiên, chúng ta có thể huấn luyện một bộ phân loại nhị phân theo mô hình Bradley-Terry, và thực tế, các tác giả của DPO đề xuất sử dụng tổn thất sigmoid trên khả năng xảy ra đã được chuẩn hóa thông qua logsigmoid để huấn luyện một hồi quy logistic.
"hinge"Các tác giả của RSO đề xuất sử dụng hàm mất mát hinge trên độ khả năng đã được chuẩn hóa từ bài báo SLiC. Trong trường hợp này, beta là nghịch đảo của biên (margin).
"ipo"Các tác giả của IPO cung cấp một sự hiểu biết sâu sắc hơn về mặt lý thuyết của các thuật toán DPO và xác định một vấn đề về overfitting, đồng thời đề xuất một hàm mất mát thay thế. Trong trường hợp này, beta là nghịch đảo của khoảng cách giữa các tỷ số log-likelihood của cặp completion được chọn so với bị từ chối, do đó beta càng nhỏ thì khoảng cách này càng lớn. Theo bài báo, hàm mất mát được trung bình hóa trên các log-likelihood của completion (khác với DPO, vốn chỉ được tổng hợp).
"simpo"Phương pháp SimPO cũng được triển khai trong experimental.cpo.CPOTrainer. SimPO là một hàm mất mát thay thế, thêm biên phần thưởng, cho phép chuẩn hóa theo độ dài và không sử dụng điều chỉnh BC. Để sử dụng hàm mất mát này, chỉ cần đặt loss_type="simpo" và cpo_alpha=0.0 trong experimental.cpo.CPOConfig và đặt simpo_gamma thành một giá trị được khuyến nghị.
"alphapo"Phương pháp AlphaPO cũng được triển khai trong experimental.cpo.CPOTrainer. Đây là cú pháp đường (syntactic sugar) tự động đặt loss_type="simpo" và cpo_alpha=0.0. AlphaPO áp dụng một phép biến đổi lên hình dạng của hàm phần thưởng trong ngữ cảnh của SimPO loss khi tham số alpha khác không.

Đối với các Mô hình Hỗn hợp Chuyên gia: Bật tổn thất bổ trợ

MOE đạt hiệu quả cao nhất khi tải được phân bổ gần như đồng đều giữa các chuyên gia.
Để đảm bảo việc huấn luyện MOE tương tự trong quá trình tinh chỉnh theo sở thích, việc bổ sung tổn thất phụ từ bộ cân bằng tải vào tổn thất cuối cùng là rất có lợi.

Tùy chọn này được bật bằng cách đặt output_router_logits=True trong cấu hình mô hình (ví dụ: MixtralConfig).
Để điều chỉnh mức độ đóng góp của tổn thất phụ vào tổng tổn thất, hãy sử dụng siêu tham số router_aux_loss_coef=... (mặc định: 0.001) trong cấu hình mô hình.

CPOTrainer

lớp trl.experimental.cpo.CPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.cpo.cpo_config.CPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )

Tham số

  • model (PreTrainedModel) — Mô hình cần huấn luyện, tốt nhất là một AutoModelForSequenceClassification.
  • args (experimental.cpo.CPOConfig) — Các đối số cấu hình CPO để sử dụng cho huấn luyện.
  • data_collator (DataCollator) — Data collator được sử dụng cho quá trình huấn luyện. Nếu không chỉ định (None), data collator mặc định (experimental.utils.DPODataCollatorWithPadding) sẽ được sử dụng, thực hiện việc đệm (padding) các chuỗi đến độ dài tối đa của các chuỗi trong batch, dựa trên một dataset gồm các cặp chuỗi.
  • train_dataset (Dataset) — Bộ dữ liệu được sử dụng để huấn luyện.
  • eval_dataset (Dataset) — Bộ dữ liệu được sử dụng để đánh giá.
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin hoặc ProcessorMixin, tùy chọn) — Lớp xử lý được dùng để xử lý dữ liệu. Nếu được cung cấp, lớp này sẽ được dùng để tự động xử lý các đầu vào cho mô hình, và nó sẽ được lưu cùng với mô hình để dễ dàng chạy lại một phiên huấn luyện bị gián đoạn hoặc tái sử dụng mô hình đã tinh chỉnh.
  • model_init (Callable[[], transformers.PreTrainedModel]) — Bộ khởi tạo mô hình được sử dụng cho quá trình huấn luyện. Nếu không chỉ định (None), bộ khởi tạo mô hình mặc định sẽ được sử dụng.
  • callbacks (list[transformers.TrainerCallback]) — Các callback được sử dụng cho quá trình huấn luyện.
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Optimizer và scheduler được sử dụng cho quá trình huấn luyện.
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Hàm được sử dụng để tiền xử lý logits trước khi tính toán các chỉ số.
  • peft_config (PeftConfig, tùy chọn) — Cấu hình PEFT để sử dụng cho huấn luyện. Nếu bạn truyền một cấu hình PEFT, mô hình sẽ được bọc trong một mô hình PEFT.
  • compute_metrics (Callable[[EvalPrediction], dict], tùy chọn) — Hàm được sử dụng để tính toán các chỉ số. Phải nhận một EvalPrediction và trả về một từ điển ánh xạ từ chuỗi sang giá trị chỉ số.

Khởi tạo CPOTrainer.

train

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Tham số

  • resume_from_checkpoint (str hoặc bool, tùy chọn) — Nếu là str, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiên Trainer trước đó. Nếu là bool và bằng True, tải checkpoint cuối cùng trong args.output_dir do một phiên Trainer trước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây.
  • trial (optuna.Trial hoặc dict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số.
  • ignore_keys_for_eval (list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.

Trả về

~trainer_utils.TrainOutput

Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.

Điểm vào chính cho quá trình huấn luyện.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().

Chỉ lưu từ tiến trình chính.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Tham số

  • commit_message (str, tùy chọn, mặc định là "End of training") — Thông điệp để commit khi đẩy lên.
  • blocking (bool, tùy chọn, mặc định là True) — Xác định xem hàm có chỉ trả về khi git push đã hoàn tất hay không.
  • token (str, tùy chọn, mặc định là None) — Token có quyền ghi để ghi đè lên các args gốc của Trainer.
  • revision (str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”.
  • private (bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định là args.hub_private_repo. Không có tác dụng nếu kho đã tồn tại.
  • kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến ~Trainer.create_model_card.

Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.

CPOConfig

lớp trl.experimental.cpo.CPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1label_smoothing: float = 0.0loss_type: str = 'sigmoid'disable_dropout: bool = Truecpo_alpha: float = 1.0simpo_gamma: float = 0.5alpha: float = 0.0generate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )

Tham số

  • max_length (int hoặc None, tùy chọn, mặc định là 1024) — Độ dài tối đa của các chuỗi (prompt + completion) trong batch. Tham số này là bắt buộc nếu bạn muốn sử dụng data collator mặc định.
  • max_completion_length (int, tùy chọn) — Độ dài tối đa của phần hoàn thành. Tham số này là bắt buộc nếu bạn muốn sử dụng data collator mặc định và mô hình của bạn là encoder-decoder.
  • beta (float, tùy chọn, mặc định là 0.1) — Tham số kiểm soát mức độ sai lệch so với mô hình tham chiếu. β càng cao thì mức độ sai lệch so với mô hình tham chiếu càng thấp. Đối với tổn thất IPO (loss_type="ipo"), β là tham số điều chỉnh được ký hiệu là τ trong bài báo.
  • label_smoothing (float, tùy chọn, mặc định là 0.0) — Hệ số làm mịn nhãn. Tham số này là bắt buộc nếu bạn muốn sử dụng bộ sắp xếp dữ liệu mặc định.
  • loss_type (str, tuỳ chọn, mặc định là "sigmoid") — Loại loss cần sử dụng. Các giá trị có thể là:
    • "sigmoid": hàm mất mát sigmoid từ bài báo DPO gốc.
    • "hinge": tổn thất hinge trên khả năng hợp lý đã được chuẩn hóa từ bài báo SLiC.
    • "ipo": tổn thất IPO từ bài báo IPO.
    • "simpo": Tổn thất SimPO từ bài báo SimPO.
    • "alphapo": Mất AlphaPO từ bài báo AlphaPO. Điều này tự động đặt loss_type="simpo" và cpo_alpha=0.0.
  • disable_dropout (bool, tùy chọn, mặc định là True) — Có vô hiệu hóa dropout trong mô hình hay không.
  • cpo_alpha (float, tùy chọn, mặc định là 1.0) — Trọng số của bộ điều chỉnh BC trong huấn luyện CPO.
  • simpo_gamma (float, tuỳ chọn, mặc định là 0.5) — Khoảng cách phần thưởng mục tiêu cho tổn thất SimPO, chỉ được sử dụng khi loss_type="simpo".
  • alpha (float, tuỳ chọn, mặc định là 0.0) — Tham số Alpha kiểm soát hình dạng của hàm phần thưởng trên tất cả các loại loss. Khi alpha=0 (mặc định), sử dụng phần thưởng log probability chuẩn. Khi alpha != 0, áp dụng phép biến đổi AlphaPO: r = (1 - p^(-alpha)) / alpha từ bài báo AlphaPO. Tham số này hoạt động với tất cả các loại loss.
  • generate_during_eval (bool, tùy chọn, mặc định là False) — Nếu True, sẽ tạo và ghi log các câu trả lời hoàn chỉnh từ mô hình vào W&B hoặc Comet trong quá trình đánh giá.
  • is_encoder_decoder (bool, tùy chọn) — Khi sử dụng đối số model_init (callable) để khởi tạo model thay vì đối số model, bạn cần chỉ định xem model được trả về bởi callable có phải là model encoder-decoder hay không.
  • model_init_kwargs (dict[str, Any], tùy chọn) — Các đối số dạng từ khóa để truyền cho AutoModelForCausalLM.from_pretrained khi khởi tạo mô hình từ một chuỗi. Giá trị revision cũng được sử dụng khi nạp lớp xử lý.
  • trust_remote_code (bool, tùy chọn, mặc định là False) — Có cho phép tải các mô hình có kèm theo mã Python tùy chỉnh từ Hub hay không. Được chuyển tiếp đến from_pretrained.
  • dataset_num_proc (int, tùy chọn) — Số lượng tiến trình được sử dụng để xử lý tập dữ liệu.

Lớp cấu hình cho experimental.cpo.CPOTrainer.

Lớp này chỉ bao gồm các tham số đặc thù cho huấn luyện CPO. Để xem danh sách đầy đủ các đối số huấn luyện, hãy tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments.

Sử dụng HfArgumentParser, chúng ta có thể chuyển lớp này thành các đối số argparse có thể được chỉ định trên dòng lệnh.

Các tham số này có giá trị mặc định khác với TrainingArguments:

  • logging_steps: Mặc định là 10 thay vì 500.
  • gradient_checkpointing: Mặc định là True thay vì False.
  • bf16: Mặc định là True nếu fp16 không được đặt, thay vì False.
  • learning_rate: Mặc định là 1e-6 thay vì 5e-5.
Update on GitHub