TRL documentation
Trainer SFT
Trainer SFT
Tổng quan
TRL hỗ trợ SFT Trainer để huấn luyện các mô hình ngôn ngữ.
SFTTrainer không hỗ trợ sẵn các mô hình khuếch tán như DiffusionGemma, nhưng có thể mở rộng dễ dàng để làm được điều này, xem ví dụ SFT block-diffusion.
Phương pháp hậu huấn luyện này được đóng góp bởi Younes Belkada.
Bắt đầu nhanh
Ví dụ này minh họa cách huấn luyện một mô hình ngôn ngữ sử dụng SFTTrainer từ TRL. Chúng ta huấn luyện một mô hình Qwen 3 0.6B trên Capybara dataset, một bộ dữ liệu đa lượt hội thoại nhỏ gọn và đa dạng để đánh giá khả năng suy luận và khái quát hóa.
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Loại và định dạng bộ dữ liệu mong đợi
SFT hỗ trợ cả bộ dữ liệu language modeling và prompt-completion. SFTTrainer tương thích với cả định dạng bộ dữ liệu chuẩn và đối thoại. Khi được cung cấp một bộ dữ liệu đối thoại, trainer sẽ tự động áp dụng chat template lên bộ dữ liệu đó.
# Standard language modeling
{"text": "The sky is blue."}
# Conversational language modeling
{"messages": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is blue."}]}
# Standard prompt-completion
{"prompt": "The sky is",
"completion": " blue."}
# Conversational prompt-completion
{"prompt": [{"role": "user", "content": "What color is the sky?"}],
"completion": [{"role": "assistant", "content": "It is blue."}]}Nếu bộ dữ liệu của bạn không ở một trong các định dạng này, bạn có thể tiền xử lý để chuyển đổi nó sang định dạng mong đợi. Dưới đây là một ví dụ với bộ dữ liệu FreedomIntelligence/medical-o1-reasoning-SFT:
from datasets import load_dataset
dataset = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", "en")
def preprocess_function(example):
return {
"prompt": [{"role": "user", "content": example["Question"]}],
"completion": [
{"role": "assistant", "content": f"<think>{example['Complex_CoT']}</think>{example['Response']}"}
],
}
dataset = dataset.map(preprocess_function, remove_columns=["Question", "Response", "Complex_CoT"])
print(next(iter(dataset["train"]))){
"prompt": [
{
"content": "Given the symptoms of sudden weakness in the left arm and leg, recent long-distance travel, and the presence of swollen and tender right lower leg, what specific cardiac abnormality is most likely to be found upon further evaluation that could explain these findings?",
"role": "user",
}
],
"completion": [
{
"content": "<think>Okay, let's see what's going on here. We've got sudden weakness [...] clicks into place!</think>The specific cardiac abnormality most likely to be found in [...] the presence of a PFO facilitating a paradoxical embolism.",
"role": "assistant",
}
],
}Tìm hiểu sâu hơn về phương pháp SFT
Supervised Fine-Tuning (SFT) là phương pháp đơn giản và được sử dụng phổ biến nhất để điều chỉnh một mô hình ngôn ngữ cho phù hợp với một tập dữ liệu đích. Mô hình được huấn luyện theo cách giám sát hoàn toàn bằng các cặp chuỗi đầu vào và đầu ra. Mục tiêu là giảm thiểu negative log-likelihood (NLL) của chuỗi đích, với điều kiện là chuỗi đầu vào.
Phần này phân tích cách SFT hoạt động trên thực tế, bao gồm các bước chính: xử lý trước, tokenization và tính toán loss.
Tiền xử lý và phân từ
Trong quá trình huấn luyện, mỗi ví dụ được kỳ vọng chứa một trường text hoặc một cặp (prompt, completion), tùy thuộc vào định dạng của bộ dữ liệu. Để biết thêm chi tiết về các định dạng được kỳ vọng, hãy xem Định dạng bộ dữ liệu. SFTTrainer sẽ thực hiện tokenization cho mỗi đầu vào bằng cách sử dụng tokenizer của mô hình. Nếu cả prompt và completion đều được cung cấp riêng biệt, chúng sẽ được nối lại với nhau trước khi thực hiện tokenization.
Tính toán tổn thất

Mất được sử dụng trong SFT là mất entropy chéo ở cấp độ token, được định nghĩa là:
trong đó là token đích tại bước thời gian , và mô hình được huấn luyện để dự đoán token tiếp theo dựa trên các token trước đó. Trên thực tế, các token padding được che đi trong quá trình tính toán loss.
Bài báo On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification đề xuất một hàm mất mát thay thế, gọi là Dynamic Fine-Tuning (DFT), nhằm cải thiện khả năng tổng quát hóa bằng cách hiệu chỉnh tín phần thưởng. Phương pháp này có thể được kích hoạt bằng cách đặt
loss_type="dft"trong SFTConfig. Để biết thêm chi tiết, hãy xem Paper Index - Dynamic Fine-Tuning.
Dịch nhãn và che mặt
Trong quá trình huấn luyện, loss được tính toán bằng cách sử dụng one-token shift: mô hình được huấn luyện để dự đoán từng token trong chuỗi dựa trên tất cả các token trước đó. Cụ thể, chuỗi đầu vào được dịch sang phải một vị trí để tạo thành các nhãn mục tiêu.
Các token padding (nếu có) sẽ bị bỏ qua trong quá trình tính toán loss bằng cách áp dụng ignore index (mặc định: -100) cho các vị trí tương ứng. Điều này đảm bảo rằng loss chỉ tập trung vào các token có ý nghĩa, không phải là padding.
Các chỉ số được ghi log
Trong quá trình huấn luyện và đánh giá, chúng ta ghi lại các chỉ số sau:
global_step: Tổng số bước tối ưu hóa đã thực hiện cho đến nay.epoch: Số epoch hiện tại, dựa trên việc lặp qua tập dữ liệu.num_tokens: Tổng số token đã được xử lý cho đến hiện tại.loss: Mất chéo entropy trung bình được tính trên các token không bị che trong khoảng thời gian ghi log hiện tại.entropy: Entropy trung bình của phân phối token dự đoán của mô hình trên các token không bị mask.aux_loss: Tổn phụ trợ cân bằng tải của mô hình Mixture-of-Experts, trước khi được nhân vớirouter_aux_loss_coefvà cộng vào tổn. Chỉ được ghi log khi mô hình là mô hình MoE vàrouter_aux_loss_coefkhác không.mean_token_accuracy: Tỷ lệ các token không bị mask mà dự đoán top-1 của mô hình khớp với token đúng.learning_rate: Tốc độ học hiện tại, có thể thay đổi động nếu sử dụng trình lập lịch.grad_norm: Chuẩn L2 của các gradient, được tính trước khi cắt gradient.
Tùy chỉnh
Khởi tạo mô hình
Bạn có thể truyền trực tiếp các kwargs của phương thức from_pretrained() vào SFTConfig. Ví dụ, nếu bạn muốn tải một mô hình ở độ chính xác khác, tương tự như
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)Bạn có thể thực hiện điều này bằng cách truyền đối số model_init_kwargs={"dtype": torch.bfloat16} vào SFTConfig.
from trl import SFTConfig
training_args = SFTConfig(
model_init_kwargs={"dtype": torch.bfloat16},
)Lưu ý rằng tất cả các đối số từ khóa của from_pretrained() đều được hỗ trợ.
Đóng gói
SFTTrainer hỗ trợ example packing, trong đó nhiều ví dụ được đóng gói vào cùng một chuỗi đầu vào để tăng hiệu quả huấn luyện. Để bật packing, chỉ cần truyền packing=True vào constructor của SFTConfig.
training_args = SFTConfig(packing=True)Để biết thêm chi tiết về packing, hãy xem Packing.
Huấn luyện trên các thông điệp của trợ lý
Để huấn luyện chỉ trên các tin nhắn của trợ lý, hãy sử dụng bộ dữ liệu conversational và đặt assistant_only_loss=True trong SFTConfig. Cài đặt này đảm bảo rằng loss được tính chỉ trên các phản hồi của trợ lý, bỏ qua các tin nhắn của người dùng hoặc hệ thống.
training_args = SFTConfig(assistant_only_loss=True)
Chức năng này yêu cầu chat template phải chứa các từ khóa
{% generation %}và{% endgeneration %}. Đối với các họ model đã biết (ví dụ: Qwen3), TRL sẽ tự động vá template khiassistant_only_loss=True. Xem Chat Templates để biết danh sách đầy đủ các training template được đóng gói sẵn. Đối với các model khác, hãy kiểm tra xem chat template của bạn có chứa các từ khóa này không. Xem HuggingFaceTB/SmolLM3-3B để có một ví dụ.
Với một dataset thị giác, loss chỉ cho assistant yêu cầu
transformers>=5.18.0và một dataset language modeling hội thoại.
Chỉ huấn luyện khi hoàn thành
Để huấn luyện chỉ trên phần hoàn thành, hãy sử dụng bộ dữ liệu prompt-completion. Mặc định, trình huấn luyện tính toán loss trên các token hoàn thành, bỏ qua các token prompt. Nếu bạn muốn huấn luyện trên toàn bộ chuỗi, hãy đặt completion_only_loss=False trong SFTConfig.
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset
# Load a prompt-completion dataset; loss is computed on the completion only by default
dataset = load_dataset("trl-lib/kto-mix-14k", split="train")
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
args=SFTConfig(completion_only_loss=True), # True by default for prompt-completion datasets
train_dataset=dataset,
)
trainer.train()
Huấn luyện chỉ trên phần hoàn thành tương thích với huấn luyện chỉ trên các tin nhắn của trợ lý. Trong trường hợp này, hãy sử dụng bộ dữ liệu đối thoại prompt-completion và đặt
assistant_only_loss=Truetrong SFTConfig.
Huấn luyện adapter với PEFT
Chúng tôi hỗ trợ tích hợp chặt chẽ với thư viện 🤗 PEFT, cho phép bất kỳ người dùng nào thuận tiện huấn luyện các adapter và chia sẻ chúng trên Hub, thay vì phải huấn luyện toàn bộ mô hình.
from datasets import load_dataset
from trl import SFTTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/Capybara", split="train")
trainer = SFTTrainer(
"Qwen/Qwen3-0.6B",
train_dataset=dataset,
peft_config=LoraConfig(),
)
trainer.train()Bạn cũng có thể tiếp tục huấn luyện PeftModel của mình. Để làm điều đó, trước tiên hãy tải một PeftModel bên ngoài SFTTrainer và truyền nó trực tiếp cho trainer mà không truyền đối số peft_config.
from datasets import load_dataset
from trl import SFTTrainer
from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/Capybara", split="train")
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
)
trainer.train()Khi huấn luyện adapter, bạn thường sử dụng tốc độ học cao hơn (≈1e‑4) vì chỉ có các tham số mới được học.
SFTConfig(learning_rate=1e-4, ...)
Thử nghiệm nhanh cho SFT
RapidFire AI là một công cụ thử nghiệm mã nguồn mở nằm trên TRL, cho phép bạn khởi chạy nhiều cấu hình SFT cùng lúc, ngay cả trên một GPU duy nhất. Thay vì thử các cấu hình theo tuần tự, RapidFire cho phép bạn xem trước đường cong học tập của tất cả chúng, dừng các lần chạy kém hiệu suất và nhân bản các lần chạy triển vọng với cài đặt mới trong khi đang chạy mà không cần khởi động lại. Để biết thêm thông tin, xem Tích hợp RapidFire AI.
Huấn luyện với Unsloth
Unsloth là một framework mã nguồn mở để fine-tuning và reinforcement learning, giúp huấn luyện các LLM (như Llama, Mistral, Gemma, DeepSeek, và nhiều hơn) nhanh hơn tới 2 lần với lượng VRAM giảm tới 70%, đồng thời cung cấp quy trình làm việc tối giản, tương thích với Hugging Face cho việc huấn luyện, đánh giá và triển khai. Để biết thêm thông tin, xem Tích hợp Unsloth.
Ví dụ về điều chỉnh theo hướng dẫn
Instruction tuning dạy một mô hình ngôn ngữ cơ bản cách làm theo chỉ dẫn của người dùng và tham gia vào các cuộc hội thoại. Điều này đòi hỏi:
- Mẫu chat: Xác định cách cấu trúc các cuộc hội thoại thành các chuỗi văn bản, bao gồm các dấu hiệu vai trò (user/assistant), các token đặc biệt và ranh giới lượt nói. Đọc thêm về các mẫu chat trong Mẫu chat.
- Dữ liệu hội thoại: Chứa các cặp chỉ thị-phản hồi
Ví dụ này cho thấy cách biến đổi mô hình Qwen 3 0.6B Base thành một mô hình tuân theo chỉ dẫn bằng cách sử dụng dataset Capybara và một chat template từ HuggingFaceTB/SmolLM3-3B. SFT Trainer tự động xử lý việc cập nhật tokenizer và cấu hình token đặc biệt.
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B-Base",
args=SFTConfig(
output_dir="Qwen3-0.6B-Instruct",
chat_template_path="HuggingFaceTB/SmolLM3-3B",
),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Một số mô hình cơ sở, chẳng hạn như các mô hình từ Qwen, có sẵn một mẫu chat (chat template) được định nghĩa trước trong tokenizer của mô hình. Trong những trường hợp này, không cần thiết phải áp dụng
clone_chat_template(), vì tokenizer đã xử lý định dạng. Tuy nhiên, cần phải căn chỉnh token EOS với mẫu chat để đảm bảo phản hồi của mô hình kết thúc đúng cách. Trong những trường hợp này, hãy chỉ địnheos_tokentrong SFTConfig; ví dụ, đối vớiQwen/Qwen2.5-1.5B, bạn nên đặteos_token="<|im_end|>".
Sau khi được huấn luyện, mô hình của bạn giờ đây có thể làm theo các chỉ dẫn và tham gia hội thoại bằng cách sử dụng mẫu chat mới của nó.
>>> from transformers import pipeline
>>> pipe = pipeline("text-generation", model="Qwen3-0.6B-Instruct/checkpoint-5000")
>>> prompt = "<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\n"
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
'<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\nThe capital of France is Paris.'Ngoài ra, hãy sử dụng định dạng hội thoại có cấu trúc (được khuyến nghị):
>>> prompt = [{"role": "user", "content": "What is the capital of France? Answer in one word."}]
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
[{'role': 'user', 'content': 'What is the capital of France? Answer in one word.'}, {'role': 'assistant', 'content': 'The capital of France is Paris.'}]Gọi công cụ với SFT
SFTTrainer hỗ trợ đầy đủ việc tinh chỉnh mô hình có khả năng tool calling. Trong trường hợp này, mỗi ví dụ trong bộ dữ liệu nên bao gồm:
- Các tin nhắn hội thoại, bao gồm các cuộc gọi công cụ (
tool_calls) và phản hồi công cụ (tin nhắn có vai tròtool) - Danh sách các công cụ khả dụng trong cột
tools, thường được cung cấp dưới dạng schema JSON
Để biết chi tiết về cấu trúc bộ dữ liệu mong đợi, hãy xem phần Định dạng Dataset — Tool Calling.
Huấn luyện Mô hình Ngôn ngữ Thị giác
SFTTrainer hỗ trợ đầy đủ việc huấn luyện các Mô hình Ngôn ngữ - Thị giác (VLM). Để huấn luyện một VLM, hãy cung cấp một tập dữ liệu có cột image (một hình ảnh cho mỗi mẫu) hoặc cột images (danh sách các hình ảnh cho mỗi mẫu). Để biết thêm thông tin về cấu trúc tập dữ liệu mong đợi, hãy xem phần Định dạng tập dữ liệu — Tập dữ liệu thị giác.
Một ví dụ về tập dữ liệu như vậy là LLaVA Instruct Mix.
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-VL-3B-Instruct",
args=SFTConfig(max_length=None),
train_dataset=load_dataset("trl-lib/llava-instruct-mix", split="train"),
)
trainer.train()Đối với VLM, việc cắt ngắn có thể loại bỏ các token hình ảnh, dẫn đến lỗi trong quá trình huấn luyện. Để tránh điều này, hãy đặt
max_length=Nonetrong SFTConfig. Điều này cho phép mô hình xử lý toàn bộ độ dài chuỗi mà không cắt ngắn các token hình ảnh.SFTConfig(max_length=None, ...)Chỉ sử dụng
max_lengthkhi bạn đã xác minh rằng việc cắt bớt sẽ không loại bỏ các token hình ảnh cho toàn bộ bộ dữ liệu.
SFTTrainer
lớp trl.SFTTrainer
< source >( model: str | PreTrainedModel | PeftModelargs: trl.trainer.sft_config.SFTConfig | transformers.training_args.TrainingArguments | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecompute_loss_func: collections.abc.Callable | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = Nonepreprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonequantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Noneformatting_func: collections.abc.Callable[[dict], str] | None = None )
Tham số
- model (
strhoặc PreTrainedModel hoặcPeftModel) — Mô hình cần huấn luyện. Có thể là:- Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một
đường dẫn đến một thư mục chứa các trọng số model được lưu bằng
save_pretrained, ví dụ:
'./my_model_directory/'. Model được nạp bằng<ModelArchitecture>.from_pretrained(trong đó<ModelArchitecture>được suy ra từ cấu hình model) với các tham số từ khóa trongargs.model_init_kwargs. Nếudtypekhông được chỉ định trongargs.model_init_kwargs, giá trị mặc định sẽ làfloat32. Điều này khác với from_pretrained, nơi mà (từ Transformers v5) dtype được suy ra từ cấu hình model. - Một đối tượng PreTrainedModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
- Một đối tượng
PeftModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
- Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một
đường dẫn đến một thư mục chứa các trọng số model được lưu bằng
save_pretrained, ví dụ:
- args (SFTConfig, tùy chọn) —
Cấu hình cho trainer này. Nếu là
None, một cấu hình mặc định sẽ được sử dụng. - data_collator (
DataCollator, tùy chọn) — Hàm được sử dụng để tạo một batch từ danh sách các phần tử củatrain_datasethoặceval_datasetđã được xử lý. Mặc định sẽ làDataCollatorForLanguageModeling, hoặc làDataCollatorForVisionLanguageModelingnếu dataset chứa hình ảnh. - train_dataset (Dataset hoặc IterableDataset) —
Dataset để sử dụng cho huấn luyện. Trainer này hỗ trợ cả language modeling và
prompt-completion . Định dạng của các mẫu có thể là:
- Chuẩn: Mỗi mẫu chứa văn bản thuần túy.
- Conversational: Mỗi mẫu chứa các tin nhắn có cấu trúc (ví dụ: role và content).
Trainer cũng hỗ trợ các dataset đã được pre-tokenize, được nhận diện qua cột bắt buộc
input_ids. Cột tùy chọnlabels(-100trên các token bị loại khỏi loss) sẽ được sử dụng nguyên vẹn nếu có; nếu không, labels sẽ được xây dựng từ các cột tùy chọnassistant_masks/completion_mask(các cột này được gộp vào rồi loại bỏ,completion_maskchỉ khicompletion_only_loss=True), hoặc mặc định là bản sao củainput_ids. Các chuỗi sẽ bị cắt ngắn xuốngmax_lengthtrong quá trình chuẩn bị. Vớiskip_prepare_dataset=True, bước chuẩn bị sẽ bị bỏ qua và collator được kỳ vọng xử lý dataset nguyên vẹn.Khi
train_datasetlà một IterableDataset (ví dụ: một dataset dạng streaming),max_stepsphải được cài đặt trong các đối số huấn luyện, vì độ dài của nó không thể suy ra được và tổng số bước huấn luyện là cần thiết để giới hạn vòng lặp huấn luyện và cấu hình trình lập lịch tốc độ học. - eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict hoặc
dict[str, Dataset | IterableDataset]) — Dataset được sử dụng để đánh giá. Nó phải đáp ứng các yêu cầu tương tự nhưtrain_dataset. - processing_class (PreTrainedTokenizerBase, ProcessorMixin, tùy chọn) —
Lớp xử lý được dùng để xử lý dữ liệu. Nếu là
None, lớp xử lý sẽ được tải từ tên của mô hình bằng from_pretrained. Phải đặt một token đệm,tokenizer.pad_token. Nếu lớp xử lý chưa đặt token đệm,tokenizer.eos_tokensẽ được dùng làm mặc định. - compute_loss_func (
Callable, tùy chọn) — Một hàm nhận vào đầu ra của mô hình, nhãn và số lượng mục trong toàn bộ batch tích lũy (batch_size * gradient_accumulation_steps) và trả về loss. Tham số này đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong v2.0.0: hãy kế thừa SFTTrainer và ghi đècompute_lossthay vào đó. - compute_metrics (
Callable[[EvalPrediction], dict], tùy chọn) — Hàm sẽ được sử dụng để tính các chỉ số đánh giá. Hàm này phải nhận một EvalPrediction và trả về một từ điển ánh xạ từ chuỗi sang giá trị chỉ số. Khi truyền SFTConfig vớibatch_eval_metricsđược đặt thànhTrue, hàmcompute_metricscủa bạn phải nhận một đối số booleancompute_result. Đối số này sẽ được kích hoạt sau batch đánh giá cuối cùng để báo hiệu rằng hàm cần tính toán và trả về các thống kê tổng hợp toàn cục thay vì tích lũy các thống kê ở cấp độ batch. Các logits mà hàm nhận được sẽ được tính lại bằng một bước forward bổ sung. Tính năng này đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong v2.0.0. - callbacks (danh sách TrainerCallback, tùy chọn) —
Danh sách các callback để tùy chỉnh vòng lặp huấn luyện. Những callback này sẽ được thêm vào danh sách các callback mặc định được mô tả chi tiết tại đây.
Nếu bạn muốn xóa một trong các callback mặc định đang được sử dụng, hãy dùng phương thức remove_callback.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], tùy chọn, mặc định là(None, None)) — Một tuple chứa optimizer và scheduler cần sử dụng. Mặc định sẽ là một instance củaAdamWtrên model của bạn và một scheduler được cung cấp bởi get_linear_schedule_with_warmup được điều khiển bởiargs. - optimizer_cls_and_kwargs (
tuple[Type[torch.optim.Optimizer], Dict[str, Any]], tuỳ chọn) — Một tuple chứa lớp optimizer và các đối số từ khóa cần sử dụng. Ghi đèoptimvàoptim_argstrongargs. Không tương thích với đối sốoptimizers.Khác với
optimizers, đối số này giúp tránh việc phải đặt các tham số mô hình lên đúng thiết bị trước khi khởi tạo Trainer. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor], tuỳ chọn) — Một hàm tiền xử lý logits ngay trước khi lưu chúng vào bộ nhớ đệm ở mỗi bước đánh giá. Hàm này phải nhận hai tensor, gồm logits và nhãn, và trả về logits sau khi đã xử lý theo mong muốn. Các thay đổi do hàm này thực hiện sẽ được phản ánh trong các dự đoán màcompute_metrics.Lưu ý rằng nhãn (tham số thứ hai) sẽ là
Nonenếu tập dữ liệu không có chúng. - quantization_config (BitsAndBytesConfig, tuỳ chọn) —
Cấu hình lượng tử hóa được sử dụng khi tải mô hình từ một định danh mô hình. Kết hợp với
peft_configcho huấn luyện QLoRA. Bị bỏ qua nếu mô hình đã được khởi tạo. - peft_config (
PeftConfig, tùy chọn) — Cấu hình PEFT được sử dụng để bọc model. Nếu làNone, model sẽ không được bọc. - formatting_func (
Callable, tùy chọn) — Hàm định dạng được áp dụng cho bộ dữ liệu trước khi token hóa. Việc áp dụng hàm định dạng một cách tường minh chuyển đổi bộ dữ liệu thành kiểu language modeling.
Trainer cho phương pháp Fine-Tuning Có Giám Sát (SFT).
Lớp này là một lớp bao quanh lớp Trainer và kế thừa tất cả các thuộc tính và phương thức của nó.
Ví dụ:
>>> from trl import SFTTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("roneneldan/TinyStories", split="train[:1%]")
>>> trainer = SFTTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Tham số
- resume_from_checkpoint (
strhoặcbool, tùy chọn) — Nếu làstr, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiênTrainertrước đó. Nếu làboolvà bằngTrue, tải checkpoint cuối cùng trong args.output_dir do một phiênTrainertrước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây. - trial (
optuna.Trialhoặcdict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số. - ignore_keys_for_eval (
list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.
Trả về
~trainer_utils.TrainOutput
Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.
Điểm vào chính cho quá trình huấn luyện.
Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().
Chỉ lưu từ tiến trình chính.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Tham số
- commit_message (
str, tùy chọn, mặc định là"End of training") — Thông điệp để commit khi đẩy lên. - blocking (
bool, tùy chọn, mặc định làTrue) — Xác định xem hàm có chỉ trả về khigit pushđã hoàn tất hay không. - token (
str, tùy chọn, mặc định làNone) — Token có quyền ghi để ghi đè lên các args gốc của Trainer. - revision (
str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”. - private (
bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định làargs.hub_private_repo. Không có tác dụng nếu kho đã tồn tại. - kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến~Trainer.create_model_card.
Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.
SFTConfig
lớp trl.SFTConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 2e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = None )
Các tham số điều khiển mô hình
- model_init_kwargs (
dict[str, Any], tùy chọn) — Các đối số dạng từ khóa cho from_pretrained, được sử dụng khi đối sốmodelcủa SFTTrainer được cung cấp dưới dạng chuỗi. Giá trịrevisioncũng được sử dụng khi nạp lớp xử lý. - trust_remote_code (
bool, tùy chọn, mặc định làFalse) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained. - router_aux_loss_coef (
float, tùy chọn) — Hệ số của tổn thất phụ cân bằng tải cho các mô hình Mixture-of-Experts (MoE), được cộng vào tổn thất huấn luyện với trọng số này. Khi không được đặt, giá trị được khai báo trong cấu hình mô hình sẽ được sử dụng. Đặt thành0.0để tắt nó. Gặp lỗi khi sử dụng với mô hình không phải MoE. - chat_template_path (
str, tùy chọn) — Nếu được chỉ định, sẽ đặt chat template của model. Giá trị này có thể là đường dẫn đến một tokenizer (thư mục cục bộ hoặc model trên Hugging Face Hub) hoặc đường dẫn trực tiếp đến một tệp template Jinja. Khi sử dụng tệp Jinja, bạn phải đảm bảo rằng các special token được tham chiếu trong template đã được thêm vào tokenizer và rằng lớp embedding của model được điều chỉnh kích thước cho phù hợp.
Các tham số kiểm soát tiền xử lý dữ liệu
- dataset_text_field (
str, tùy chọn, mặc định là"text") — Tên của cột chứa dữ liệu văn bản trong bộ dữ liệu. - dataset_kwargs (
dict[str, Any], tùy chọn) — Từ điển chứa các đối số từ khóa tùy chọn cho việc chuẩn bị dataset. Khóa duy nhất được hỗ trợ làskip_prepare_dataset. Khi dataset chứa hình ảnh,skip_prepare_datasetsẽ tự động được coi làTruebất kể giá trị được cung cấp, vì tiền xử lý được thực hiện trực tiếp. - dataset_num_proc (
int, tùy chọn) — Số lượng tiến trình được sử dụng để xử lý tập dữ liệu. - eos_token (
str, tùy chọn) — Token được sử dụng để chỉ báo hiệu kết thúc một lượt hoặc chuỗi. Nếu làNone, mặc định sẽ làprocessing_class.eos_token. - max_length (
inthoặcNone, tùy chọn, mặc định là1024) — Độ dài tối đa của chuỗi đã được token hóa. Các chuỗi dài hơnmax_lengthsẽ bị cắt bớt từ bên trái hoặc bên phải tùy thuộc vàotruncation_mode. Nếu làNone, sẽ không áp dụng cắt bớt. Khi bật tính năng đóng gói (packing), giá trị này đặt độ dài của chuỗi. - truncation_mode (
str, tùy chọn, mặc định là"keep_start") — Chế độ cắt ngắn được sử dụng khi chuỗi vượt quámax_length. Giá trị duy nhất được hỗ trợ là"keep_start". Giá trị"keep_end"đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong v2.0.0. - shuffle_dataset (
bool, tùy chọn, mặc định làFalse) — Có nên xáo trộn bộ dữ liệu hay không. - packing (
bool, tùy chọn, mặc định làFalse) — Có nên nhóm nhiều chuỗi vào các khối có độ dài cố định để cải thiện hiệu quả tính toán và giảm padding hay không. Sử dụngmax_lengthđể xác định độ dài chuỗi. - packing_strategy (
str, tùy chọn, mặc định là"bfd") — Chiến lược để đóng gói các chuỗi. Có thể là"bfd"(best-fit decreasing, cắt bỏ phần tràn),"bfd_split"(best-fit decreasing, tách các chuỗi tràn), hoặc"wrapped"(mạnh mẽ, cắt giữa chuỗi). - padding_free (
bool, tùy chọn, mặc định làFalse) — Có thực hiện các bước truyền tiến (forward passes) không có padding bằng cách làm phẳng tất cả các chuỗi trong batch thành một chuỗi liên tục duy nhất hay không. Điều này giúp giảm mức sử dụng bộ nhớ bằng cách loại bỏ chi phí padding. Hiện tại, tính năng này chỉ được hỗ trợ với FlashAttention 2 hoặc 3, vốn có thể xử lý hiệu quả cấu trúc batch đã được làm phẳng. Khi packing được bật với chiến lược"bfd", padding-free sẽ được bật, bất kể giá trị của tham số này là gì. - pad_to_multiple_of (
inthoặcstr, tùy chọn, mặc định là"auto") — Nếu được đặt, các chuỗi sẽ được đệm (padding) đến một bội số của giá trị này."auto"sẽ đệm đến bội số của 128 trên Neuron (AWS Trainium), nơi biên dịch một lần cho mỗi hình dạng đầu vào, và không đệm ở các nơi khác. - eval_packing (
bool, tùy chọn) — Có nên đóng gói (pack) bộ dữ liệu eval hay không. Nếu làNone, sẽ sử dụng cùng giá trị vớipacking.
Các tham số kiểm soát quá trình huấn luyện
- completion_only_loss (
bool, tùy chọn) — Có tính loss chỉ trên phần completion của chuỗi hay không. Nếu đặt thànhTrue, loss chỉ được tính trên phần completion, điều này chỉ được hỗ trợ cho các dataset prompt-completion. NếuFalse, loss được tính trên toàn bộ chuỗi. NếuNone(mặc định), hành vi phụ thuộc vào dataset: loss được tính trên phần completion cho các dataset prompt-completion, và trên toàn bộ chuỗi cho các dataset language modeling. - assistant_only_loss (
bool, tùy chọn, mặc định làFalse) — Có tính loss chỉ trên phần assistant của chuỗi hay không. Nếu đặt thànhTrue, loss chỉ được tính trên các phản hồi của assistant, tính năng này chỉ được hỗ trợ cho các bộ dữ liệu conversational. NếuFalse, loss được tính trên toàn bộ chuỗi. - loss_type (
str, tuỳ chọn, mặc định là"nll") — Loại loss cần sử dụng. Các giá trị có thể là:"nll": âm log-likelihood chuẩn."dft": Fine-Tuning động, như được mô tả trong bài báo này."chunked_nll": alias đã bị ngừng hỗ trợ của"nll", tính toán loss theo cách tương tự. Nó sẽ bị loại bỏ trong v2.0.0.
- activation_offloading (
bool, tùy chọn, mặc định làFalse) — Có nên chuyển các activation sang CPU hay không.
Các tham số đã bị ngừng hỗ trợ
Lớp cấu hình cho SFTTrainer.
Lớp này chỉ bao gồm các tham số đặc thù cho huấn luyện SFT. Để xem danh sách đầy đủ các đối số huấn luyện, hãy tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments.
Sử dụng HfArgumentParser, chúng ta có thể chuyển lớp này thành các đối số argparse có thể được chỉ định trên dòng lệnh.
Các tham số này có giá trị mặc định khác với TrainingArguments:
logging_steps: Mặc định là10thay vì500.gradient_checkpointing: Mặc định làTruethay vìFalse.bf16: Mặc định làTruenếufp16không được đặt, thay vìFalse.learning_rate: Mặc định là2e-5thay vì5e-5.