TRL documentation

Trainer SFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Trainer SFT

All_models-SFT-blue smol_course-Chapter_1-yellow

Tổng quan

TRL hỗ trợ SFT Trainer để huấn luyện các mô hình ngôn ngữ.

SFTTrainer không hỗ trợ sẵn các mô hình khuếch tán như DiffusionGemma, nhưng có thể mở rộng dễ dàng để làm được điều này, xem ví dụ SFT block-diffusion.

Phương pháp hậu huấn luyện này được đóng góp bởi Younes Belkada.

Bắt đầu nhanh

Ví dụ này minh họa cách huấn luyện một mô hình ngôn ngữ sử dụng SFTTrainer từ TRL. Chúng ta huấn luyện một mô hình Qwen 3 0.6B trên Capybara dataset, một bộ dữ liệu đa lượt hội thoại nhỏ gọn và đa dạng để đánh giá khả năng suy luận và khái quát hóa.

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Loại và định dạng bộ dữ liệu mong đợi

SFT hỗ trợ cả bộ dữ liệu language modeling và prompt-completion. SFTTrainer tương thích với cả định dạng bộ dữ liệu chuẩn và đối thoại. Khi được cung cấp một bộ dữ liệu đối thoại, trainer sẽ tự động áp dụng chat template lên bộ dữ liệu đó.

# Standard language modeling
{"text": "The sky is blue."}

# Conversational language modeling
{"messages": [{"role": "user", "content": "What color is the sky?"},
              {"role": "assistant", "content": "It is blue."}]}

# Standard prompt-completion
{"prompt": "The sky is",
 "completion": " blue."}

# Conversational prompt-completion
{"prompt": [{"role": "user", "content": "What color is the sky?"}],
 "completion": [{"role": "assistant", "content": "It is blue."}]}

Nếu bộ dữ liệu của bạn không ở một trong các định dạng này, bạn có thể tiền xử lý để chuyển đổi nó sang định dạng mong đợi. Dưới đây là một ví dụ với bộ dữ liệu FreedomIntelligence/medical-o1-reasoning-SFT:

from datasets import load_dataset

dataset = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", "en")

def preprocess_function(example):
    return {
        "prompt": [{"role": "user", "content": example["Question"]}],
        "completion": [
            {"role": "assistant", "content": f"<think>{example['Complex_CoT']}</think>{example['Response']}"}
        ],
    }

dataset = dataset.map(preprocess_function, remove_columns=["Question", "Response", "Complex_CoT"])
print(next(iter(dataset["train"])))
{
    "prompt": [
        {
            "content": "Given the symptoms of sudden weakness in the left arm and leg, recent long-distance travel, and the presence of swollen and tender right lower leg, what specific cardiac abnormality is most likely to be found upon further evaluation that could explain these findings?",
            "role": "user",
        }
    ],
    "completion": [
        {
            "content": "<think>Okay, let's see what's going on here. We've got sudden weakness [...] clicks into place!</think>The specific cardiac abnormality most likely to be found in [...] the presence of a PFO facilitating a paradoxical embolism.",
            "role": "assistant",
        }
    ],
}

Tìm hiểu sâu hơn về phương pháp SFT

Supervised Fine-Tuning (SFT) là phương pháp đơn giản và được sử dụng phổ biến nhất để điều chỉnh một mô hình ngôn ngữ cho phù hợp với một tập dữ liệu đích. Mô hình được huấn luyện theo cách giám sát hoàn toàn bằng các cặp chuỗi đầu vào và đầu ra. Mục tiêu là giảm thiểu negative log-likelihood (NLL) của chuỗi đích, với điều kiện là chuỗi đầu vào.

Phần này phân tích cách SFT hoạt động trên thực tế, bao gồm các bước chính: xử lý trước, tokenization và tính toán loss.

Tiền xử lý và phân từ

Trong quá trình huấn luyện, mỗi ví dụ được kỳ vọng chứa một trường text hoặc một cặp (prompt, completion), tùy thuộc vào định dạng của bộ dữ liệu. Để biết thêm chi tiết về các định dạng được kỳ vọng, hãy xem Định dạng bộ dữ liệu. SFTTrainer sẽ thực hiện tokenization cho mỗi đầu vào bằng cách sử dụng tokenizer của mô hình. Nếu cả prompt và completion đều được cung cấp riêng biệt, chúng sẽ được nối lại với nhau trước khi thực hiện tokenization.

Tính toán tổn thất

sft_figure

Mất được sử dụng trong SFT là mất entropy chéo ở cấp độ token, được định nghĩa là: LSFT(θ)=−∑t=1Tlog⁡pθ(yt∣y<t), \mathcal{L}_{\text{SFT}}(\theta) = - \sum_{t=1}^{T} \log p_\theta(y_t \mid y_{<t}),

trong đó yt y_t là token đích tại bước thời gian t t , và mô hình được huấn luyện để dự đoán token tiếp theo dựa trên các token trước đó. Trên thực tế, các token padding được che đi trong quá trình tính toán loss.

Bài báo On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification đề xuất một hàm mất mát thay thế, gọi là Dynamic Fine-Tuning (DFT), nhằm cải thiện khả năng tổng quát hóa bằng cách hiệu chỉnh tín phần thưởng. Phương pháp này có thể được kích hoạt bằng cách đặt loss_type="dft" trong SFTConfig. Để biết thêm chi tiết, hãy xem Paper Index - Dynamic Fine-Tuning.

Dịch nhãn và che mặt

Trong quá trình huấn luyện, loss được tính toán bằng cách sử dụng one-token shift: mô hình được huấn luyện để dự đoán từng token trong chuỗi dựa trên tất cả các token trước đó. Cụ thể, chuỗi đầu vào được dịch sang phải một vị trí để tạo thành các nhãn mục tiêu. Các token padding (nếu có) sẽ bị bỏ qua trong quá trình tính toán loss bằng cách áp dụng ignore index (mặc định: -100) cho các vị trí tương ứng. Điều này đảm bảo rằng loss chỉ tập trung vào các token có ý nghĩa, không phải là padding.

Các chỉ số được ghi log

Trong quá trình huấn luyện và đánh giá, chúng ta ghi lại các chỉ số sau:

  • global_step: Tổng số bước tối ưu hóa đã thực hiện cho đến nay.
  • epoch: Số epoch hiện tại, dựa trên việc lặp qua tập dữ liệu.
  • num_tokens: Tổng số token đã được xử lý cho đến hiện tại.
  • loss: Mất chéo entropy trung bình được tính trên các token không bị che trong khoảng thời gian ghi log hiện tại.
  • entropy: Entropy trung bình của phân phối token dự đoán của mô hình trên các token không bị mask.
  • aux_loss: Tổn phụ trợ cân bằng tải của mô hình Mixture-of-Experts, trước khi được nhân với router_aux_loss_coef và cộng vào tổn. Chỉ được ghi log khi mô hình là mô hình MoE và router_aux_loss_coef khác không.
  • mean_token_accuracy: Tỷ lệ các token không bị mask mà dự đoán top-1 của mô hình khớp với token đúng.
  • learning_rate: Tốc độ học hiện tại, có thể thay đổi động nếu sử dụng trình lập lịch.
  • grad_norm: Chuẩn L2 của các gradient, được tính trước khi cắt gradient.

Tùy chỉnh

Khởi tạo mô hình

Bạn có thể truyền trực tiếp các kwargs của phương thức from_pretrained() vào SFTConfig. Ví dụ, nếu bạn muốn tải một mô hình ở độ chính xác khác, tương tự như

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)

Bạn có thể thực hiện điều này bằng cách truyền đối số model_init_kwargs={"dtype": torch.bfloat16} vào SFTConfig.

from trl import SFTConfig

training_args = SFTConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)

Lưu ý rằng tất cả các đối số từ khóa của from_pretrained() đều được hỗ trợ.

Đóng gói

SFTTrainer hỗ trợ example packing, trong đó nhiều ví dụ được đóng gói vào cùng một chuỗi đầu vào để tăng hiệu quả huấn luyện. Để bật packing, chỉ cần truyền packing=True vào constructor của SFTConfig.

training_args = SFTConfig(packing=True)

Để biết thêm chi tiết về packing, hãy xem Packing.

Huấn luyện trên các thông điệp của trợ lý

Để huấn luyện chỉ trên các tin nhắn của trợ lý, hãy sử dụng bộ dữ liệu conversational và đặt assistant_only_loss=True trong SFTConfig. Cài đặt này đảm bảo rằng loss được tính chỉ trên các phản hồi của trợ lý, bỏ qua các tin nhắn của người dùng hoặc hệ thống.

training_args = SFTConfig(assistant_only_loss=True)

train_on_assistant

Chức năng này yêu cầu chat template phải chứa các từ khóa {% generation %} và {% endgeneration %}. Đối với các họ model đã biết (ví dụ: Qwen3), TRL sẽ tự động vá template khi assistant_only_loss=True. Xem Chat Templates để biết danh sách đầy đủ các training template được đóng gói sẵn. Đối với các model khác, hãy kiểm tra xem chat template của bạn có chứa các từ khóa này không. Xem HuggingFaceTB/SmolLM3-3B để có một ví dụ.

Với một dataset thị giác, loss chỉ cho assistant yêu cầu transformers>=5.18.0 và một dataset language modeling hội thoại.

Chỉ huấn luyện khi hoàn thành

Để huấn luyện chỉ trên phần hoàn thành, hãy sử dụng bộ dữ liệu prompt-completion. Mặc định, trình huấn luyện tính toán loss trên các token hoàn thành, bỏ qua các token prompt. Nếu bạn muốn huấn luyện trên toàn bộ chuỗi, hãy đặt completion_only_loss=False trong SFTConfig.

from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

# Load a prompt-completion dataset; loss is computed on the completion only by default
dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    args=SFTConfig(completion_only_loss=True),  # True by default for prompt-completion datasets
    train_dataset=dataset,
)
trainer.train()

train_on_completion

Huấn luyện chỉ trên phần hoàn thành tương thích với huấn luyện chỉ trên các tin nhắn của trợ lý. Trong trường hợp này, hãy sử dụng bộ dữ liệu đối thoại prompt-completion và đặt assistant_only_loss=True trong SFTConfig.

Huấn luyện adapter với PEFT

Chúng tôi hỗ trợ tích hợp chặt chẽ với thư viện 🤗 PEFT, cho phép bất kỳ người dùng nào thuận tiện huấn luyện các adapter và chia sẻ chúng trên Hub, thay vì phải huấn luyện toàn bộ mô hình.

from datasets import load_dataset
from trl import SFTTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/Capybara", split="train")

trainer = SFTTrainer(
    "Qwen/Qwen3-0.6B",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)

trainer.train()

Bạn cũng có thể tiếp tục huấn luyện PeftModel của mình. Để làm điều đó, trước tiên hãy tải một PeftModel bên ngoài SFTTrainer và truyền nó trực tiếp cho trainer mà không truyền đối số peft_config.

from datasets import load_dataset
from trl import SFTTrainer
from peft import AutoPeftModelForCausalLM

model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/Capybara", split="train")

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
)

trainer.train()

Khi huấn luyện adapter, bạn thường sử dụng tốc độ học cao hơn (≈1e‑4) vì chỉ có các tham số mới được học.

SFTConfig(learning_rate=1e-4, ...)

Thử nghiệm nhanh cho SFT

RapidFire AI là một công cụ thử nghiệm mã nguồn mở nằm trên TRL, cho phép bạn khởi chạy nhiều cấu hình SFT cùng lúc, ngay cả trên một GPU duy nhất. Thay vì thử các cấu hình theo tuần tự, RapidFire cho phép bạn xem trước đường cong học tập của tất cả chúng, dừng các lần chạy kém hiệu suất và nhân bản các lần chạy triển vọng với cài đặt mới trong khi đang chạy mà không cần khởi động lại. Để biết thêm thông tin, xem Tích hợp RapidFire AI.

Huấn luyện với Unsloth

Unsloth là một framework mã nguồn mở để fine-tuning và reinforcement learning, giúp huấn luyện các LLM (như Llama, Mistral, Gemma, DeepSeek, và nhiều hơn) nhanh hơn tới 2 lần với lượng VRAM giảm tới 70%, đồng thời cung cấp quy trình làm việc tối giản, tương thích với Hugging Face cho việc huấn luyện, đánh giá và triển khai. Để biết thêm thông tin, xem Tích hợp Unsloth.

Ví dụ về điều chỉnh theo hướng dẫn

Instruction tuning dạy một mô hình ngôn ngữ cơ bản cách làm theo chỉ dẫn của người dùng và tham gia vào các cuộc hội thoại. Điều này đòi hỏi:

  1. Mẫu chat: Xác định cách cấu trúc các cuộc hội thoại thành các chuỗi văn bản, bao gồm các dấu hiệu vai trò (user/assistant), các token đặc biệt và ranh giới lượt nói. Đọc thêm về các mẫu chat trong Mẫu chat.
  2. Dữ liệu hội thoại: Chứa các cặp chỉ thị-phản hồi

Ví dụ này cho thấy cách biến đổi mô hình Qwen 3 0.6B Base thành một mô hình tuân theo chỉ dẫn bằng cách sử dụng dataset Capybara và một chat template từ HuggingFaceTB/SmolLM3-3B. SFT Trainer tự động xử lý việc cập nhật tokenizer và cấu hình token đặc biệt.

from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B-Base",
    args=SFTConfig(
        output_dir="Qwen3-0.6B-Instruct",
        chat_template_path="HuggingFaceTB/SmolLM3-3B",
    ),
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Một số mô hình cơ sở, chẳng hạn như các mô hình từ Qwen, có sẵn một mẫu chat (chat template) được định nghĩa trước trong tokenizer của mô hình. Trong những trường hợp này, không cần thiết phải áp dụng clone_chat_template(), vì tokenizer đã xử lý định dạng. Tuy nhiên, cần phải căn chỉnh token EOS với mẫu chat để đảm bảo phản hồi của mô hình kết thúc đúng cách. Trong những trường hợp này, hãy chỉ định eos_token trong SFTConfig; ví dụ, đối với Qwen/Qwen2.5-1.5B, bạn nên đặt eos_token="<|im_end|>".

Sau khi được huấn luyện, mô hình của bạn giờ đây có thể làm theo các chỉ dẫn và tham gia hội thoại bằng cách sử dụng mẫu chat mới của nó.

>>> from transformers import pipeline
>>> pipe = pipeline("text-generation", model="Qwen3-0.6B-Instruct/checkpoint-5000")
>>> prompt = "<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\n"
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
'<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\nThe capital of France is Paris.'

Ngoài ra, hãy sử dụng định dạng hội thoại có cấu trúc (được khuyến nghị):

>>> prompt = [{"role": "user", "content": "What is the capital of France? Answer in one word."}]
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
[{'role': 'user', 'content': 'What is the capital of France? Answer in one word.'}, {'role': 'assistant', 'content': 'The capital of France is Paris.'}]

Gọi công cụ với SFT

SFTTrainer hỗ trợ đầy đủ việc tinh chỉnh mô hình có khả năng tool calling. Trong trường hợp này, mỗi ví dụ trong bộ dữ liệu nên bao gồm:

  • Các tin nhắn hội thoại, bao gồm các cuộc gọi công cụ (tool_calls) và phản hồi công cụ (tin nhắn có vai trò tool)
  • Danh sách các công cụ khả dụng trong cột tools, thường được cung cấp dưới dạng schema JSON

Để biết chi tiết về cấu trúc bộ dữ liệu mong đợi, hãy xem phần Định dạng Dataset — Tool Calling.

Huấn luyện Mô hình Ngôn ngữ Thị giác

SFTTrainer hỗ trợ đầy đủ việc huấn luyện các Mô hình Ngôn ngữ - Thị giác (VLM). Để huấn luyện một VLM, hãy cung cấp một tập dữ liệu có cột image (một hình ảnh cho mỗi mẫu) hoặc cột images (danh sách các hình ảnh cho mỗi mẫu). Để biết thêm thông tin về cấu trúc tập dữ liệu mong đợi, hãy xem phần Định dạng tập dữ liệu — Tập dữ liệu thị giác. Một ví dụ về tập dữ liệu như vậy là LLaVA Instruct Mix.

from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-VL-3B-Instruct",
    args=SFTConfig(max_length=None),
    train_dataset=load_dataset("trl-lib/llava-instruct-mix", split="train"),
)
trainer.train()

Đối với VLM, việc cắt ngắn có thể loại bỏ các token hình ảnh, dẫn đến lỗi trong quá trình huấn luyện. Để tránh điều này, hãy đặt max_length=None trong SFTConfig. Điều này cho phép mô hình xử lý toàn bộ độ dài chuỗi mà không cắt ngắn các token hình ảnh.

SFTConfig(max_length=None, ...)

Chỉ sử dụng max_length khi bạn đã xác minh rằng việc cắt bớt sẽ không loại bỏ các token hình ảnh cho toàn bộ bộ dữ liệu.

SFTTrainer

lớp trl.SFTTrainer

< >

( model: str | PreTrainedModel | PeftModelargs: trl.trainer.sft_config.SFTConfig | transformers.training_args.TrainingArguments | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecompute_loss_func: collections.abc.Callable | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = Nonepreprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonequantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Noneformatting_func: collections.abc.Callable[[dict], str] | None = None )

Tham số

  • model (str hoặc PreTrainedModel hoặc PeftModel) — Mô hình cần huấn luyện. Có thể là:
    • Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một đường dẫn đến một thư mục chứa các trọng số model được lưu bằng save_pretrained, ví dụ: './my_model_directory/'. Model được nạp bằng <ModelArchitecture>.from_pretrained (trong đó <ModelArchitecture> được suy ra từ cấu hình model) với các tham số từ khóa trong args.model_init_kwargs. Nếu dtype không được chỉ định trong args.model_init_kwargs, giá trị mặc định sẽ là float32. Điều này khác với from_pretrained, nơi mà (từ Transformers v5) dtype được suy ra từ cấu hình model.
    • Một đối tượng PreTrainedModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
    • Một đối tượng PeftModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
  • args (SFTConfig, tùy chọn) — Cấu hình cho trainer này. Nếu là None, một cấu hình mặc định sẽ được sử dụng.
  • data_collator (DataCollator, tùy chọn) — Hàm được sử dụng để tạo một batch từ danh sách các phần tử của train_dataset hoặc eval_dataset đã được xử lý. Mặc định sẽ là DataCollatorForLanguageModeling, hoặc là DataCollatorForVisionLanguageModeling nếu dataset chứa hình ảnh.
  • train_dataset (Dataset hoặc IterableDataset) — Dataset để sử dụng cho huấn luyện. Trainer này hỗ trợ cả language modeling và prompt-completion . Định dạng của các mẫu có thể là:
    • Chuẩn: Mỗi mẫu chứa văn bản thuần túy.
    • Conversational: Mỗi mẫu chứa các tin nhắn có cấu trúc (ví dụ: role và content).

    Trainer cũng hỗ trợ các dataset đã được pre-tokenize, được nhận diện qua cột bắt buộc input_ids. Cột tùy chọn labels (-100 trên các token bị loại khỏi loss) sẽ được sử dụng nguyên vẹn nếu có; nếu không, labels sẽ được xây dựng từ các cột tùy chọn assistant_masks / completion_mask (các cột này được gộp vào rồi loại bỏ, completion_mask chỉ khi completion_only_loss=True), hoặc mặc định là bản sao của input_ids. Các chuỗi sẽ bị cắt ngắn xuống max_length trong quá trình chuẩn bị. Với skip_prepare_dataset=True, bước chuẩn bị sẽ bị bỏ qua và collator được kỳ vọng xử lý dataset nguyên vẹn.

    Khi train_dataset là một IterableDataset (ví dụ: một dataset dạng streaming), max_steps phải được cài đặt trong các đối số huấn luyện, vì độ dài của nó không thể suy ra được và tổng số bước huấn luyện là cần thiết để giới hạn vòng lặp huấn luyện và cấu hình trình lập lịch tốc độ học.

  • eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict hoặc dict[str, Dataset | IterableDataset]) — Dataset được sử dụng để đánh giá. Nó phải đáp ứng các yêu cầu tương tự như train_dataset.
  • processing_class (PreTrainedTokenizerBase, ProcessorMixin, tùy chọn) — Lớp xử lý được dùng để xử lý dữ liệu. Nếu là None, lớp xử lý sẽ được tải từ tên của mô hình bằng from_pretrained. Phải đặt một token đệm, tokenizer.pad_token. Nếu lớp xử lý chưa đặt token đệm, tokenizer.eos_token sẽ được dùng làm mặc định.
  • compute_loss_func (Callable, tùy chọn) — Một hàm nhận vào đầu ra của mô hình, nhãn và số lượng mục trong toàn bộ batch tích lũy (batch_size * gradient_accumulation_steps) và trả về loss. Tham số này đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong v2.0.0: hãy kế thừa SFTTrainer và ghi đè compute_loss thay vào đó.
  • compute_metrics (Callable[[EvalPrediction], dict], tùy chọn) — Hàm sẽ được sử dụng để tính các chỉ số đánh giá. Hàm này phải nhận một EvalPrediction và trả về một từ điển ánh xạ từ chuỗi sang giá trị chỉ số. Khi truyền SFTConfig với batch_eval_metrics được đặt thành True, hàm compute_metrics của bạn phải nhận một đối số boolean compute_result. Đối số này sẽ được kích hoạt sau batch đánh giá cuối cùng để báo hiệu rằng hàm cần tính toán và trả về các thống kê tổng hợp toàn cục thay vì tích lũy các thống kê ở cấp độ batch. Các logits mà hàm nhận được sẽ được tính lại bằng một bước forward bổ sung. Tính năng này đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong v2.0.0.
  • callbacks (danh sách TrainerCallback, tùy chọn) — Danh sách các callback để tùy chỉnh vòng lặp huấn luyện. Những callback này sẽ được thêm vào danh sách các callback mặc định được mô tả chi tiết tại đây.

    Nếu bạn muốn xóa một trong các callback mặc định đang được sử dụng, hãy dùng phương thức remove_callback.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], tùy chọn, mặc định là (None, None)) — Một tuple chứa optimizer và scheduler cần sử dụng. Mặc định sẽ là một instance của AdamW trên model của bạn và một scheduler được cung cấp bởi get_linear_schedule_with_warmup được điều khiển bởi args.
  • optimizer_cls_and_kwargs (tuple[Type[torch.optim.Optimizer], Dict[str, Any]], tuỳ chọn) — Một tuple chứa lớp optimizer và các đối số từ khóa cần sử dụng. Ghi đè optim và optim_args trong args. Không tương thích với đối số optimizers .

    Khác với optimizers, đối số này giúp tránh việc phải đặt các tham số mô hình lên đúng thiết bị trước khi khởi tạo Trainer.

  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor], tuỳ chọn) — Một hàm tiền xử lý logits ngay trước khi lưu chúng vào bộ nhớ đệm ở mỗi bước đánh giá. Hàm này phải nhận hai tensor, gồm logits và nhãn, và trả về logits sau khi đã xử lý theo mong muốn. Các thay đổi do hàm này thực hiện sẽ được phản ánh trong các dự đoán mà compute_metrics.

    Lưu ý rằng nhãn (tham số thứ hai) sẽ là None nếu tập dữ liệu không có chúng.

  • quantization_config (BitsAndBytesConfig, tuỳ chọn) — Cấu hình lượng tử hóa được sử dụng khi tải mô hình từ một định danh mô hình. Kết hợp với peft_config cho huấn luyện QLoRA. Bị bỏ qua nếu mô hình đã được khởi tạo.
  • peft_config (PeftConfig, tùy chọn) — Cấu hình PEFT được sử dụng để bọc model. Nếu là None, model sẽ không được bọc.
  • formatting_func (Callable, tùy chọn) — Hàm định dạng được áp dụng cho bộ dữ liệu trước khi token hóa. Việc áp dụng hàm định dạng một cách tường minh chuyển đổi bộ dữ liệu thành kiểu language modeling.

Trainer cho phương pháp Fine-Tuning Có Giám Sát (SFT).

Lớp này là một lớp bao quanh lớp Trainer và kế thừa tất cả các thuộc tính và phương thức của nó.

Ví dụ:

>>> from trl import SFTTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("roneneldan/TinyStories", split="train[:1%]")

>>> trainer = SFTTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

train

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Tham số

  • resume_from_checkpoint (str hoặc bool, tùy chọn) — Nếu là str, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiên Trainer trước đó. Nếu là bool và bằng True, tải checkpoint cuối cùng trong args.output_dir do một phiên Trainer trước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây.
  • trial (optuna.Trial hoặc dict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số.
  • ignore_keys_for_eval (list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.

Trả về

~trainer_utils.TrainOutput

Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.

Điểm vào chính cho quá trình huấn luyện.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().

Chỉ lưu từ tiến trình chính.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Tham số

  • commit_message (str, tùy chọn, mặc định là "End of training") — Thông điệp để commit khi đẩy lên.
  • blocking (bool, tùy chọn, mặc định là True) — Xác định xem hàm có chỉ trả về khi git push đã hoàn tất hay không.
  • token (str, tùy chọn, mặc định là None) — Token có quyền ghi để ghi đè lên các args gốc của Trainer.
  • revision (str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”.
  • private (bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định là args.hub_private_repo. Không có tác dụng nếu kho đã tồn tại.
  • kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến ~Trainer.create_model_card.

Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.

SFTConfig

lớp trl.SFTConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 2e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = None )

Các tham số điều khiển mô hình

  • model_init_kwargs (dict[str, Any], tùy chọn) — Các đối số dạng từ khóa cho from_pretrained, được sử dụng khi đối số model của SFTTrainer được cung cấp dưới dạng chuỗi. Giá trị revision cũng được sử dụng khi nạp lớp xử lý.
  • trust_remote_code (bool, tùy chọn, mặc định là False) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained.
  • router_aux_loss_coef (float, tùy chọn) — Hệ số của tổn thất phụ cân bằng tải cho các mô hình Mixture-of-Experts (MoE), được cộng vào tổn thất huấn luyện với trọng số này. Khi không được đặt, giá trị được khai báo trong cấu hình mô hình sẽ được sử dụng. Đặt thành 0.0 để tắt nó. Gặp lỗi khi sử dụng với mô hình không phải MoE.
  • chat_template_path (str, tùy chọn) — Nếu được chỉ định, sẽ đặt chat template của model. Giá trị này có thể là đường dẫn đến một tokenizer (thư mục cục bộ hoặc model trên Hugging Face Hub) hoặc đường dẫn trực tiếp đến một tệp template Jinja. Khi sử dụng tệp Jinja, bạn phải đảm bảo rằng các special token được tham chiếu trong template đã được thêm vào tokenizer và rằng lớp embedding của model được điều chỉnh kích thước cho phù hợp.

Các tham số kiểm soát tiền xử lý dữ liệu

  • dataset_text_field (str, tùy chọn, mặc định là "text") — Tên của cột chứa dữ liệu văn bản trong bộ dữ liệu.
  • dataset_kwargs (dict[str, Any], tùy chọn) — Từ điển chứa các đối số từ khóa tùy chọn cho việc chuẩn bị dataset. Khóa duy nhất được hỗ trợ là skip_prepare_dataset. Khi dataset chứa hình ảnh, skip_prepare_dataset sẽ tự động được coi là True bất kể giá trị được cung cấp, vì tiền xử lý được thực hiện trực tiếp.
  • dataset_num_proc (int, tùy chọn) — Số lượng tiến trình được sử dụng để xử lý tập dữ liệu.
  • eos_token (str, tùy chọn) — Token được sử dụng để chỉ báo hiệu kết thúc một lượt hoặc chuỗi. Nếu là None, mặc định sẽ là processing_class.eos_token.
  • max_length (int hoặc None, tùy chọn, mặc định là 1024) — Độ dài tối đa của chuỗi đã được token hóa. Các chuỗi dài hơn max_length sẽ bị cắt bớt từ bên trái hoặc bên phải tùy thuộc vào truncation_mode. Nếu là None, sẽ không áp dụng cắt bớt. Khi bật tính năng đóng gói (packing), giá trị này đặt độ dài của chuỗi.
  • truncation_mode (str, tùy chọn, mặc định là "keep_start") — Chế độ cắt ngắn được sử dụng khi chuỗi vượt quá max_length. Giá trị duy nhất được hỗ trợ là "keep_start". Giá trị "keep_end" đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong v2.0.0.
  • shuffle_dataset (bool, tùy chọn, mặc định là False) — Có nên xáo trộn bộ dữ liệu hay không.
  • packing (bool, tùy chọn, mặc định là False) — Có nên nhóm nhiều chuỗi vào các khối có độ dài cố định để cải thiện hiệu quả tính toán và giảm padding hay không. Sử dụng max_length để xác định độ dài chuỗi.
  • packing_strategy (str, tùy chọn, mặc định là "bfd") — Chiến lược để đóng gói các chuỗi. Có thể là "bfd" (best-fit decreasing, cắt bỏ phần tràn), "bfd_split" (best-fit decreasing, tách các chuỗi tràn), hoặc "wrapped" (mạnh mẽ, cắt giữa chuỗi).
  • padding_free (bool, tùy chọn, mặc định là False) — Có thực hiện các bước truyền tiến (forward passes) không có padding bằng cách làm phẳng tất cả các chuỗi trong batch thành một chuỗi liên tục duy nhất hay không. Điều này giúp giảm mức sử dụng bộ nhớ bằng cách loại bỏ chi phí padding. Hiện tại, tính năng này chỉ được hỗ trợ với FlashAttention 2 hoặc 3, vốn có thể xử lý hiệu quả cấu trúc batch đã được làm phẳng. Khi packing được bật với chiến lược "bfd", padding-free sẽ được bật, bất kể giá trị của tham số này là gì.
  • pad_to_multiple_of (int hoặc str, tùy chọn, mặc định là "auto") — Nếu được đặt, các chuỗi sẽ được đệm (padding) đến một bội số của giá trị này. "auto" sẽ đệm đến bội số của 128 trên Neuron (AWS Trainium), nơi biên dịch một lần cho mỗi hình dạng đầu vào, và không đệm ở các nơi khác.
  • eval_packing (bool, tùy chọn) — Có nên đóng gói (pack) bộ dữ liệu eval hay không. Nếu là None, sẽ sử dụng cùng giá trị với packing.

Các tham số kiểm soát quá trình huấn luyện

  • completion_only_loss (bool, tùy chọn) — Có tính loss chỉ trên phần completion của chuỗi hay không. Nếu đặt thành True, loss chỉ được tính trên phần completion, điều này chỉ được hỗ trợ cho các dataset prompt-completion. Nếu False, loss được tính trên toàn bộ chuỗi. Nếu None (mặc định), hành vi phụ thuộc vào dataset: loss được tính trên phần completion cho các dataset prompt-completion, và trên toàn bộ chuỗi cho các dataset language modeling.
  • assistant_only_loss (bool, tùy chọn, mặc định là False) — Có tính loss chỉ trên phần assistant của chuỗi hay không. Nếu đặt thành True, loss chỉ được tính trên các phản hồi của assistant, tính năng này chỉ được hỗ trợ cho các bộ dữ liệu conversational. Nếu False, loss được tính trên toàn bộ chuỗi.
  • loss_type (str, tuỳ chọn, mặc định là "nll") — Loại loss cần sử dụng. Các giá trị có thể là:
    • "nll": âm log-likelihood chuẩn.
    • "dft": Fine-Tuning động, như được mô tả trong bài báo này.
    • "chunked_nll": alias đã bị ngừng hỗ trợ của "nll", tính toán loss theo cách tương tự. Nó sẽ bị loại bỏ trong v2.0.0.
  • activation_offloading (bool, tùy chọn, mặc định là False) — Có nên chuyển các activation sang CPU hay không.

Các tham số đã bị ngừng hỗ trợ

  • pad_token —

    Tham số pad_token đã bị ngừng hỗ trợ và sẽ bị loại bỏ trong phiên bản v2.0.0. Hãy đặt trực tiếp tokenizer.pad_token và truyền nó dưới dạng processing_class cho trainer thay vì cách cũ.

Lớp cấu hình cho SFTTrainer.

Lớp này chỉ bao gồm các tham số đặc thù cho huấn luyện SFT. Để xem danh sách đầy đủ các đối số huấn luyện, hãy tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments.

Sử dụng HfArgumentParser, chúng ta có thể chuyển lớp này thành các đối số argparse có thể được chỉ định trên dòng lệnh.

Các tham số này có giá trị mặc định khác với TrainingArguments:

  • logging_steps: Mặc định là 10 thay vì 500.
  • gradient_checkpointing: Mặc định là True thay vì False.
  • bf16: Mặc định là True nếu fp16 không được đặt, thay vì False.
  • learning_rate: Mặc định là 2e-5 thay vì 5e-5.
Update on GitHub