TRL documentation

Примеры

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Примеры

Каталог examples/ содержит набор самостоятельных примеров, демонстрирующих, как использовать библиотеку TRL для различных задач. Каждый пример находится в отдельной папке, названной по методу и задаче, которую он иллюстрирует (например, grpo_wordle, sft_gpt_oss_chess), и включает всё необходимое: скрипты, ноутбуки, промпты, шаблоны чата и код для оценки.

Базовые скрипты обучения с одним тренером не являются примерами: они находятся в trl/scripts и доступны через интерфейс командной строки (trl sft, trl dpo, trl grpo, …). На странице документации каждого тренера также приведён полный исполняемый фрагмент кода.

Общие ресурсы находятся в корне examples/:

  • examples/deepspeed_configs: файлы конфигурации DeepSpeed ZeRO, передаваемые с помощью --deepspeed, используются во многих примерах.
  • examples/fsdp_configs: файлы конфигурации FSDP, передаваемые с помощью --fsdp --fsdp_config (одиночный --fsdp в командной строке требует transformers 5.10 или новее; в более старых версиях установите fsdp=True в конфигурации обучения).
  • examples/datasets: скрипты, используемые для генерации наборов данных trl-lib, применяемых в примерах.

Начало работы

Установите TRL и дополнительные зависимости следующим образом:

pip install --upgrade trl[quantization]

Проверьте дополнительные необязательные зависимости здесь. Примеры на основе ноутбуков являются самодостаточными и могут выполняться на бесплатном Colab; примеры на основе скриптов выполняются на конфигурациях с одним GPU, несколькими GPU или DeepSpeed (см. Распределённое обучение ниже).

Оглавление

ПримерОписаниеОткрыть в Colab
async_distillation_mathАсинхронная on-policy дистилляция на GSM8K с использованием experimental.async_distillation.AsyncDistillationTrainer: учитель обслуживается по HTTP с помощью vLLM.
async_distillation_mopdМультиучительская on-policy дистилляция (MOPD) с experimental.async_distillation.AsyncDistillationTrainer: объединяет экспертов по математике, коду и следованию инструкциям из Open-MOPD в их SFT-чекпоинт: с 17,5 до 24,2 на AIME24 и с 67,5 до 73,0 на IFEval за 60 шагов (скрипт, лаунчер Hugging Face Jobs и README с результатами).
async_grpo_harborОбучение AsyncGRPO на наборе задач Harbor через любой установленный агент для написания кода (mini-swe-agent, opencode, claude-code, …), работающий через OpenEnv: агент управляет собственным циклом в песочнице, а TRL обучается на идентификаторах токенов и logprobs, записанных прокси перехвата.
async_grpo_mathАсинхронный GRPO на GSM8K с AsyncGRPOTrainer, с разделением генерации (сервер vLLM) и обучения, включая вариант с LoRA, который синхронизирует только адаптер с сервером vLLM.
dpo_reduce_hallucinationsDPO-дообучение модели Vision Language Model для снижения галлюцинаций с использованием набора данных openbmb/RLAIF-V-Dataset.
gold_chatbot_arenaОбщая онлайн-дистилляция логитов (GOLD) учителя Qwen2 в ученика Llama 3.2 (с разными токенизаторами) на chatbot_arena_completions с использованием experimental.gold.GOLDTrainer, с вариантами полной тренировки и LoRA.
gold_qwen3_vlОбщая онлайн-дистилляция логитов (GOLD) модели Qwen3-VL-8B в более мелкие VLM-студенты с помощью experimental.gold.GOLDTrainer, охватывающая дистилляцию внутри семейства (потери JSD) и между семействами (потери ULD).
grpo_2048GRPO с вызовом инструментов для обучения модели игре в 2048.
grpo_browsergymGRPO в среде OpenEnv от BrowserGym, с вариантами на базе LLM и VLM.
grpo_carlaGRPO в среде автономного вождения CARLA OpenEnv, с вариантами LLM и VLM (мультимодальные ответы инструментов на основе изображений с камеры).
grpo_catchGRPO с подвохом (OpenSpiel) OpenEnv окружение.
grpo_continuous_batchingGRPO с движком непрерывного батчинга transformers для более быстрого генерирования на больших батчах с переменной длиной завершения.
grpo_echoМинимальная тренировка GRPO в среде OpenEnv Echo.
grpo_harborОбучение GRPO на наборе задач Harbor с подключаемым базовым агентом (обвязки bash / jupyter / terminal_notes). См. руководство Интеграция с Harbor.
grpo_ministral3_vlGRPO Ministral 3 с QLoRA на бесплатном Colab.Open In Colab
grpo_multi_envОбучение GRPO в нескольких средах: Wordle + Catch OpenEnv в одном прогоне обучения.
grpo_qloraGRPO с использованием QLoRA на бесплатном Colab.Open In Colab
grpo_qwen3_vlGRPO Qwen3-VL с QLoRA на бесплатном Colab.Open In Colab
grpo_rnj_1_instructGRPO на rnj-1-instruct с QLoRA в Colab для добавления возможностей рассуждения.Open In Colab
grpo_setaОбучение GRPO в среде SETA ORS из каталога openreward.ai. См. руководство Интеграция с OpenReward.
grpo_sql_agentGRPO для обучения агента, который отвечает на вопросы, обращаясь к базе данных SQL (скрипт и ноутбук; не запускается на бесплатном Colab из-за OOM).
grpo_sudokuGRPO для решения Судоку (TextArena) в среде OpenEnv, начиная с модели SFT: 0, 10 и 22 решённых головоломок из 30 при 26 пустых клетках для базовой модели, модели SFT и модели SFT + GRPO соответственно (скрипт, ноутбук и README с результатами).Open In Colab
grpo_visual_mathДополнительная настройка (fine-tuning) мультимодальной модели для рассуждений с помощью GRPO на датасете lmms-lab/multimodal-open-r1-8k-verified.
grpo_wordleGRPO для игры в Wordle (TextArena) в среде OpenEnv (скрипт и ноутбук).Open In Colab
gspo_mathGSPO с помощью GRPOTrainer для математического рассуждения на датасете AI-MO/NuminaMath-TIR.
gspo_visual_mathGSPO с помощью GRPOTrainer для дообучения мультимодальной модели рассуждений на датасете lmms-lab/multimodal-open-r1-8k-verified.
lfm2_5_moe_research_agentLiquidAI/LFM2.5-8B-A1B за два шага: полный SFT на xLAM function calling на одном узле 8xH100 с SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов, плюс FSDP), затем GRPO многошагового исследовательского агента на HotpotQA с GRPOTrainer и environment_factory (инструменты search / read, награда за точное совпадение).
mpo_visual_preferencesMPO с помощью DPOTrainer для выравнивания мультимодальной модели на основе предпочтений с использованием набора данных HuggingFaceH4/rlaif-v_formatted и набора весов потерь.
online_dpo_visual_mathОнлайн-дообучение DPO модели Vision Language с помощью experimental.online_dpo.OnlineDPOTrainer.
rloo_mathRLOO с RLOOTrainer для математического рассуждения на датасете AI-MO/NuminaMath-TIR с vLLM.
rloo_visual_mathRLOO-дообучение мультимодальной модели для рассуждений с использованием набора данных lmms-lab/multimodal-open-r1-8k-verified.
sdft_privileged_contextДообучение с самодистилляцией с помощью experimental.sdft.SDFTTrainer, при котором привилегированный (доступный только учителю) контекст дистиллируется в модель.
sdpo_mathSDPO с experimental.sdpo.SDPOTrainer с использованием проверяемых математических наград и необязательной обратной связи от среды на openai/gsm8k.
sft_agent_tracesSFT модели Qwen3.5-2B на данных агентских траекторий: Qwen3.5-397B-A17B выполняет задачи по анализу данных Harbor в качестве агента OpenCode в Hugging Face Sandboxes, записываемого с помощью OpenEnv, а ученик обучается на решенных диалогах с потерей, вычисляемой только для ответов ассистента. На задачах, к данным которых не обращалась ни одна траектория, около 500 записей повышают результат с 7,6% до 33,3% (скрипты для rollout, датасета и обучения, а также README с результатами).
sft_beamLoRA SFT модели reflection/Beam-1.0-501B-A23B на одном узле 8xB300 с использованием SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов).
sft_diffusion_gemmaSFT языковой модели блок-диффузии DiffusionGemma на GSM8K с расширением SFTTrainer целью блок-диффузии.
sft_gemma3SFT модели Gemma 3 на наборе данных Codeforces COTS.
sft_gemma3_visionSFT модели Gemma 3 на задачах преобразования изображений в текст.
sft_gpt_oss_chessПолная дообучение модели openai/gpt-oss-20b на шахматных задачах с помощью SFTTrainer: TRL загружает её MXFP4-эксперты в декуантизованном виде, а дообученные эксперты снова квантуются в MXFP4 для использования в том же режиме, что и исходная модель.
sft_ministral3_vlSFT Ministral 3 с QLoRA на бесплатном Colab.Open In Colab
sft_mistral_large_4LoRA SFT модели mistralai/Mistral-Large-4-1T-A52B на основе её весов в формате FP8 на одном узле 8xB300 с использованием SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов).
sft_nemotron_3SFT моделей NVIDIA Nemotron 3 (скрипт и ноутбук LoRA).Open In Colab
sft_qloraSFT с использованием QLoRA на бесплатном Colab.Open In Colab
sft_qwen3_8b_1m_contextSFT модели Qwen3-8B на последовательностях длиной 1 048 576 токенов с использованием контекстного параллелизма на одном узле 8xH100.
sft_qwen3_vlSFT Qwen3-VL с QLoRA на бесплатном Colab.Open In Colab
tail_sft_gsm8kTailSFT на GSM8K с расширением SFTTrainer за счёт фильтрации потерь начальной политики.
sft_muse_spark_openLoRA SFT метамоделей/Muse-Spark-Open-816B-A42B на 8 узлах с помощью SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов).
sft_tool_callingОбучение модели вызову инструментов без нативной поддержки tool-calling с помощью SFT и QLoRA (скрипт, шаблон чата и ноутбук).Open In Colab
sft_visual_chatSFT модели «зрение-язык» в чат-режиме. Проверено только с LLaVA 1.5, LLaVA 1.6 и Llama-3.2-11B-Vision-Instruct; при использовании других архитектур моделей возможны непредвиденные проблемы.
xtokenX-Token: off-policy кросс-токенизаторная дистилляция знаний с использованием experimental.gold.GOLDTrainer, включая подготовку матрицы проекции.

Распределённое обучение

Вы можете запускать примеры скриптов на нескольких GPU с помощью torchrun:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_script

Для DeepSpeed ZeRO-{1,2,3}:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_script

При необходимости измените NUM_GPUS и --all_arguments_of_the_script.

Update on GitHub