TRL documentation
Примеры
Примеры
Каталог examples/ содержит набор самостоятельных примеров, демонстрирующих, как использовать библиотеку TRL для различных задач. Каждый пример находится в отдельной папке, названной по методу и задаче, которую он иллюстрирует (например, grpo_wordle, sft_gpt_oss_chess), и включает всё необходимое: скрипты, ноутбуки, промпты, шаблоны чата и код для оценки.
Базовые скрипты обучения с одним тренером не являются примерами: они находятся в trl/scripts и доступны через интерфейс командной строки (trl sft, trl dpo, trl grpo, …). На странице документации каждого тренера также приведён полный исполняемый фрагмент кода.
Общие ресурсы находятся в корне examples/:
examples/deepspeed_configs: файлы конфигурации DeepSpeed ZeRO, передаваемые с помощью--deepspeed, используются во многих примерах.examples/fsdp_configs: файлы конфигурации FSDP, передаваемые с помощью--fsdp --fsdp_config(одиночный--fsdpв командной строке требует transformers 5.10 или новее; в более старых версиях установитеfsdp=Trueв конфигурации обучения).examples/datasets: скрипты, используемые для генерации наборов данныхtrl-lib, применяемых в примерах.
Начало работы
Установите TRL и дополнительные зависимости следующим образом:
pip install --upgrade trl[quantization]
Проверьте дополнительные необязательные зависимости здесь. Примеры на основе ноутбуков являются самодостаточными и могут выполняться на бесплатном Colab; примеры на основе скриптов выполняются на конфигурациях с одним GPU, несколькими GPU или DeepSpeed (см. Распределённое обучение ниже).
Оглавление
| Пример | Описание | Открыть в Colab |
|---|---|---|
async_distillation_math | Асинхронная on-policy дистилляция на GSM8K с использованием experimental.async_distillation.AsyncDistillationTrainer: учитель обслуживается по HTTP с помощью vLLM. | |
async_distillation_mopd | Мультиучительская on-policy дистилляция (MOPD) с experimental.async_distillation.AsyncDistillationTrainer: объединяет экспертов по математике, коду и следованию инструкциям из Open-MOPD в их SFT-чекпоинт: с 17,5 до 24,2 на AIME24 и с 67,5 до 73,0 на IFEval за 60 шагов (скрипт, лаунчер Hugging Face Jobs и README с результатами). | |
async_grpo_harbor | Обучение AsyncGRPO на наборе задач Harbor через любой установленный агент для написания кода (mini-swe-agent, opencode, claude-code, …), работающий через OpenEnv: агент управляет собственным циклом в песочнице, а TRL обучается на идентификаторах токенов и logprobs, записанных прокси перехвата. | |
async_grpo_math | Асинхронный GRPO на GSM8K с AsyncGRPOTrainer, с разделением генерации (сервер vLLM) и обучения, включая вариант с LoRA, который синхронизирует только адаптер с сервером vLLM. | |
dpo_reduce_hallucinations | DPO-дообучение модели Vision Language Model для снижения галлюцинаций с использованием набора данных openbmb/RLAIF-V-Dataset. | |
gold_chatbot_arena | Общая онлайн-дистилляция логитов (GOLD) учителя Qwen2 в ученика Llama 3.2 (с разными токенизаторами) на chatbot_arena_completions с использованием experimental.gold.GOLDTrainer, с вариантами полной тренировки и LoRA. | |
gold_qwen3_vl | Общая онлайн-дистилляция логитов (GOLD) модели Qwen3-VL-8B в более мелкие VLM-студенты с помощью experimental.gold.GOLDTrainer, охватывающая дистилляцию внутри семейства (потери JSD) и между семействами (потери ULD). | |
grpo_2048 | GRPO с вызовом инструментов для обучения модели игре в 2048. | |
grpo_browsergym | GRPO в среде OpenEnv от BrowserGym, с вариантами на базе LLM и VLM. | |
grpo_carla | GRPO в среде автономного вождения CARLA OpenEnv, с вариантами LLM и VLM (мультимодальные ответы инструментов на основе изображений с камеры). | |
grpo_catch | GRPO с подвохом (OpenSpiel) OpenEnv окружение. | |
grpo_continuous_batching | GRPO с движком непрерывного батчинга transformers для более быстрого генерирования на больших батчах с переменной длиной завершения. | |
grpo_echo | Минимальная тренировка GRPO в среде OpenEnv Echo. | |
grpo_harbor | Обучение GRPO на наборе задач Harbor с подключаемым базовым агентом (обвязки bash / jupyter / terminal_notes). См. руководство Интеграция с Harbor. | |
grpo_ministral3_vl | GRPO Ministral 3 с QLoRA на бесплатном Colab. | |
grpo_multi_env | Обучение GRPO в нескольких средах: Wordle + Catch OpenEnv в одном прогоне обучения. | |
grpo_qlora | GRPO с использованием QLoRA на бесплатном Colab. | |
grpo_qwen3_vl | GRPO Qwen3-VL с QLoRA на бесплатном Colab. | |
grpo_rnj_1_instruct | GRPO на rnj-1-instruct с QLoRA в Colab для добавления возможностей рассуждения. | |
grpo_seta | Обучение GRPO в среде SETA ORS из каталога openreward.ai. См. руководство Интеграция с OpenReward. | |
grpo_sql_agent | GRPO для обучения агента, который отвечает на вопросы, обращаясь к базе данных SQL (скрипт и ноутбук; не запускается на бесплатном Colab из-за OOM). | |
grpo_sudoku | GRPO для решения Судоку (TextArena) в среде OpenEnv, начиная с модели SFT: 0, 10 и 22 решённых головоломок из 30 при 26 пустых клетках для базовой модели, модели SFT и модели SFT + GRPO соответственно (скрипт, ноутбук и README с результатами). | |
grpo_visual_math | Дополнительная настройка (fine-tuning) мультимодальной модели для рассуждений с помощью GRPO на датасете lmms-lab/multimodal-open-r1-8k-verified. | |
grpo_wordle | GRPO для игры в Wordle (TextArena) в среде OpenEnv (скрипт и ноутбук). | |
gspo_math | GSPO с помощью GRPOTrainer для математического рассуждения на датасете AI-MO/NuminaMath-TIR. | |
gspo_visual_math | GSPO с помощью GRPOTrainer для дообучения мультимодальной модели рассуждений на датасете lmms-lab/multimodal-open-r1-8k-verified. | |
lfm2_5_moe_research_agent | LiquidAI/LFM2.5-8B-A1B за два шага: полный SFT на xLAM function calling на одном узле 8xH100 с SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов, плюс FSDP), затем GRPO многошагового исследовательского агента на HotpotQA с GRPOTrainer и environment_factory (инструменты search / read, награда за точное совпадение). | |
mpo_visual_preferences | MPO с помощью DPOTrainer для выравнивания мультимодальной модели на основе предпочтений с использованием набора данных HuggingFaceH4/rlaif-v_formatted и набора весов потерь. | |
online_dpo_visual_math | Онлайн-дообучение DPO модели Vision Language с помощью experimental.online_dpo.OnlineDPOTrainer. | |
rloo_math | RLOO с RLOOTrainer для математического рассуждения на датасете AI-MO/NuminaMath-TIR с vLLM. | |
rloo_visual_math | RLOO-дообучение мультимодальной модели для рассуждений с использованием набора данных lmms-lab/multimodal-open-r1-8k-verified. | |
sdft_privileged_context | Дообучение с самодистилляцией с помощью experimental.sdft.SDFTTrainer, при котором привилегированный (доступный только учителю) контекст дистиллируется в модель. | |
sdpo_math | SDPO с experimental.sdpo.SDPOTrainer с использованием проверяемых математических наград и необязательной обратной связи от среды на openai/gsm8k. | |
sft_agent_traces | SFT модели Qwen3.5-2B на данных агентских траекторий: Qwen3.5-397B-A17B выполняет задачи по анализу данных Harbor в качестве агента OpenCode в Hugging Face Sandboxes, записываемого с помощью OpenEnv, а ученик обучается на решенных диалогах с потерей, вычисляемой только для ответов ассистента. На задачах, к данным которых не обращалась ни одна траектория, около 500 записей повышают результат с 7,6% до 33,3% (скрипты для rollout, датасета и обучения, а также README с результатами). | |
sft_beam | LoRA SFT модели reflection/Beam-1.0-501B-A23B на одном узле 8xB300 с использованием SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов). | |
sft_diffusion_gemma | SFT языковой модели блок-диффузии DiffusionGemma на GSM8K с расширением SFTTrainer целью блок-диффузии. | |
sft_gemma3 | SFT модели Gemma 3 на наборе данных Codeforces COTS. | |
sft_gemma3_vision | SFT модели Gemma 3 на задачах преобразования изображений в текст. | |
sft_gpt_oss_chess | Полная дообучение модели openai/gpt-oss-20b на шахматных задачах с помощью SFTTrainer: TRL загружает её MXFP4-эксперты в декуантизованном виде, а дообученные эксперты снова квантуются в MXFP4 для использования в том же режиме, что и исходная модель. | |
sft_ministral3_vl | SFT Ministral 3 с QLoRA на бесплатном Colab. | |
sft_mistral_large_4 | LoRA SFT модели mistralai/Mistral-Large-4-1T-A52B на основе её весов в формате FP8 на одном узле 8xB300 с использованием SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов). | |
sft_nemotron_3 | SFT моделей NVIDIA Nemotron 3 (скрипт и ноутбук LoRA). | |
sft_qlora | SFT с использованием QLoRA на бесплатном Colab. | |
sft_qwen3_8b_1m_context | SFT модели Qwen3-8B на последовательностях длиной 1 048 576 токенов с использованием контекстного параллелизма на одном узле 8xH100. | |
sft_qwen3_vl | SFT Qwen3-VL с QLoRA на бесплатном Colab. | |
tail_sft_gsm8k | TailSFT на GSM8K с расширением SFTTrainer за счёт фильтрации потерь начальной политики. | |
sft_muse_spark_open | LoRA SFT метамоделей/Muse-Spark-Open-816B-A42B на 8 узлах с помощью SFTTrainer, с шардированием при загрузке через DistributedConfig из transformers (экспертный параллелизм с диспетчеризацией токенов). | |
sft_tool_calling | Обучение модели вызову инструментов без нативной поддержки tool-calling с помощью SFT и QLoRA (скрипт, шаблон чата и ноутбук). | |
sft_visual_chat | SFT модели «зрение-язык» в чат-режиме. Проверено только с LLaVA 1.5, LLaVA 1.6 и Llama-3.2-11B-Vision-Instruct; при использовании других архитектур моделей возможны непредвиденные проблемы. | |
xtoken | X-Token: off-policy кросс-токенизаторная дистилляция знаний с использованием experimental.gold.GOLDTrainer, включая подготовку матрицы проекции. |
Распределённое обучение
Вы можете запускать примеры скриптов на нескольких GPU с помощью torchrun:
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_scriptДля DeepSpeed ZeRO-{1,2,3}:
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_scriptПри необходимости измените NUM_GPUS и --all_arguments_of_the_script.