TRL documentation
Снижение потребления памяти
Снижение потребления памяти
Рабочие процессы обучения часто можно оптимизировать, чтобы снизить потребление памяти, и TRL предоставляет несколько встроенных функций для достижения этой цели.
Ниже мы описываем эти техники и рекомендуем экспериментировать с различными комбинациями, чтобы определить, какая конфигурация лучше всего подходит для вашей конкретной среды.
Каждый метод включает примеры для поддерживаемых тренеров. Если вы не уверены, совместима ли техника с вашим тренером, обратитесь к соответствующей документации тренера.
Для дополнительных стратегий, таких как сохранение градиентов, поддерживаемых всеми тренерами, см. руководство по производительности transformers.
Обрезка
Длины последовательностей в наборе данных могут сильно различаться. При формировании батчей последовательности дополняются (padding) до длины самой длинной в батче, что может приводить к высокому потреблению памяти, даже если большинство последовательностей относительно короткие.

Для снижения потребления памяти важно обрезать последовательности до разумной длины. Хотя тренировщики TRL по умолчанию обрезают последовательности, вы можете изменить длину обрезки по умолчанию, чтобы лучше соответствовать вашей конкретной задаче.
Обрезка в DPO управляется параметром max_length, который обрезает объединённую последовательность prompt+completion.

Чтобы установить параметр truncation, используйте следующий фрагмент кода:
from trl import DPOConfig
training_args = DPOConfig(..., max_length=...)Параметры
max_prompt_lengthиmax_completion_lengthустарели и были удалены; вместо этого отфильтруйте или предварительно обрежьте слишком длинные промпты/ответы в вашем наборе данных перед обучением.
Обрезка при SFT применяется к входной последовательности с помощью параметра max_length.

Чтобы установить параметр truncation, используйте следующий фрагмент кода:
from trl import SFTConfig
training_args = SFTConfig(..., max_length=...)Как выбрать значение max_length?
Если max_length слишком мал, значительная часть токенов будет отброшена и не внесёт вклада в обучение. Если он слишком велик, потребление памяти может резко вырасти, что потенциально приведёт к ошибкам нехватки памяти (OOM). Без упаковки или режима без отступов большое значение max_length также может привести к неэффективному обучению, поскольку многие токены будут являться отступами.
Чтобы помочь вам выбрать подходящее значение, мы предоставляем утилиту для визуализации распределения длины последовательностей в вашем наборе данных.
Упаковка
Эта техника доступна только для обучения SFT и конфигураций, использующих FlashAttention (или его варианты).
Обрезка имеет несколько недостатков:
- Потеря информации: Важные токены в конце последовательностей могут быть отброшены.
- Выбор длины усечения: слишком короткое усечение приводит к потере данных, слишком длинное снижает эффективность.
Packing смягчает эти проблемы, объединяя несколько последовательностей в одну строку обучения и заполняя каждую строку до max_length.

TRL реализует упаковку с помощью Best-Fit Decreasing (BFD), которая эффективно группирует последовательности, минимизируя количество заполнителей. Если последовательность превышает max_length, различные стратегии определяют, как обрабатываются переполняющие токены.
TRL поддерживает три стратегии:
"bfd"(по умолчанию): использует упаковку Best-Fit Decreasing. Если последовательность превышаетmax_length, лишние токены отбрасываются."bfd_split": Использует упаковку Best-Fit Decreasing, но длинные последовательности предварительно разбиваются на фрагменты ≤max_lengthперед упаковкой. Это сохраняет все токены и следует подходу, предложенному в Fewer Truncations Improve Language Modeling."wrapped": все токены объединяются в один поток и разбиваются на блоки фиксированной длины. Это минимизирует количество заполнителей, но может приводить к смешиванию несвязанных примеров. Данная стратегия соответствует предобработке concatenate-then-split, описанной в литературе (например, в статье Fewer Truncations Improve Language Modeling). Её недостаток состоит в том, что для значительной части набора данных нарушается непрерывность последовательностей, что ухудшает качество модели, как обсуждается в Qwen3-Coder-Next Technical Report.
Если все последовательности короче
max_length,bfdиbfd_splitведут себя идентично, поскольку обрезка или разбиение не требуются.
from trl import SFTConfig
training_args = SFTConfig(
...,
packing=True,
packing_strategy="bfd",
max_length=512,
)PEFT для параметрически эффективной дообучения
Методы параметрически эффективной дообучения (PEFT), такие как LoRA, являются одними из наиболее эффективных техник для снижения потребления памяти во время обучения. Вместо обучения всех параметров модели методы PEFT обучают лишь небольшое количество параметров адаптеров, что значительно снижает требования к памяти и позволяет дообучать более крупные модели на ограниченном оборудовании.
Подробные сведения об использовании PEFT с TRL, включая различные методы адаптеров, варианты квантования и расширенные конфигурации, см. в разделе Интеграция PEFT.
Для использования PEFT для снижения потребления памяти:
from datasets import load_dataset
from peft import LoraConfig
from trl import SFTTrainer
dataset = load_dataset("trl-lib/Capybara", split="train")
peft_config = LoraConfig()
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=dataset,
peft_config=peft_config,
)PEFT можно комбинировать с другими методами снижения потребления памяти, такими как квантование (4-битное или 8-битное), для ещё большей экономии памяти. Примеры квантования см. в разделе PEFT Integration.
Без отступов
Batching без padding — это альтернативный подход к снижению потребления памяти. В этом методе батч сначала отбирается, а затем разворачивается в единую последовательность, что позволяет избежать padding. В отличие от packing, который может приводить к неполным последовательностям за счёт объединения фрагментов разных выборок, batching без padding гарантирует, что все последовательности остаются целыми и неизменными.

Функция Padding-free временно недоступна в DPOTrainer: после рефакторинга DPO установка
padding_free=Trueвызывает предупреждение и переключается на стандартное выравнивание. Планируется вернуть её в одном из будущих обновлений.
from trl import DPOConfig
training_args = DPOConfig(..., padding_free=True, model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})from trl import SFTConfig
training_args = SFTConfig(..., padding_free=True, model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})Разгрузка активаций
Activation offloading — это техника повышения эффективности использования памяти, которая снижает потребление видеопамяти GPU, временно перемещая тензоры активаций в оперативную память CPU во время прямого прохода и возвращая их только при необходимости для обратного прохода. Это значительно снижает пиковое потребление памяти ценой незначительного увеличения времени обучения.
Чтобы включить выгрузку активаций в конфигурации обучения SFT:
from trl import SFTConfig
training_args = SFTConfig(..., activation_offloading=True)Внутри механизм выгрузки активаций реализует saved_tensors_hooks из PyTorch для перехвата активаций во время прямого прохода. Он интеллектуально управляет выгрузкой тензоров на основе их размера и контекста, избегая выгрузки выходных тензоров, что было бы неэффективно. Для оптимизации производительности он может, с помощью флага (по умолчанию он установлен в true), использовать CUDA-потоки для перекрытия вычислений с передачей данных между CPU и GPU.
Выравнивание последовательностей до кратного
В настоящее время эта техника поддерживается для тренеров SFT и Reward.
Если эта опция включена, все последовательности выравниваются по кратному указанному значению.
Это может повысить вычислительную эффективность на некоторых устройствах за счёт выравнивания длин последовательностей по границам, удобных для памяти.
from trl import SFTConfig
training_args = SFTConfig(..., pad_to_multiple_of=2048)from trl import RewardConfig
training_args = RewardConfig(..., pad_to_multiple_of=2048)Кэширующий аллокатор PyTorch
При длительных запусках, особенно в онлайн-RL (GRPO, RLOO, Online DPO), память GPU может фрагментироваться. Установка expandable_segments:True позволяет кэширующему аллокатору PyTorch расширять существующие сегменты, что сокращает разрыв между выделенной и зарезервированной памятью:
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
export PYTORCH_ALLOC_CONF=expandable_segments:True # canonical name since PyTorch 2.10В режиме сна vLLM (
vllm_enable_sleep_mode=True) vLLM читает толькоPYTORCH_CUDA_ALLOC_CONF, чтобы обойти эту настройку, поэтому не устанавливайте толькоPYTORCH_ALLOC_CONF.
Отключение сбора модели для генерации в онлайн-методах
При использовании DeepSpeed ZeRO-3 веса модели распределяются по нескольким GPU. Онлайн-методы предполагают генерацию завершений от модели в рамках процесса обучения. На этом этапе веса модели временно собираются на одном GPU для генерации. Для очень больших моделей такая сборка может приводить к ошибкам OOM, как описано в этой проблеме: #2250.
Если вы столкнулись с этой проблемой, вы можете отключить сбор весов модели для генерации, установив следующий параметр:
from trl import GRPOConfig
training_args = GRPOConfig(..., ds3_gather_for_generation=False)from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(..., ds3_gather_for_generation=False)from trl import RLOOConfig
training_args = RLOOConfig(..., ds3_gather_for_generation=False)Эта настройка предотвращает сбор весов модели, что позволяет избежать ошибок OOM, однако может привести к снижению скорости генерации.
Режим сна vLLM
При использовании vLLM в качестве генерационного бэкенда для методов онлайн-обучения можно включить sleep mode, чтобы выгружать параметры и кэш vLLM в оперативную память CPU на этапе оптимизации и загружать их обратно в видеопамять GPU по мере необходимости для синхронизации весов и генерации.
from trl import GRPOConfig
training_args = GRPOConfig(..., vllm_enable_sleep_mode=True)from trl import RLOOConfig
training_args = RLOOConfig(..., vllm_enable_sleep_mode=True)Перенос весов и кэша vLLM помогает поддерживать низкое потребление памяти GPU, что особенно полезно при обучении больших моделей или при работе с ограниченными ресурсами GPU. Однако пробуждение движка vLLM из спящего режима вносит некоторую задержку при передаче данных между хостом и устройством, что может незначительно повлиять на скорость обучения.
Контрольные точки градиентов
Gradient checkpointing экономит память за счёт вычислений, не сохраняя все промежуточные активации во время прямого прохода и пересчитывая их во время обратного прохода.
from trl import SFTConfig
training_args = SFTConfig(..., gradient_checkpointing=True)Функция gradient checkpointing включена по умолчанию во всех тренерах для оптимизации использования памяти. При необходимости вы можете отключить её, установив
gradient_checkpointing=False.
Селективное контрольное точечное активирование
С помощью SFTTrainer можно сохранять выход внимания во время прямого прохода, вместо того чтобы пересчитывать его в обратном проходе. Это компенсирует большую часть замедления, связанного с чекпоинтингом при длинном контексте, ценой одного дополнительного тензора размера скрытого состояния на каждый слой. Это принудительно включает не-реентерный чекпоинтинг.
from trl import SFTConfig
training_args = SFTConfig(
...,
gradient_checkpointing=True,
gradient_checkpointing_kwargs={"selective": True},
)Для получения дополнительной информации о техниках оптимизации памяти см. Transformers Performance Guide.
Update on GitHub