TRL documentation

명령줄 인터페이스(CLI)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

명령줄 인터페이스(CLI)

TRL은 Supervised Fine-Tuning(SFT), Direct Preference Optimization(DPO) 등의 방법을 사용하여 대규모 언어 모델(LLM)을 미세 조정하기 위한 강력한 명령줄 인터페이스(CLI)를 제공합니다. CLI는 많은 양의 불필요한 코드를 추상화하여 학습 작업을 빠르고 재현 가능하게 시작할 수 있도록 합니다.

명령어

현재 지원되는 명령어는 다음과 같습니다:

학습 명령

  • trl distillation: on-policy knowledge distillation을 사용하여 teacher model을 student로 증류
  • trl dpo: DPO를 사용하여 LLM을 파인튜닝
  • trl grpo: GRPO로 LLM을 파인튜닝
  • trl kto: KTO로 LLM을 파인튜닝
  • trl reward: 보상 모델 학습
  • trl rloo: RLOO로 LLM 파인튜닝
  • trl sft: SFT로 LLM을 파인튜닝

기타 명령

  • trl env: 시스템 정보 가져오기
  • trl vllm-serve: vLLM으로 모델을 서빙합니다 (비권장, vllm serve를 직접 사용하세요. vLLM 통합 참고)

TRL CLI를 활용한 Fine-Tuning

기본 사용법

CLI에서 모델과 데이터셋과 같은 필수 인수를 지정하여 학습을 바로 시작할 수 있습니다:

SFT
DPO
보상
GRPO
RLOO
KTO
trl sft \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name stanfordnlp/imdb

설정 파일 사용

CLI 명령어를 깔끔하고 재현 가능하게 유지하려면, 모든 학습 인수를 YAML 구성 파일에 정의할 수 있습니다:

SFT
DPO
보상
GRPO
RLOO
KTO
# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
dataset_name: stanfordnlp/imdb

다음으로 시작합니다:

trl sft --config sft_config.yaml

torchrun을 사용한 확장

TRL CLI는 torchrun을 사용하여 가용한 GPU마다 하나의 프로세스씩 학습을 시작합니다. torchrun 인수는 trl에 직접 전달할 수 있으며, 예를 들어 --nproc_per_node 또는 --nnodes 등이 있습니다.

SFT
DPO
보상
GRPO
RLOO
KTO
trl sft \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name stanfordnlp/imdb \
  --nproc_per_node 4

또는, 설정 파일을 사용하여:

# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
dataset_name: stanfordnlp/imdb
nproc_per_node: 4

다음으로 시작합니다:

trl sft --config sft_config.yaml

DeepSpeed와 FSDP

DeepSpeed ZeRO와 FSDP는 Trainer의 경우와 마찬가지로 학습 인수를 통해 구성됩니다: --deepspeed는 DeepSpeed JSON 설정을, --fsdp는 FSDP를 활성화하며 --fsdp_config로 조정합니다. 커맨드 라인에서 --fsdp만 단독으로 사용하려면 transformers 5.10 이상이 필요하며, 이전 버전의 경우 설정 파일에서 fsdp: true를 설정해야 합니다. 바로 사용할 수 있는 설정은 examples/deepspeed_configs와 examples/fsdp_configs에 있습니다. pip로 TRL을 설치했다면 이 ZeRO-2 설정을 zero2.json으로 저장하고 --deepspeed zero2.json을 전달하세요:

{
  "bf16": {"enabled": "auto"},
  "zero_optimization": {
    "stage": 2,
    "offload_optimizer": {"device": "none"}
  },
  "gradient_accumulation_steps": "auto",
  "gradient_clipping": "auto",
  "train_batch_size": "auto",
  "train_micro_batch_size_per_gpu": "auto"
}
SFT
DPO
보상
GRPO
RLOO
KTO
trl sft \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name stanfordnlp/imdb \
  --deepspeed examples/deepspeed_configs/zero2.json  # or --fsdp

또는, 설정 파일을 사용하여:

# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
dataset_name: stanfordnlp/imdb
deepspeed: examples/deepspeed_configs/zero2.json  # or fsdp: true

다음으로 시작합니다:

trl sft --config sft_config.yaml

TRL v2.0.0 이전까지, trl는 accelerate launch만 아는 --num_processes나 --accelerate_config와 같은 인수를 받거나, accelerate config 기본 파일이 존재하는 경우에도 여전히 accelerate launch를 통해 실행됩니다. 이 경로는 비추천(deprecated)되며 경고가 표시됩니다.

데이터셋 혼합 사용

데이터셋 혼합을 사용하여 여러 데이터셋을 단일 학습 데이터셋으로 결합할 수 있습니다. 이는 다양한 데이터 소스로 학습하거나 서로 다른 유형의 데이터를 혼합하고 싶을 때 유용합니다.

SFT
DPO
보상
GRPO
RLOO
KTO
# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
datasets:
  - path: stanfordnlp/imdb
  - path: roneneldan/TinyStories

다음으로 시작합니다:

trl sft --config sft_config.yaml

데이터셋 혼합을 정의하는 데 사용할 수 있는 모든 키워드를 확인하려면 scripts.utils.DatasetConfig 및 DatasetMixtureConfig 클래스를 참조하세요.

시스템 정보 가져오기

다음 명령을 실행하여 시스템 정보를 가져올 수 있습니다:

trl env

이 명령은 GPU 정보, CUDA 버전, PyTorch 버전, transformers 버전, TRL 버전 및 설치된 선택적 의존성을 포함한 시스템 정보를 출력합니다.

Copy-paste the following information when reporting an issue:

- Platform: Linux-5.15.0-1048-aws-x86_64-with-glibc2.31
- Python version: 3.11.9
- PyTorch version: 2.4.1
- accelerator(s): NVIDIA H100 80GB HBM3
- Transformers version: 4.45.0.dev0
- Accelerate version: 0.34.2
- Accelerate config: 
  - compute_environment: LOCAL_MACHINE
  - distributed_type: DEEPSPEED
  - mixed_precision: no
  - use_cpu: False
  - debug: False
  - num_processes: 4
  - machine_rank: 0
  - num_machines: 1
  - rdzv_backend: static
  - same_network: True
  - main_training_function: main
  - enable_cpu_affinity: False
  - deepspeed_config: {'gradient_accumulation_steps': 4, 'offload_optimizer_device': 'none', 'offload_param_device': 'none', 'zero3_init_flag': False, 'zero_stage': 2}
  - downcast_bf16: no
  - tpu_use_cluster: False
  - tpu_use_sudo: False
  - tpu_env: []
- Datasets version: 3.0.0
- HF Hub version: 0.24.7
- TRL version: 0.12.0.dev0+acb4d70
- bitsandbytes version: 0.41.1
- DeepSpeed version: 0.15.1
- Diffusers version: 0.30.3
- Liger-Kernel version: 0.3.0
- LLM-Blender version: 0.0.2
- OpenAI version: 1.46.0
- PEFT version: 0.12.0
- vLLM version: not installed

이 정보는 문제를 보고할 때 필요합니다.

Update on GitHub