Accelerate documentation
설치
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
설치
시작하기 전에 환경을 설정하고 필요한 패키지를 설치하며 Accelerate를 구성해야 합니다. Accelerate는 Python 3.11+에서 테스트되었습니다.
Accelerate는 pypi와 conda, 그리고 GitHub에서 사용할 수 있습니다. 각 소스에서 설치하는 방법은 다음과 같습니다:
pip
pypi에서 Accelerate를 설치하려면 다음을 수행합니다:
pip install accelerate
conda
Accelerate는 다음 명령으로 conda를 통해서도 설치할 수 있습니다:
conda install -c conda-forge accelerate
소스
매일 새로운 기능이 추가되고 있으며, 아직 출시되지 않은 기능도 있습니다. 직접 사용해 보려면 GitHub 저장소에서 설치하세요:
pip install git+https://github.com/huggingface/accelerate
라이브러리에 기여하거나 소스 코드를 직접 다루며 코드를 실행하는 동안 실시간으로 결과를 확인하고 싶다면, 로컬에 클론한 저장소에서 편집 가능한 버전을 설치할 수 있습니다:
git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .구성
설치 후, 현재 시스템의 학습 구성에 맞게 Accelerate를 설정해야 합니다. 이를 위해 다음을 실행하고, 표시되는 질문에 답하세요:
accelerate config
DeepSpeed 구성이나 TPU에서 실행과 같은 옵션을 포함하지 않는 최소한의 구성을 작성하려면 다음을 빠르게 실행할 수 있습니다:
python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"Accelerate는 사용 가능한 최대 수의 GPU를 자동으로 활용하고 혼합 정밀도(mixed precision) 모드를 설정합니다.
설정이 올바르게 구성되었는지 확인하려면 다음을 실행하세요:
accelerate env아래는 단일 머신에 있는 두 개의 GPU를 설명하는 예시 출력입니다. 혼합 정밀도는 사용되지 않습니다.
- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
- compute_environment: LOCAL_MACHINE
- distributed_type: MULTI_GPU
- mixed_precision: no
- use_cpu: False
- debug: False
- num_processes: 2
- machine_rank: 0
- num_machines: 1
- gpu_ids: all
- rdzv_backend: static
- same_network: True
- main_training_function: main
- enable_cpu_affinity: False
- downcast_bf16: no
- tpu_use_cluster: False
- tpu_use_sudo: False
- tpu_env: []