Accelerate documentation

유틸리티 함수 및 클래스

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

유틸리티 함수 및 클래스

아래는 🤗 Accelerate가 제공하는 다양한 유틸리티 함수를 용도별로 정리한 것입니다.

상수

🤗 Accelerate 전체에서 참조용으로 사용되는 상수

다음은 Accelerator.save_state()를 사용할 때 사용되는 상수입니다.

utils.MODEL_NAME: "pytorch_model" utils.OPTIMIZER_NAME: "optimizer" utils.RNG_STATE_NAME: "random_states" utils.SCALER_NAME: "scaler.pt utils.SCHEDULER_NAME: "scheduler

다음은 Accelerator.save_model()을 사용할 때 사용되는 상수입니다.

utils.WEIGHTS_NAME: "pytorch_model.bin" utils.SAFE_WEIGHTS_NAME: "model.safetensors" utils.WEIGHTS_INDEX_NAME: "pytorch_model.bin.index.json" utils.SAFE_WEIGHTS_INDEX_NAME: "model.safetensors.index.json"

데이터 클래스

이것들은 🤗 Accelerate 전반에서 사용되는 기본적인 dataclass이며, 매개변수로 전달할 수 있습니다.

독립형

dataclass은 분산 시스템의 유형과 같은 항목을 확인하는 데 사용되는 독립형 클래스입니다.

클래스 accelerate.utils.ComputeEnvironment

< >

( *values )

계산 환경의 유형을 나타냅니다.

값:

  • LOCAL_MACHINE — 개인/사용자 지정 클러스터 하드웨어.
  • AMAZON_SAGEMAKER — Amazon SageMaker를 계산 환경으로 사용합니다.

class accelerate.DistributedType

< >

( *values )

분산 환경의 유형을 나타냅니다.

값:

  • NO — 분산 환경이 아닌 단일 프로세스입니다.
  • MULTI_CPU — 여러 CPU 노드에 분산 배치.
  • MULTI_GPU — 여러 GPU에 분산 배치.
  • MULTI_MLU — 여러 MLU에 분산 배치.
  • MULTI_SDAA — 여러 SDAA에 분산 배치.
  • MULTI_MUSA — 여러 MUSA에 분산 배치.
  • MULTI_SUPA — 여러 Biren SUPA 디바이스에 분산 배치.
  • MULTI_NPU — 여러 NPU에 분산 배치.
  • MULTI_XPU — 여러 XPU에 분산 배치.
  • MULTI_HPU — 여러 HPU에 분산 배치.
  • MULTI_NEURON — 여러 Neuron 코어에 분산 배치됩니다.
  • DEEPSPEED — DeepSpeed 사용.
  • FSDP — Fully Sharded Data Parallelism(FSDP) 사용.
  • XLA — TorchXLA 사용.
  • MEGATRON_LM — Megatron-LM 사용.

클래스 accelerate.utils.DynamoBackend

< >

( *values )

dynamo 백엔드를 나타냅니다(자세한 내용은 https://pytorch.org/docs/stable/torch.compiler.html 참조).

값:

  • 아니요 — torch dynamo를 사용하지 마세요.
  • EAGER — PyTorch를 사용하여 추출된 GraphModule을 실행합니다. 이는 TorchDynamo 문제를 디버깅하는 데 매우 유용합니다.
  • AOT_EAGER — 컴파일러 없이 AotAutograd를 사용합니다. 즉, AotAutograd에서 추출된 forward 및 backward 그래프에 PyTorch eager만 사용하는 것입니다. 이는 디버깅에 유용하지만 속도 향상을 기대하기 어렵습니다.
  • INDUCTOR — codegen된 Triton 커널을 활용하여 AotAutograd와 cudagraphs를 사용하는 TorchInductor 백엔드를 사용합니다. 자세히 보기
  • AOT_TS_NVFUSER — AotAutograd/TorchScript와 함께 사용하는 nvFuser. 자세히 보기
  • NVPRIMS_NVFUSER — PrimTorch와 함께 사용하는 nvFuser. 자세히 보기
  • CUDAGRAPHS — AotAutograd와 함께 사용하는 cudagraphs. 자세히 보기
  • OFI — Torchscript의 optimize_for_inference를 사용합니다. 추론 전용입니다. 자세히 보기
  • FX2TRT — 추론 최적화에 Nvidia TensorRT를 사용합니다. 추론 전용입니다. 자세히 보기
  • ONNXRT — CPU/GPU에서 추론을 위해 ONNXRT를 사용합니다. 추론 전용입니다. 자세히 보기
  • TENSORRT — ONNXRT를 사용하여 추론 최적화를 위해 TensorRT를 실행합니다. 자세히 보기
  • AOT_TORCHXLA_TRACE_ONCE — 학습을 위해 TorchDynamo 최적화와 함께 Pytorch/XLA를 사용합니다. 자세히 보기
  • TORCHXLA_TRACE_ONCE — 추론을 위해 TorchDynamo 최적화와 함께 Pytorch/XLA를 사용합니다. 자세히 보기
  • TVM — 추론 최적화에 Apache TVM을 사용합니다. 자세히 보기
  • HPU_BACKEND — 추론 최적화를 위해 HPU 백엔드를 사용합니다.
  • NEURON — Trainium/Inferentia를 위해 AWS Neuron 백엔드를 사용합니다.

클래스 accelerate.utils.LoggerType

< >

( *values )

지원되는 실험 트래커의 유형을 나타냅니다

값:

  • ALL — 환경에서 지원되는 모든 사용 가능한 트래커
  • TENSORBOARD — 실험 트래커로 사용하는 TensorBoard
  • WANDB — 실험 트래커로 사용할 wandb
  • TRACKIO — 실험 트래커로 사용하는 trackio
  • COMETML — comet_ml을 실험 트래커로 사용
  • MLFLOW — 실험 트래커로 mlflow
  • CLEARML — 실험 트래커로 사용하는 clearml
  • DVCLIVE — dvclive를 실험 트래커로 사용
  • SWANLAB — 실험 트래커로 사용하는 swanlab

class accelerate.utils.PrecisionType

< >

( *values )

부동 소수점 값에 사용되는 정밀도의 유형을 나타냅니다

값:

  • 아니요 — 전체 정밀도(FP32) 사용
  • FP16 — 반정밀도 사용
  • BF16 — brain floating point 정밀도 사용

class accelerate.utils.RNGType

< >

( *values )

클래스 accelerate.utils.SageMakerDistributedType

< >

( *values )

분산 환경의 유형을 나타냅니다.

값:

  • NO — 분산 환경이 아닌 단일 프로세스입니다.
  • DATA_PARALLEL — sagemaker 분산 데이터 병렬성 사용.
  • MODEL_PARALLEL — sagemaker 분산 모델 병렬성 사용.

Kwargs

이것은 Accelerate가 내부적으로 처리하는 PyTorch 생태계 전반의 특정 상호작용에 대한 구성 가능한 인자입니다.

class accelerate.AutocastKwargs

< >

( enabled: bool = Truecache_enabled: bool | None = None )

이 객체를 Accelerator에서 사용하여 torch.autocast의 동작 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

class accelerate.DistributedDataParallelKwargs

< >

( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )

이 객체를 Accelerator에 사용하여 모델이 torch.nn.parallel.DistributedDataParallel로 래핑되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 정보는 이 wrapper의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

class accelerate.GradScalerKwargs

< >

( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )

이 객체를 Accelerator에 사용하여 혼합 정밀도의 동작, 특히 사용되는 torch.amp.GradScaler 또는 torch.cuda.amp.GradScaler가 생성되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 scaler의 문서를 참조하세요.

예:

from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])

class accelerate.InitProcessGroupKwargs

< >

( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )

이 객체를 Accelerator에 사용하여 분산 프로세스의 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 메서드의 문서를 참고하세요.

참고: timeout이 None으로 설정된 경우, 기본값은 backend의 설정에 따라 결정됩니다.

from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])

클래스 accelerate.utils.KwargsHandler

< >

( )

dataclass에 to_kwargs() 메서드를 구현하는 내부 mixin입니다.

to_kwargs

< >

( )

이 클래스의 기본값과 값이 다른 속성을 포함하는 사전(dict)을 반환합니다.

플러그인

이들은 Accelerator 객체에 전달할 수 있는 플러그인입니다. 문서의 다른 곳에서 정의되어 있지만, 편의를 위해 여기에서 모두 확인할 수 있습니다:

class accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

매개변수

  • hf_ds_config (Any, 기본값 None) — DeepSpeed 설정 파일의 경로 또는 dict 또는 accelerate.utils.deepspeed.HfDeepSpeedConfig 클래스의 객체.
  • gradient_accumulation_steps (int, 기본값 None) — 옵티마이저 상태를 업데이트하기 전에 그래디언트를 누적할 단계 수입니다. 설정하지 않으면 Accelerator의 값을 그대로 사용합니다.
  • gradient_clipping (float, 기본값 None) — 지정한 값으로 기울기 클리핑을 활성화합니다.
  • zero_stage (int, 기본값 None) — 가능한 값은 0, 1, 2, 3입니다. 기본값은 환경 변수에서 가져옵니다.
  • is_train_batch_min (bool, 기본값 True) — train 및 eval dataloader가 모두 지정된 경우, train_batch_size를 결정합니다.
  • offload_optimizer_device (str, 기본값 None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stages 2와 3에서만 적용됩니다.
  • offload_param_device (str, 기본값 None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • offload_optimizer_nvme_path (str, 기본값 None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • offload_param_nvme_path (str, 기본값 None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • zero3_init_flag (bool, 기본값 None) — 16비트 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다.
  • zero3_save_16bit_model (bool, 기본값 None) — 16-bit 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다.
  • transformer_moe_cls_names (str, 기본값 None) — 대소문자를 구분하는 Transformers MoE 레이어 클래스 이름의 쉼표로 구분된 목록입니다. 예를 들어, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock 등입니다.

이 플러그인은 DeepSpeed를 통합하는 데 사용됩니다.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

kwargs의 값으로 DeepSpeed 구성을 처리합니다.

선택

< >

( _from_accelerator_state: bool = False )

현재 deepspeed 플러그인 구성을 사용하도록 HfDeepSpeedWeakref를 설정합니다

class accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

매개변수

  • fsdp_version (int, 기본값 1) — 사용할 FSDP 버전입니다. 기본값은 1입니다. 2로 설정하면 launcher는 설정이 FSDP2 형식으로 변환되었기를 기대합니다.
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy], 기본값 'FULL_SHARD') — 사용할 샤딩 전략입니다. str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy 인스턴스여야 합니다. reshard_after_forward 사용을 권장하며 비권장(deprecated)되었습니다.
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool], fsdp_version=1의 경우 기본값은 'FULL_SHARD', fsdp_version=2의 경우 기본값은 True) — 사용할 샤딩 전략입니다. fsdp_version이 2로 설정된 경우 bool이어야 하고, 그렇지 않은 경우 str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy의 인스턴스여야 합니다.
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch], 기본값 'NO_PREFETCH') — 사용할 Backward prefetch 전략입니다. str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch 인스턴스여야 합니다.
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], 기본값 None) — FullyShardedDataParallel을 사용하여 혼합 정밀도 훈련을 활성화하기 위한 설정입니다. dict를 전달하는 경우, 다음 키를 가져야 합니다: param_dtype, reduce_dtype, buffer_dtype. fsdp_version이 2로 설정된 경우 torch.distributed.fsdp.MixedPrecisionPolicy의 인스턴스일 수 있습니다. str을 전달하는 경우, 다음 값 중 하나여야 합니다: fp8, fp16, bf16, fp32. 이 값은 param_dtype, reduce_dtype, buffer_dtype를 설정하는 데 사용됩니다.
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], 기본값 False) — 파라미터를 CPU로 오프로드할지 여부입니다. bool 또는 fsdp_version이 2로 설정된 경우 torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload 또는 torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy의 인스턴스여야 합니다.
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]], 기본값 None) — FSDP로 래핑할 때 무시할 모듈 목록입니다. 문자열을 전달하면 정규식 fullmatch를 사용하여 모듈 이름을 기준으로 일치시킵니다. fsdp_version이 2로 설정되어 있으면, 해당 모듈은 파라미터로 변환되어 사용됩니다.
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType], 기본값 'FULL_STATE_DICT') — 사용할 state dict 유형입니다. 문자열인 경우 full_state_dict, local_state_dict, 또는 sharded_state_dict 중 하나여야 합니다.
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], 기본값 None) — 사용할 state dict config입니다. 전달되지 않으면 state_dict_type에 따라 결정됩니다.
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], 기본값 None) — 사용할 Optim state dict config입니다. 전달되지 않으면 state_dict_type에 따라 결정됩니다.
  • limit_all_gathers (bool, 기본값 True) — FSDP가 CPU 스레드를 명시적으로 동기화하여 과도한 in-flight all-gather를 방지할지 여부입니다. 이 bool은 all-gather를 스케줄링하는 sharded 전략에만 영향을 줍니다. 이 옵션을 활성화하면 CUDA malloc 재시도 횟수를 줄이는 데 도움이 될 수 있습니다.
  • use_orig_params (bool, 기본값 False) — 옵티마이저에 원래 파라미터를 사용할지 여부입니다.
  • param_init_fn (Optional[Callable[[torch.nn.Module], None], 기본값 None) — 현재 meta device에 있는 모듈을 실제 device로 초기화하는 방법을 지정하는 Callable[torch.nn.Module] -> None입니다. sync_module_states가 True인 경우에만 적용됩니다. 기본적으로 모듈에 to_empty를 호출하는 lambda입니다.
  • sync_module_states (bool, 기본값 False) — 개별적으로 래핑된 각 FSDP 유닛이 초기화 후 모든 랭크에서 모듈 파라미터가 동일하도록 rank 0에서 모듈 파라미터를 브로드캐스트할지 여부입니다. cpu_ram_efficient_loading이 True인 경우를 제외하고 기본값은 False이며, 이 경우 해당 옵션은 강제로 활성화됩니다.
  • forward_prefetch (bool, 기본값 False) — forward pass 실행 중에 FSDP가 다음 all-gather를 명시적으로 미리 가져오도록 할지 여부입니다. Static graphs와 함께만 사용하세요.
  • activation_checkpointing (bool, 기본값 False) — 일부 레이어의 activations를 해제하고 backward pass 중에 다시 계산하여 메모리 사용량을 줄이는 기법입니다. 즉, 추가적인 계산 시간을 희생하여 메모리 사용량을 줄이는 방식입니다.
  • cpu_ram_efficient_loading (bool, 기본값 None) — True인 경우, 첫 번째 프로세스만 사전 학습된 모델 체크포인트를 로드하고 나머지 모든 프로세스는 빈 가중치를 가집니다. Transformers에만 적용됩니다. 이 옵션을 사용할 때 sync_module_states는 True여야 합니다.
  • transformer_cls_names_to_wrap (Optional[List[str]], 기본값 None) — 래핑할 transformer 레이어 클래스 이름 목록입니다. auto_wrap_policy가 transformer_based_wrap인 경우에만 적용됩니다.
  • min_num_params (Optional[int], 기본값 None) — 래핑될 모듈이 가져야 하는 최소 매개변수 수입니다. auto_wrap_policy가 size_based_wrap인 경우에만 적용됩니다.

이 플러그인은 완전 샤딩 데이터 병렬성을 활성화하는 데 사용됩니다.

set_auto_wrap_policy

< >

( model )

model을 기반으로 전달된 정책에 따라 auto_wrap_policy를 생성하고, transformer_cls_to_wrap를 사용할 수 있는지 확인합니다.

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

FSDP의 혼합 정밀도 정책을 설정합니다

set_state_dict_type

< >

( state_dict_type = None )

StateDictType에 따라 state dict 구성을 설정합니다.

validate_mixed_precision_policy

< >

( )

필요하지 않을 경우 가져오기를 피하기 위해 추상화되어 있는 혼합 정밀도 정책을 검증합니다.

class accelerate.utils.GradientAccumulationPlugin

< >

( num_steps: int = Noneadjust_scheduler: bool = Truesync_with_dataloader: bool = Truesync_each_batch: bool = False )

매개변수

  • num_steps (int) — 그라디언트를 누적할 스텝 수입니다.
  • adjust_scheduler (bool, 선택 사항, 기본값 True) — 스케줄러의 스텝을 누적되는 스텝 수를 고려하도록 조정할지 여부입니다. 사용하는 스케줄러가 그래디언트 축적을 위해 조정되지 않았다면 True여야 합니다.
  • sync_with_dataloader (bool, 선택 사항, 기본값 True) — dataloader의 끝에서 기울기를 설정할 때 동기화할지 여부.
  • sync_each_batch (bool, 선택 사항) — 각 데이터 배치에서 기울기를 설정할 때 동기화할지 여부. 분산 학습에서 기울기 축적을 사용할 때 True로 설정하면 속도가 느려지는 대신 메모리 요구량을 줄일 수 있습니다.

그라디언트 누적 동작을 구성하기 위한 플러그인입니다. Accelerator에는 gradient_accumulation_plugin 또는 gradient_accumulation_steps 중 하나만 전달할 수 있습니다. 둘 다 전달하면 오류가 발생합니다.

예:

from accelerate.utils import GradientAccumulationPlugin

gradient_accumulation_plugin = GradientAccumulationPlugin(num_steps=2)
accelerator = Accelerator(gradient_accumulation_plugin=gradient_accumulation_plugin)

class accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

매개변수

  • tp_degree (int, 기본값 None) — Tensor parallelism degree.
  • pp_degree (int, 기본값 None) — 파이프라인 병렬도입니다.
  • num_micro_batches (int, 기본값 None) — 마이크로 배치의 수.
  • gradient_clipping (float, 기본값 None) — 전역 L2 노름에 기반한 그라디언트 클리핑 값(0이면 비활성화).
  • sequence_parallelism (bool, 기본값 None) — 시퀀스 병렬화를 활성화합니다.
  • recompute_activations (bool, 기본값 None) — 선택적 활성화 재계산을 활성화합니다.
  • use_distributed_optimizer (bool, 기본값 None) — 분산 옵티마이저를 활성화합니다.
  • pipeline_model_parallel_split_rank (int, 기본값 None) — 인코더와 디코더를 분리할 랭크.
  • num_layers_per_virtual_pipeline_stage (int, 기본값 None) — 가상 파이프라인 단계별 레이어 수.
  • is_train_batch_min (str, 기본값 True) — train 및 eval dataloader가 모두 지정된 경우, 이 값이 micro_batch_size를 결정합니다.
  • train_iters (int, 기본값 None) — 모든 학습 실행에 걸쳐 학습할 샘플의 총 개수. MegatronLMDummyScheduler를 사용할 때는 train-iters 또는 train-samples 중 하나를 제공해야 합니다.
  • train_samples (int, 기본값 None) — 모든 학습 실행에 걸쳐 학습할 샘플의 총 개수. MegatronLMDummyScheduler를 사용할 때는 train-iters 또는 train-samples 중 하나를 제공해야 합니다.
  • weight_decay_incr_style (str, 기본값 'constant') — Weight decay 증가 함수. choices=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float, 기본값 None) — L2 정규화를 위한 초기 weight decay 계수.
  • end_weight_decay (float, 기본값 None) — L2 정규화를 위한 실행 종료 시 weight decay 계수입니다.
  • lr_decay_style (str, 기본값 'linear') — 학습률 감쇠 함수. choices=[‘constant’, ‘linear’, ‘cosine’].
  • lr_decay_iters (int, 기본값 None) — 학습률 감쇠를 위한 반복 횟수입니다. None인 경우 기본값은 train_iters입니다.
  • lr_decay_samples (int, 기본값 None) — 학습률 감쇠에 사용할 샘플 수. None인 경우 기본값은 train_samples입니다.
  • lr_warmup_iters (int, 기본값 None) — 학습률을 선형으로 워밍업할 반복 횟수입니다.
  • lr_warmup_samples (int, 기본값 None) — 학습률을 선형으로 워밍업할 샘플 수입니다.
  • lr_warmup_fraction (float, 기본값 None) — 학습률을 선형으로 warmup할 lr-warmup-(iters/samples)의 비율.
  • min_lr (float, 기본값 0) — 학습률의 최소값입니다. 스케줄러는 이 임계값보다 작은 값을 이 값으로 잘라냅니다.
  • consumed_samples (List, 기본값 None) — accelerator.prepare 호출에 전달된 dataloader 순서와 동일한 순서로 소비된 샘플 수입니다.
  • no_wd_decay_cond (Optional, 기본값 None) — weight decay를 비활성화할 조건.
  • scale_lr_cond (Optional, 기본값 None) — 학습률을 스케일링할 조건.
  • lr_mult (float, 기본값 1.0) — 학습률 배율입니다.
  • megatron_dataset_flag (bool, 기본값 False) — 데이터셋의 형식이 Megatron-LM Indexed/Cached/MemoryMapped 형식을 따르는지 여부.
  • seq_length (int, 기본값 None) — 처리할 최대 시퀀스 길이입니다.
  • encoder_seq_length (int, 기본값 None) — 인코더에서 처리할 최대 시퀀스 길이입니다.
  • decoder_seq_length (int, 기본값 None) — 디코더에서 처리할 최대 시퀀스 길이입니다.
  • tensorboard_dir (str, 기본값 None) — tensorboard 로그를 저장할 경로입니다.
  • set_all_logging_options (bool, 기본값 False) — 모든 로깅 옵션을 설정할지 여부.
  • eval_iters (int, 기본값 100) — 평가용 검증/테스트를 실행할 반복 횟수입니다.
  • eval_interval (int, 기본값 1000) — 검증 세트에서 평가를 실행하는 간격입니다.
  • return_logits (bool, 기본값 False) — 모델에서 logits를 반환할지 여부.
  • custom_train_step_class (Optional, 기본값 None) — 사용자 정의 학습 단계 클래스입니다.
  • custom_train_step_kwargs (Optional, 기본값 None) — 사용자 정의 train step kwargs입니다.
  • custom_model_provider_function (Optional, 기본값 None) — 사용자 정의 모델 제공 함수입니다.
  • custom_prepare_model_function (Optional, 기본값 None) — 사용자 정의 prepare model 함수입니다.
  • custom_megatron_datasets_provider_function (Optional, 기본값 None) — 사용자 정의 megatron train_valid_test 데이터셋 제공자 함수입니다.
  • custom_get_batch_function (Optional, 기본값 None) — 사용자 정의 get batch 함수입니다.
  • custom_loss_function (Optional, 기본값 None) — 사용자 정의 손실 함수입니다.
  • other_megatron_args (Optional, 기본값 None) — 다른 Megatron-LM 인자입니다. Megatron-LM 문서를 참조하세요.

tensor, pipeline, sequence 및 data 병렬화를 활성화하는 Megatron-LM용 플러그인입니다. 또한 선택적 activation 재계산 및 최적화된 fused kernel을 활성화합니다.

클래스 accelerate.utils.TorchDynamoPlugin

< >

( backend: DynamoBackend = Nonemode: str = Nonefullgraph: bool = Nonedynamic: bool = Noneoptions: Any = Nonedisable: bool = Falseuse_regional_compilation: bool = None )

매개변수

  • backend (DynamoBackend, 기본값 None) — 유효한 Dynamo 백엔드입니다. 자세한 내용은 https://pytorch.org/docs/stable/torch.compiler.html을 참조하세요.
  • mode (str, 기본값 None) — 가능한 옵션은 ‘default’, ‘reduce-overhead’, ‘max-autotune’입니다.
  • fullgraph (bool, 기본값 None) — 모델을 여러 서브그래프로 나누는 것이 허용되는지 여부입니다.
  • dynamic (bool, 기본값 None) — 트레이싱에 동적 형상을 사용할지 여부입니다.
  • options (Any, 기본값 None) — 백엔드에 전달할 옵션의 사전입니다.
  • disable (bool, 기본값 False) — 테스트를 위해 torch.compile()을 no-op으로 만듭니다
  • use_regional_compilation (bool, 기본값 None) — GPT2LMHeadModel와 같이 동일한 클래스의 반복되는 블록을 대상으로 순차적으로 컴파일하여 컴파일러 캐시를 적중시킴으로써 GPT2Block의 model.transformer.h[0] 접근과 같은 방식으로 torch.compile()의 콜드 스타트 컴파일 시간을 줄이는 데 사용할 수 있습니다. 모델의 나머지 부분(예: model.lm_head)은 별도로 컴파일됩니다.

이 플러그인은 PyTorch 2.0으로 모델을 컴파일하는 데 사용됩니다.

구성

이것은 구성할 수 있으며 적절한 통합으로 전달할 수 있는 클래스입니다

class accelerate.utils.BnbQuantizationConfig

< >

( load_in_8bit: bool = Falsellm_int8_threshold: float = 6.0load_in_4bit: bool = Falsebnb_4bit_quant_type: str = 'fp4'bnb_4bit_use_double_quant: bool = Falsebnb_4bit_compute_dtype: str = 'fp16'torch_dtype: dtype = Noneskip_modules: list[str] = Nonekeep_in_fp32_modules: list[str] = None )

매개변수

  • load_in_8bit (bool, 기본값 False) — 8bit 양자화를 활성화합니다.
  • llm_int8_threshold (float, 기본값 6.0) — Outliner 임계값입니다. load_in_8bit=True일 때만 관련이 있습니다.
  • load_in_4bit (bool, 기본값 False) — 4bit 양자화를 활성화합니다.
  • bnb_4bit_quant_type (str, 기본값 fp4) — bnb.nn.Linear4Bit 레이어의 양자화 데이터 유형을 설정합니다. 선택지는 {‘fp4’,‘np4’}입니다.
  • bnb_4bit_use_double_quant (bool, 기본값 False) — 첫 번째 양자화에서 생성된 양자화 상수를 다시 양자화하는 중첩 양자화를 활성화합니다.
  • bnb_4bit_compute_dtype (bool, 기본값 fp16) — 입력 시점과 다를 수 있는 계산용 데이터 타입을 설정합니다. 예를 들어, 입력은 fp32일 수 있지만 속도를 높이기 위해 계산은 bf16으로 설정할 수 있습니다. 선택지는 {‘fp32’,‘fp16’,‘bf16’}입니다.
  • torch_dtype (torch.dtype, 기본값 None) — 이 값은 양자화되지 않은 나머지 레이어의 dtype을 설정합니다. bitsandbytes 라이브러리는 8비트 모델의 경우 값을 torch.float16으로 설정하고, 4비트 모델의 경우 compute dtype과 동일한 dtype을 사용할 것을 권장합니다.
  • skip_modules (List[str], 기본값 None) — 양자화하지 않을 모듈의 명시적 목록입니다. 이 모듈들의 dtype은 torch_dtype가 됩니다.
  • keep_in_fp32_modules (List, 기본값 None) — 양자화하지 않을 모듈의 명시적 목록입니다. 이 모듈들은 torch.float32로 유지됩니다.

BitsAndBytes 4bit 및 8bit 양자화를 활성화하는 플러그인

class accelerate.DataLoaderConfiguration

< >

( split_batches: bool = Falsedispatch_batches: bool = Noneeven_batches: bool = Trueuse_seedable_sampler: bool = Falsedata_seed: int = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = False )

매개변수

  • split_batches (bool, 기본값 False) — accelerator가 dataloader가 생성하는 배치들을 여러 장치에 걸쳐 나누어 사용할지 여부입니다. True인 경우, 실제 사용되는 배치 크기는 모든 분산 프로세스에서 동일하지만, 사용하는 num_processes의 정수 배여야 합니다. False인 경우, 실제 사용되는 배치 크기는 스크립트에서 설정한 값에 프로세스 수를 곱한 값이 됩니다.
  • dispatch_batches (bool, 기본값 None) — True로 설정하면, Accelerator로 준비된 dataloader는 메인 프로세스에서만 반복되고, 이후 배치들이 분할되어 각 프로세스로 브로드캐스트됩니다. DataLoader의 기본 데이터셋이 IterableDataset인 경우 기본값은 True, 그 외에는 False입니다.
  • even_batches (bool, 기본값 True) — True로 설정하면, 모든 프로세스에 걸친 전체 배치 크기로 데이터셋을 정확히 나누어 떨어지지 않는 경우, 배치의 균등한 분할을 위해 데이터셋의 앞부분 샘플이 중복됩니다.
  • use_seedable_sampler (bool, 기본값 False) — 완전히 시드 설정이 가능한 랜덤 샘플러(data_loader.SeedableRandomSampler)를 사용할지 여부입니다. 다른 샘플링 기법을 사용하여 학습 결과가 완전히 재현 가능하도록 보장합니다. 시드 간 결과에는 차이가 있을 수 있지만, 여러 다른 시드를 사용하여 비교할 경우 평균적으로 차이는 무시할 수 있을 정도로 작습니다. 최적의 결과를 얻으려면 set_seed()와 함께 실행해야 합니다.
  • data_seed (int, 기본값 None) — use_seedable_sampler을 사용할 때 내부 생성기에 사용할 시드입니다. None인 경우 생성기는 torch의 현재 기본 시드를 사용합니다.
  • non_blocking (bool, 기본값 False) — True로 설정하면 Accelerator가 준비한 dataloader는 non-blocking host-to-device 전송을 사용하여 dataloader 통신과 계산 간의 오버랩을 개선할 수 있습니다. 올바르게 작동하려면 준비된 dataloader의 pin_memory가 True로 설정되어 있어야 합니다.
  • use_stateful_dataloader (bool, 기본값 False) — True로 설정하면, Accelerator가 준비한 dataloader는 torchdata.StatefulDataLoader를 기반으로 합니다. 이를 위해 StatefulDataLoader를 지원하는 torchdata 0.8.0 이상 버전이 설치되어 있어야 합니다.

accelerator.prepare를 호출할 때 dataloader 관련 항목에 대한 설정입니다.

클래스 accelerate.utils.ProjectConfiguration

< >

( project_dir: str = Nonelogging_dir: str = Noneautomatic_checkpoint_naming: bool = Falsetotal_limit: int = Noneiteration: int = 0save_on_each_node: bool = False )

매개변수

  • project_dir (str, 기본값 None) — 데이터를 저장할 디렉토리의 경로입니다.
  • logging_dir (str, 기본값 None) — 로컬 호환 로거의 로그를 저장할 디렉토리의 경로입니다. None인 경우 기본값은 project_dir입니다.
  • automatic_checkpoint_naming (bool, 기본값 False) — 저장된 상태를 자동으로 순차적으로 이름 붙일지 여부.
  • total_limit (int, 기본값 None) — 보관할 총 저장 상태의 최대 개수입니다.
  • iteration (int, 기본값 0) — 현재 저장 반복 횟수입니다.
  • save_on_each_node (bool, 기본값 False) — 멀티 노드 분산 학습을 수행할 때, 모델과 체크포인트를 각 노드에 저장할지 아니면 메인 노드에만 저장할지를 결정합니다.

내부 프로젝트의 요구 사항에 기반한 Accelerator 객체의 구성

set_directories

< >

( project_dir: str | None = None )

self.project_dir와 self.logging_dir를 적절한 값으로 설정합니다.

환경 변수

이것은 다양한 사용 사례에 대해 활성화할 수 있는 환경 변수입니다

  • ACCELERATE_DEBUG_MODE (str): accelerate를 디버그 모드로 실행할지 여부. 자세한 내용은 여기에서 확인할 수 있습니다.

데이터 조작 및 연산

여기에는 동일한 torch 연산을 모방하는 데이터 연산이 포함되며, 분산 프로세스에서 사용할 수 있습니다.

accelerate.utils.broadcast

< >

( tensorfrom_process: int = 0 )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 모을 데이터.
  • from_process (int, 선택 사항, 기본값 0) — 데이터를 보낼 프로세스

Recursively broadcast tensor in a nested list/tuple/dictionary of tensors to all devices.

accelerate.utils.broadcast_object_list

< >

( object_listfrom_process: int = 0 )

매개변수

  • object_list (picklable 객체의 list) — 브로드캐스트할 객체의 목록입니다. 이 목록은 inplace로 수정됩니다.
  • from_process (int, 선택 사항, 기본값 0) — 데이터를 보낼 프로세스입니다.

…

accelerate.utils.concatenate

< >

( datadim = 0 )

매개변수

  • data (텐서 목록의 중첩된 리스트/튜플/딕셔너리 torch.Tensor) — 연결할 데이터.
  • dim (int, 선택 사항, 기본값 0) — 연결할 차원.

동일한 shape를 가진 텐서들의 리스트로 이루어진 중첩된 리스트/튜플/딕셔너리의 텐서를 재귀적으로 연결합니다. 데이터가 단일 배치인 경우 그대로 반환됩니다.

accelerate.utils.convert_outputs_to_fp32

< >

( model_forward )

accelerate.utils.convert_to_fp32

< >

( tensor )

매개변수

  • tensor (중첩된 리스트/튜플/딕셔너리, torch.Tensor) — FP16/BF16에서 FP32로 변환할 데이터.

FP16/BF16 정밀도의 텐서로 구성된 중첩된 리스트/튜플/딕셔너리의 요소를 재귀적으로 FP32로 변환합니다.

accelerate.utils.gather

< >

( tensor )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 모을 데이터.

모든 디바이스에서 중첩된 리스트/튜플/딕셔너리 형태의 텐서에서 텐서를 재귀적으로 수집합니다.

accelerate.utils.gather_object

< >

( object: Any )

매개변수

  • object (pickle 가능한 객체의 중첩된 list/tuple/dictionary) — 수집할 데이터.

…

accelerate.utils.get_grad_scaler

< >

( distributed_type: DistributedType = None**kwargs )

매개변수

  • distributed_type (DistributedType, 선택 사항, 기본값 None) — 분산 환경의 유형입니다.
  • kwargs — 사용되는 GradScaler 생성자에 대한 추가 인자.

환경에 따라 올바른 GradScaler 구현을 초기화하고 이를 반환하는 범용 헬퍼입니다.

accelerate.utils.get_mixed_precision_context_manager

< >

( native_amp: bool = Falseautocast_kwargs: AutocastKwargs = None )

매개변수

  • native_amp (bool, 선택 사항, 기본값 False) — 혼합 정밀도가 실제로 활성화되어 있는지 여부.

혼합 정밀도 자동 캐스팅을 위한 컨텍스트 매니저를 반환합니다

accelerate.utils.listify

< >

( data )

매개변수

  • data (torch.Tensor의 중첩 리스트/튜플/딕셔너리) — 일반 숫자로 변환할 데이터.

중첩된 리스트/튜플/딕셔너리 내에서 텐서를 재귀적으로 찾아 숫자 리스트로 변환합니다.

accelerate.utils.pad_across_processes

< >

( tensordim = 0pad_index = 0pad_first = False )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 모을 데이터.
  • dim (int, 선택 사항, 기본값 0) — 패딩을 적용할 차원.
  • pad_index (int, 선택 사항, 기본값 0) — 패딩에 사용할 값.
  • pad_first (bool, 선택 사항, 기본값 False) — 시작 부분에 패딩을 적용할지 끝 부분에 패딩을 적용할지를 결정합니다.

모든 디바이스의 중첩된 리스트/튜플/딕셔너리 내 텐서를 재귀적으로 패딩하여 동일한 크기로 맞춘 후 안전하게 수집할 수 있도록 합니다.

accelerate.utils.recursively_apply

< >

( funcdata*argstest_type = <function is_torch_tensor at 0x7f3a229c4d50>error_on_other_type = False**kwargs )

매개변수

  • func (callable) — 재귀적으로 적용할 함수.
  • data (test_type가 허용하는 객체의 중첩된 리스트/튜플/딕셔너리) — func를 적용할 데이터
  • *args — 압축 해제된 데이터에 func를 적용할 때 func로 전달되는 위치 인자.
  • test_type (Callable[[Any], bool], 선택 사항, 기본값 is_torch_tensor) — func를 주어진 리프 객체에 적용할지 여부를 결정하는 술어입니다.
  • error_on_other_type (bool, 선택 사항, 기본값 False) — data를 언패킹한 후 test_type가 False를 반환하는 객체를 만나면 오류를 반환할지 여부입니다. False인 경우, 함수는 해당 객체를 변경하지 않고 그대로 유지합니다.
  • **kwargs (추가 키워드 인자, 선택 사항) — 패킹이 해제된 데이터에 func를 적용할 때 전달되는 키워드 인자입니다.

…

accelerate.utils.reduce

< >

( tensorreduction = 'mean'scale = 1.0 )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 축소할 데이터.
  • reduction (str, 선택 사항, 기본값 "mean") — 감소 방법입니다. “mean”, “sum”, “max”, “none” 중 하나를 사용할 수 있습니다.
  • scale (float, 선택 사항) — reduce 이후에 적용할 기본 스케일링 값입니다. XLA에서만 유효합니다.

…

accelerate.utils.send_to_device

< >

( tensordevicenon_blocking = Falseskip_keys = None )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 주어진 디바이스로 전송할 데이터.
  • device (torch.device) — 데이터를 전송할 장치.
  • non_blocking (bool, 선택 사항, 기본값 False) — True인 경우, 디바이스로의 전송이 비동기적으로 수행되어 데이터 이동과 계산을 겹칠 수 있습니다. 디바이스가 이를 지원하는 경우에만(예: CUDA) 유효합니다.
  • skip_keys (str 또는 List[str], 선택 사항) — tensor 딕셔너리에서 값이 주어진 device로 전송되지 않아야 하는 키 또는 키 목록입니다. 이 키를 가진 항목은 원래 있던 device에 그대로 유지됩니다.

텐서로 이루어진 중첩된 리스트/튜플/딕셔너리의 요소를 재귀적으로 지정된 장치로 전송합니다.

accelerate.utils.slice_tensors

< >

( datatensor_sliceprocess_index = Nonenum_processes = None )

매개변수

  • data (torch.Tensor의 중첩 리스트/튜플/딕셔너리) — 슬라이싱할 데이터.
  • tensor_slice (slice) — 추출할 슬라이스입니다.

Recursively takes a slice in a nested list/tuple/dictionary of tensors.

환경 확인

이러한 기능은 운영체제 자체에 대한 정보, 운영체제가 지원할 수 있는 항목, 그리고 특정 의존성이 설치되어 있는지 여부와 같은 현재 작업 환경의 상태를 확인합니다.

accelerate.utils.is_bf16_available

< >

( ignore_tpu = False )

bf16이 지원되는지 확인하며, TPU를 선택적으로 무시합니다

accelerate.utils.is_mps_available

< >

( min_version = '1.12' )

MPS 디바이스가 사용 가능한지 확인합니다. 필요한 최소 버전은 1.12입니다.

accelerate.utils.is_npu_available

( check_device = False )

torch_npu가 설치되어 있는지, 그리고 환경에 NPU가 있는지 확인합니다

accelerate.utils.is_torch_version

< >

( operation: strversion: str )

매개변수

  • operation (str) — ">" 또는 "<="와 같은 연산자의 문자열 표현
  • version (str) — PyTorch의 문자열 버전

…

accelerate.utils.is_torch_xla_available

( check_is_tpu = Falsecheck_is_gpu = False )

torch_xla가 사용 가능한지 확인합니다. torch xla가 설치된 환경에서 네이티브 pytorch 작업을 학습하려면 USE_TORCH_XLA를 false로 설정합니다.

accelerate.utils.is_xpu_available

( check_device = False )

stock PyTorch (>=2.7)를 통해 XPU 가속이 사용 가능한지, 그리고 환경에 XPU가 존재하는지 확인합니다

환경 조작

accelerate.utils.patch_environment

< >

( **kwargs )

os.environ에 전달된 각 키워드 인수를 추가하고, 종료 시 제거하는 컨텍스트 매니저입니다.

kwargs의 값을 문자열로 변환하고 모든 키를 대문자로 변환합니다.

예:

>>> import os
>>> from accelerate.utils import patch_environment

>>> with patch_environment(FOO="bar"):
...     print(os.environ["FOO"])  # prints "bar"
>>> print(os.environ["FOO"])  # raises KeyError

accelerate.utils.clear_environment

< >

( )

환경 변수를 일시적으로 지우는 컨텍스트 매니저입니다.

이 컨텍스트를 벗어나면 이전 환경 변수가 복원됩니다.

예:

>>> import os
>>> from accelerate.utils import clear_environment

>>> os.environ["FOO"] = "bar"
>>> with clear_environment():
...     print(os.environ)
...     os.environ["FOO"] = "new_bar"
...     print(os.environ["FOO"])
{}
new_bar

>>> print(os.environ["FOO"])
bar

accelerate.commands.config.default.write_basic_config

< >

( mixed_precision = 'no'save_location: str = '/home/runner/.cache/huggingface/accelerate/default_config.yaml' )

매개변수

  • mixed_precision (str, 선택 사항, 기본값 “no”) — 사용할 Mixed Precision입니다. “no”, “fp16”, “bf16” 중 하나여야 합니다.
  • save_location (str, 선택 사항, 기본값은 default_json_config_file) — 선택적인 사용자 지정 저장 위치입니다. accelerate launch를 사용할 때 --config_file에 전달해야 합니다. 기본 위치는 huggingface 캐시 폴더(~/.cache/huggingface) 내부이지만, HF_HOME 환경 변수를 설정하여 accelerate/default_config.yaml을 덮어쓸 수 있습니다.

로컬 머신에서, 잠재적으로 여러 GPU를 사용하여 사용할 기본 클러스터 구성을 생성하고 저장합니다. CPU 전용 머신인 경우 CPU도 설정합니다.

🤗 Accelerate를 처음 설정할 때, accelerate config 대신 [~utils.write_basic_config]을 사용하여 빠르게 설정할 수 있습니다.

accelerate.utils.set_numa_affinity

( local_process_index: intverbose: bool | None = None )

매개변수

  • local_process_index (int) — 현재 서버에서 현재 프로세스의 인덱스입니다.
  • verbose (bool, 선택 사항) — 각 프로세스에 대한 새로운 CPU 코어 할당을 출력할지 여부입니다. ACCELERATE_DEBUG_MODE가 활성화되어 있으면 기본적으로 True로 설정됩니다.

현재 프로세스를 특정 NUMA 노드에 할당합니다. 각 노드에 CPU가 최소 2개 이상 있을 때 가장 효율적입니다.

이 결과는 호출 사이에 캐시됩니다. 이를 오버라이드하려면 accelerate.utils.environment.override_numa_afifnity를 사용하세요.

accelerate.utils.environment.override_numa_affinity

< >

( local_process_index: intverbose: bool | None = None )

매개변수

  • local_process_index (int) — 현재 서버에서 현재 프로세스의 인덱스입니다.
  • verbose (bool, 선택 사항) — 각 CPU의 할당을 로그로 출력할지 여부입니다. ACCELERATE_DEBUG_MODE가 활성화되어 있으면 기본값은 True입니다.

현재 프로세스에 설정된 NUMA affinity를 무시합니다. 이는 매우 부담이 크며, 설정할 affinity를 다시 계산해야 하므로, 가능하면 utils.environment.set_numa_affinity를 사용하는 것이 좋습니다.

accelerate.utils.purge_accelerate_environment

< >

( func_or_cls )

장식된 클래스 또는 함수가 설정한 accelerate 환경 변수를 정리하는 데코레이터입니다.

일부 상황에서 특정 클래스나 함수를 호출하면 accelerate 환경 변수가 설정된 후 정리되지 않을 수 있습니다. 예를 들어, 다음을 호출할 때:

TrainingArguments(fp16=True, …)

다음 환경 변수가 설정됩니다:

ACCELERATE_MIXED_PRECISION=fp16

이 환경 변수는 TrainingArguments(fp16=False)보다 우선하므로, 후속 코드에 영향을 줄 수 있습니다. 이는 각 테스트가 서로에게 부수 효과를 주지 않도록 해야 하는 단위 테스트에서 특히 중요합니다. 각 테스트가 끝난 후 환경 변수가 정리되도록 보장하려면, 이 데코레이터로 단위 테스트 함수나 전체 클래스를 장식하십시오. 이 데코레이터는 unittest.TestCase와 일반 클래스(pytest) 모두에서 동작하며, 부모 클래스를 장식하는 경우에도 동작합니다.

메모리

accelerate.find_executable_batch_size

< >

( function: callable | None = Nonestarting_batch_size: int = 128reduce_batch_size_fn: callable | None = None )

매개변수

  • function (callable, 선택 사항) — 래핑할 함수
  • starting_batch_size (int, 선택 사항) — 메모리에 적재하기 위해 시도할 배치 크기
  • reduce_batch_size_fn (callable, 선택 사항) — 메모리 부족 오류 발생 후 새로운 배치 크기를 결정하는 함수입니다. 제공되지 않으면 실패할 때마다 배치 크기가 0.9배로 곱해집니다. 이 함수는 인자를 받지 않으며, 새로운(줄어든) 배치 크기를 int로 반환해야 합니다.

function을 실행하려고 시도하는 기본 데코레이터입니다. 메모리 부족 또는 CUDNN과 관련된 예외로 실패하면 배치 크기를 0.9로 곱한 후 function에 전달합니다.

function은 첫 번째 인수로 batch_size 매개변수를 받아야 합니다.

예:

>>> from accelerate.utils import find_executable_batch_size


>>> @find_executable_batch_size(starting_batch_size=128)
... def train(batch_size, model, optimizer):
...     ...


>>> train(model, optimizer)

모델링

이 유틸리티는 PyTorch 모델과 상호 작용하는 것과 관련이 있습니다

accelerate.utils.calculate_maximum_sizes

< >

( model: Module )

모델의 전체 크기와 가장 큰 레이어의 크기를 계산합니다

accelerate.utils.compute_module_sizes

< >

( model: Moduledtype: str | torch.device | None = Nonespecial_dtypes: dict[str, str | torch.device] | None = Nonebuffers_only: bool = False )

주어진 모델의 각 서브모듈의 크기를 계산합니다.

accelerate.utils.extract_model_from_parallel

< >

( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = Truerecursive: bool = False ) → torch.nn.Module

매개변수

  • model (torch.nn.Module) — 추출할 모델.
  • keep_fp32_wrapper (bool, 선택 사항) — 모델에서 혼합 정밀도 훅을 제거할지 여부입니다.
  • keep_torch_compile (bool, 선택 사항) — 컴파일된 모델을 언래핑할지 여부.
  • recursive (bool, 선택 사항, 기본값 False) — model에서 module.module의 모든 인스턴스를 재귀적으로 추출하고, 최상위 분산 컨테이너뿐만 아니라 하위 서브레이어도 재귀적으로 언래핑할지 여부.

반환값

torch.nn.Module

추출된 모델.

…

accelerate.utils.get_balanced_memory

< >

( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.device] | None = Nonelow_zero: bool = False )

매개변수

  • model (torch.nn.Module) — 분석할 모델.
  • max_memory (Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예: max_memory={0: "1GB"}.
  • no_split_module_classes (List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어).
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • special_dtypes (Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다).
  • low_zero (bool, 선택 사항) — GPU 0에 있는 가중치의 수를 최소화합니다. 이는 Transformers의 generate 함수와 같은 다른 작업에 GPU 0을 사용할 때 유용합니다.

사용 가능한 각 GPU의 사용량을 균형 있게 조절하기 위해 infer_auto_device_map()에 사용할 max_memory 사전(dictionary)을 계산합니다.

모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은 init_empty_weights 컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.

accelerate.utils.get_max_layer_size

< >

( modules: list[tuple[str, torch.nn.Module]]module_sizes: dict[str, int]no_split_module_classes: list[str] ) → Tuple[int, List[str]]

매개변수

  • modules (List[Tuple[str, torch.nn.Module]]) — 최대 레이어 크기를 결정하려는 이름이 지정된 모듈 목록입니다.
  • module_sizes (Dict[str, int]) — 각 레이어 이름을 해당 크기(compute_module_sizes로 생성된 값)로 매핑하는 사전입니다.
  • no_split_module_classes (List[str]) — 분할하지 않으려는 레이어의 클래스 이름 목록입니다.

반환값

Tuple[int, List[str]]

해당 최대 크기를 실현하는 레이어 이름 목록을 가진 레이어의 최대 크기.

명명된 모듈 목록을 스캔하여 하나의 완전한 레이어가 사용하는 최대 크기를 반환하는 유틸리티 함수입니다. 여기서 레이어의 정의는 다음과 같습니다:

  • 직접적인 자식 모듈이 없는 모듈(파라미터와 버퍼만 포함)
  • 클래스 이름이 no_split_module_classes 목록에 포함된 모듈

accelerate.infer_auto_device_map

< >

( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.dtype] | None = Noneverbose: bool = Falseclean_result: bool = Trueoffload_buffers: bool = Falsefallback_allocation: bool = False )

매개변수

  • model (torch.nn.Module) — 분석할 모델.
  • max_memory (Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예: max_memory={0: "1GB"}.
  • no_split_module_classes (List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어).
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • special_dtypes (Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다).
  • verbose (bool, 선택 사항, 기본값 False) — device_map을 구성하는 동안 디버깅 문구를 제공할지 여부입니다.
  • clean_result (bool, 선택 사항, 기본값 True) — 같은 디바이스에 배치되는 모든 서브모듈을 그룹화하여 결과 device_map을 정리합니다.
  • offload_buffers (bool, 선택 사항, 기본값 False) — CPU 또는 하드 드라이브로 오프로드되는 레이어에서 파라미터와 함께 버퍼도 오프로드할지 여부.
  • fallback_allocation (bool, 선택 사항, 기본값 False) — 일반 할당이 실패하면 BFS를 사용해 크기 제한에 맞는 모듈을 할당하도록 시도합니다.

GPU에 우선순위를 두고 주어진 모델에 대한 device map을 계산한 다음 CPU로 오프로드하고, 마지막으로 디스크로 오프로드합니다.

  • GPU 중 어느 것의 사용 가능 메모리도 초과하지 않습니다.
  • CPU로의 offload가 필요한 경우, GPU 0에는 항상 CPU에 offload된 레이어 중 가장 큰 크기의 레이어를 다시 올릴 수 있는 여유 공간이 있습니다.
  • CPU로의 offload가 필요한 경우, CPU에서 사용 가능한 RAM을 초과하지 않습니다.
  • 디스크 오프로딩이 필요한 경우에도, 디스크에 오프로드된 레이어 중 가장 큰 크기를 가진 레이어를 CPU로 다시 올릴 수 있는 공간이 항상 남아 있습니다.

모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은 init_empty_weights 컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.

accelerate.load_checkpoint_in_model

< >

( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )

매개변수

  • model (torch.nn.Module) — 체크포인트를 로드하려는 모델입니다.
  • checkpoint (str 또는 os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:
    • 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
    • .json 파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다
    • 유일한 .index.json 파일과 체크포인트의 샤드가 포함된 폴더의 경로
    • 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — device_map에 "disk" 값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다.
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • offload_state_dict (bool, 선택 사항, 기본값 False) — True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.
  • offload_buffers (bool, 선택 사항, 기본값 False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다.
  • keep_in_fp32_modules(List[str], 선택 사항) — torch.float32 dtype로 유지할 모듈 목록입니다.
  • offload_8bit_bnb (bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다.
  • strict (bool, 선택 사항, 기본값 False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다.
  • full_state_dict (bool, 선택 사항, 기본값 True) — 이 값이 True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다.
  • broadcast_from_rank0 (False, 선택 사항, 기본값 False) — 이 옵션이 True인 경우 분산 ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).

모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.

Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().

accelerate.utils.load_offloaded_weights

< >

( modelindexoffload_folder )

매개변수

  • model (torch.nn.Module) — 가중치를 로드할 모델.
  • index (dict) — 모델에서 오프로드된 각 매개변수에 대해 매개변수 이름과 해당 메타데이터를 포함하는 사전입니다.
  • offload_folder (str) — 오프로드된 가중치가 저장되는 폴더입니다.

offload 폴더에서 가중치를 모델로 로드합니다.

accelerate.utils.load_state_dict

< >

( checkpoint_filedevice_map = None )

매개변수

  • checkpoint_file (str) — 로드할 체크포인트의 경로입니다.
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.

… 파일에서 체크포인트를 로드합니다. 체크포인트가 safetensors 형식이고 device map이 전달되면, 가중치를 GPU에 직접 빠르게 로드할 수 있습니다.

accelerate.utils.offload_state_dict

< >

( save_dir: str | os.PathLikestate_dict: dict[str, torch.Tensor] )

매개변수

  • save_dir (str 또는 os.PathLike) — state dict를 offload할 디렉터리입니다.
  • state_dict (Dict[str, torch.Tensor]) — 오프로드할 텐서의 사전입니다.

…

accelerate.utils.retie_parameters

< >

( modeltied_params )

매개변수

  • model (torch.nn.Module) — 파라미터를 다시 연결할 모델.
  • tied_params (List[List[str]]) — find_tied_parameters를 통해 얻은 매핑된 파라미터 이름과 연결된 파라미터 이름입니다.

링크가 끊어진 경우(예: 훅을 추가할 때) 주어진 모델의 연결된 매개변수를 다시 연결합니다.

accelerate.utils.set_module_tensor_to_device

< >

( module: Moduletensor_name: strdevice: int | str | torch.devicevalue: torch.Tensor | None = Nonedtype: str | torch.dtype | None = Nonefp16_statistics: torch.HalfTensor | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = Nonenon_blocking: bool = Falseclear_cache: bool = True )

매개변수

  • module (torch.nn.Module) — 이동하려는 텐서가 포함된 모듈입니다.
  • tensor_name (str) — 파라미터/버퍼의 전체 이름.
  • device (int, str 또는 torch.device) — 텐서를 설정할 장치입니다.
  • value (torch.Tensor, 선택 사항) — 텐서의 값 (meta 디바이스에서 다른 디바이스로 이동할 때 유용합니다).
  • dtype (torch.dtype, 선택 사항) — 값이 전달되면 해당 매개변수의 값은 이 dtype으로 캐스팅됩니다. 그렇지 않으면 value는 모델에 이미 존재하는 매개변수의 dtype으로 캐스팅됩니다.
  • fp16_statistics (torch.HalfTensor, 선택 사항) — 모듈에 설정할 fp16 통계 목록으로, 8비트 모델 직렬화에 사용됩니다.
  • tied_params_map (Dict[int, Dict[torch.device, torch.Tensor]], 선택 사항, 기본값 None) — 현재 데이터 포인터를 디바이스별 이미 디스패치된 tied weights 사전으로 매핑한 맵입니다. 주어진 실행 디바이스에 대해, 이 매개변수는 메모리를 중복하지 않고 해당 디바이스에서 공유된 가중치의 첫 번째 사용 가능한 포인터를 다른 모든 가중치에 재사용하는 데 유용합니다.
  • non_blocking (bool, 선택 사항, 기본값 False) — True인 경우, 가능한 한 호스트에 대해 비동기적으로 디바이스 전송을 수행합니다.
  • clear_cache (bool, 선택 사항, 기본값 True) — 텐서를 디바이스에 설정한 후 디바이스 캐시를 지울지 여부입니다.

모듈의 주어진 텐서(파라미터 또는 버퍼)를 특정 장치에 설정하는 헬퍼 함수입니다(param.to(device)를 실행하면 파라미터에 연결되지 않은 새로운 텐서가 생성되므로 이 함수가 필요합니다).

accelerate.utils.get_module_children_bottom_up

< >

( model: Modulereturn_fqns: bool = False ) → list[torch.nn.Module]

매개변수

  • model (torch.nn.Module) — 자식들을 가져올 모델

반환값

list[torch.nn.Module]

model의 하위 모듈 목록을 하향식 순서로 나열합니다. 마지막 요소는 model 자체입니다.

모델을 하향식(bottom-up) 순서로 탐색하고 해당 순서대로 자식 모듈을 반환합니다.

병렬

이에는 병렬 작업 시 사용해야 하는 일반적인 유틸리티가 포함됩니다.

accelerate.utils.extract_model_from_parallel

< >

( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = Truerecursive: bool = False ) → torch.nn.Module

매개변수

  • model (torch.nn.Module) — 추출할 모델.
  • keep_fp32_wrapper (bool, 선택 사항) — 모델에서 혼합 정밀도 훅을 제거할지 여부입니다.
  • keep_torch_compile (bool, 선택 사항) — 컴파일된 모델을 언래핑할지 여부.
  • recursive (bool, 선택 사항, 기본값 False) — model에서 module.module의 모든 인스턴스를 재귀적으로 추출하고, 최상위 분산 컨테이너뿐만 아니라 하위 서브레이어도 재귀적으로 언래핑할지 여부.

반환값

torch.nn.Module

추출된 모델.

…

accelerate.utils.save

< >

( objfsave_on_each_node: bool = Falsesafe_serialization: bool = False )

매개변수

  • obj — 저장할 데이터
  • f — 데이터를 저장할 파일(또는 파일 유사 객체)
  • save_on_each_node (bool, 선택 사항, 기본값 False) — 글로벌 메인 프로세스에서만 저장할지 여부
  • safe_serialization (bool, 선택 사항, 기본값 False) — obj를 safetensors로 저장할지, 아니면 pickle을 사용하는 전통적인 PyTorch 방식으로 저장할지를 결정합니다.

torch.save() 대신 데이터를 디스크에 저장합니다.

accelerate.utils.load

< >

( fmap_location = None**kwargs )

매개변수

  • f — 데이터를 로드하는 데 사용할 파일(또는 파일 유사 객체)
  • map_location — 스토리지 위치를 어떻게 재매핑할지 지정하는 함수, torch.device, 문자열 또는 dict
  • **kwargs — torch.load()에 전달할 추가 키워드 인자.

torch 버전이 2.4.0 이상인 경우 weights_only를 사용할 수 있는 torch.load()의 호환 가능한 드롭인 대체 함수입니다. 그렇지 않으면 해당 kwarg를 무시합니다.

numpy 배열에 대한 예외도 추가(그리고 제거)합니다

accelerate.utils.wait_for_everyone

< >

( )

Introduces a blocking point in the script, making sure all processes have reached this point before continuing.

모든 프로세스가 이 지시를 도달하도록 확인하십시오. 그렇지 않으면 프로세스 중 하나가 영원히 멈추게 됩니다.

무작위

이 유틸리티는 모든 랜덤 상태를 설정하고 동기화하는 것과 관련이 있습니다.

accelerate.utils.set_seed

< >

( seed: intdevice_specific: bool = Falsedeterministic: bool = False )

매개변수

  • seed (int) — 설정할 시드입니다.
  • device_specific (bool, 선택 사항, 기본값 False) — self.process_index를 사용하여 각 디바이스에서 시드를 약간 다르게 설정할지 여부.
  • deterministic (bool, 선택 사항, 기본값 False) — 사용 가능한 경우 결정론적 알고리즘을 사용할지 여부입니다. 학습 속도가 느려질 수 있습니다.

random, numpy, torch에서 시드를 설정하여 재현 가능한 동작을 보장하는 헬퍼 함수입니다.

accelerate.utils.synchronize_rng_state

< >

( rng_type: str | accelerate.utils.dataclasses.RNGTypegenerator: torch.Generator | None = None )

device type로 식별되는 내장 RNG 또는 현재 accelerator의 RNG를 동기화합니다.

accelerate.synchronize_rng_states

< >

( rng_types: list[str | accelerate.utils.dataclasses.RNGType]generator: torch.Generator | None = None )

PyTorch XLA

여기에는 PyTorch를 XLA와 함께 사용할 때 유용한 유틸리티가 포함되어 있습니다.

accelerate.utils.install_xla

< >

( upgrade: bool = False )

매개변수

  • upgrade (bool, 선택 사항, 기본값 False) — torch를 업그레이드하고 최신 torch_xla 휠을 설치할지 여부.

Google Colaboratory에서 torch 버전에 따라 적절한 xla wheels를 설치하는 헬퍼 함수입니다.

예:

>>> from accelerate.utils import install_xla

>>> install_xla(upgrade=True)

모델 가중치 로드

load_checkpoint과 같은 체크포인트를 로드하는 데 유용한 유틸리티를 포함합니다.

accelerate.load_checkpoint_in_model

< >

( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )

매개변수

  • model (torch.nn.Module) — 체크포인트를 로드하려는 모델입니다.
  • checkpoint (str 또는 os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:
    • 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
    • .json 파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다
    • 유일한 .index.json 파일과 체크포인트의 샤드가 포함된 폴더의 경로
    • 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — device_map에 "disk" 값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다.
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • offload_state_dict (bool, 선택 사항, 기본값 False) — True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.
  • offload_buffers (bool, 선택 사항, 기본값 False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다.
  • keep_in_fp32_modules(List[str], 선택 사항) — torch.float32 dtype로 유지할 모듈 목록입니다.
  • offload_8bit_bnb (bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다.
  • strict (bool, 선택 사항, 기본값 False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다.
  • full_state_dict (bool, 선택 사항, 기본값 True) — 이 값이 True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다.
  • broadcast_from_rank0 (False, 선택 사항, 기본값 False) — 이 옵션이 True인 경우 분산 ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).

모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.

Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().

양자화

quantize 모델에 유용한 유틸리티를 포함합니다.

accelerate.utils.load_and_quantize_model

< >

( model: Modulebnb_quantization_config: BnbQuantizationConfigweights_location: str | os.PathLike | None = Nonedevice_map: dict[str, int | str | torch.device] | None = Noneno_split_module_classes: list[str] | None = Nonemax_memory: dict[int | str, int | str] | None = Noneoffload_folder: str | os.PathLike | None = Noneoffload_state_dict: bool = False ) → torch.nn.Module

매개변수

  • model (torch.nn.Module) — 입력 모델. 모델은 이미 로드되었거나 meta device에 있을 수 있습니다
  • bnb_quantization_config (BnbQuantizationConfig) — bitsandbytes 양자화 매개변수
  • weights_location (str 또는 os.PathLike) — 로드할 weights_location 폴더입니다. 다음 중 하나일 수 있습니다:
    • 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
    • .json 파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다
    • 유일한 .index.json 파일과 체크포인트의 샤드가 포함된 폴더의 경로
    • 고유한 pytorch_model.bin 파일을 포함하는 폴더의 경로
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.
  • no_split_module_classes (List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어).
  • max_memory (Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — device_map에 "disk" 값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다.
  • offload_state_dict (bool, 선택 사항, 기본값 False) — True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.

반환값

torch.nn.Module

양자화된 모델

이 함수는 bnb_quantization_config에 전달된 관련 설정을 사용하여 입력 모델을 양자화합니다. 모델이 meta 디바이스에 있는 경우, 전달된 device_map에 따라 가중치를 로드하고 디스패치합니다. 모델이 이미 로드된 경우, 모델을 양자화하고 GPU에 배치합니다.

Update on GitHub