Accelerate documentation

Kwargs 핸들러

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kwargs 핸들러

다음 객체들은 분산 학습 또는 혼합 정밀도와 관련된 일부 PyTorch 객체가 생성되는 방식을 사용자 정의하기 위해 메인 Accelerator에 전달할 수 있습니다.

AutocastKwargs

class accelerate.AutocastKwargs

< >

( enabled: bool = Truecache_enabled: bool | None = None )

이 객체를 Accelerator에서 사용하여 torch.autocast의 동작 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

DistributedDataParallelKwargs

class accelerate.DistributedDataParallelKwargs

< >

( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )

이 객체를 Accelerator에 사용하여 모델이 torch.nn.parallel.DistributedDataParallel로 래핑되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 정보는 이 wrapper의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

ProfileKwargs

class accelerate.ProfileKwargs

< >

( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )

매개변수

  • activities (List[str], 선택 사항, 기본값 None) — 프로파일링에 사용할 활동 그룹 목록입니다. "cpu", "xpu", "mtia", “hpu” 또는 "cuda" 중 하나여야 합니다.
  • schedule_option (Dict[str, int], 선택 사항, 기본값 None) — 프로파일러에 사용할 스케줄 옵션입니다. 사용 가능한 키는 wait, warmup, active, repeat 및 skip_first입니다. 프로파일러는 처음 skip_first 스텝을 건너뛰고, wait 스텝을 기다린 후, 다음 warmup 스텝 동안 워밍업을 수행하고, 다음 active 스텝 동안 활성 기록을 수행한 후, wait 스텝으로 시작하여 사이클을 반복합니다. 선택적인 사이클 횟수는 repeat 파라미터로 지정하며, 0 값은 프로파일링이 완료될 때까지 사이클이 계속됨을 의미합니다.
  • on_trace_ready (Callable, 선택 사항, 기본값 None) — 프로파일링 중 스케줄이 ProfilerAction.RECORD_AND_SAVE를 반환할 때 각 단계에서 호출되는 Callable입니다.
  • record_shapes (bool, 선택 사항, 기본값 False) — 연산자의 입력 형상 정보를 저장합니다.
  • profile_memory (bool, 선택 사항, 기본값 False) — 텐서 메모리 할당/해제를 추적합니다.
  • with_stack (bool, 선택 사항, 기본값 False) — 연산에 대한 소스 정보(파일 및 줄 번호)를 기록합니다.
  • with_flops (bool, 선택 사항, 기본값 False) — 수식을 사용하여 특정 연산자의 FLOPS를 추정합니다
  • with_modules (bool, 선택 사항, 기본값 False) — op의 callstack에 해당하는 모듈 계층 구조(함수 이름 포함)를 기록합니다.
  • output_trace_dir (str, 선택 사항, 기본값 None) — 수집된 trace를 Chrome JSON 형식으로 내보냅니다. Chrome은 ‘chrome://tracing’을 사용하여 json 파일을 표시합니다. 기본값은 None이며, 이는 프로파일링이 json 파일을 저장하지 않음을 의미합니다.

이 객체를 Accelerator에 사용하여 프로파일러 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])

빌드

< >

( ) → torch.profiler.profile

반환값

torch.profiler.profile

프로파일러 객체.

현재 구성으로 프로파일러 객체를 생성합니다.

GradScalerKwargs

class accelerate.GradScalerKwargs

< >

( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )

이 객체를 Accelerator에 사용하여 혼합 정밀도의 동작, 특히 사용되는 torch.amp.GradScaler 또는 torch.cuda.amp.GradScaler가 생성되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 scaler의 문서를 참조하세요.

예:

from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])

InitProcessGroupKwargs

class accelerate.InitProcessGroupKwargs

< >

( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )

이 객체를 Accelerator에 사용하여 분산 프로세스의 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 메서드의 문서를 참고하세요.

참고: timeout이 None으로 설정된 경우, 기본값은 backend의 설정에 따라 결정됩니다.

from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])

KwargsHandler

클래스 accelerate.utils.KwargsHandler

< >

( )

dataclass에 to_kwargs() 메서드를 구현하는 내부 mixin입니다.

to_kwargs

< >

( )

이 클래스의 기본값과 값이 다른 속성을 포함하는 사전(dict)을 반환합니다.

Update on GitHub