Accelerate documentation
Kwargs 핸들러
Kwargs 핸들러
다음 객체들은 분산 학습 또는 혼합 정밀도와 관련된 일부 PyTorch 객체가 생성되는 방식을 사용자 정의하기 위해 메인 Accelerator에 전달할 수 있습니다.
AutocastKwargs
class accelerate.AutocastKwargs
< source >( enabled: bool = Truecache_enabled: bool | None = None )
이 객체를 Accelerator에서 사용하여 torch.autocast의 동작 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.
DistributedDataParallelKwargs
class accelerate.DistributedDataParallelKwargs
< source >( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )
이 객체를 Accelerator에 사용하여 모델이 torch.nn.parallel.DistributedDataParallel로 래핑되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 정보는 이 wrapper의 문서를 참고하세요.
ProfileKwargs
class accelerate.ProfileKwargs
< source >( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )
매개변수
- activities (
List[str], 선택 사항, 기본값None) — 프로파일링에 사용할 활동 그룹 목록입니다."cpu","xpu","mtia", “hpu” 또는"cuda"중 하나여야 합니다. - schedule_option (
Dict[str, int], 선택 사항, 기본값None) — 프로파일러에 사용할 스케줄 옵션입니다. 사용 가능한 키는wait,warmup,active,repeat및skip_first입니다. 프로파일러는 처음skip_first스텝을 건너뛰고,wait스텝을 기다린 후, 다음warmup스텝 동안 워밍업을 수행하고, 다음active스텝 동안 활성 기록을 수행한 후,wait스텝으로 시작하여 사이클을 반복합니다. 선택적인 사이클 횟수는repeat파라미터로 지정하며, 0 값은 프로파일링이 완료될 때까지 사이클이 계속됨을 의미합니다. - on_trace_ready (
Callable, 선택 사항, 기본값None) — 프로파일링 중 스케줄이ProfilerAction.RECORD_AND_SAVE를 반환할 때 각 단계에서 호출되는 Callable입니다. - record_shapes (
bool, 선택 사항, 기본값False) — 연산자의 입력 형상 정보를 저장합니다. - profile_memory (
bool, 선택 사항, 기본값False) — 텐서 메모리 할당/해제를 추적합니다. - with_stack (
bool, 선택 사항, 기본값False) — 연산에 대한 소스 정보(파일 및 줄 번호)를 기록합니다. - with_flops (
bool, 선택 사항, 기본값False) — 수식을 사용하여 특정 연산자의 FLOPS를 추정합니다 - with_modules (
bool, 선택 사항, 기본값False) — op의 callstack에 해당하는 모듈 계층 구조(함수 이름 포함)를 기록합니다. - output_trace_dir (
str, 선택 사항, 기본값None) — 수집된 trace를 Chrome JSON 형식으로 내보냅니다. Chrome은 ‘chrome://tracing’을 사용하여 json 파일을 표시합니다. 기본값은 None이며, 이는 프로파일링이 json 파일을 저장하지 않음을 의미합니다.
이 객체를 Accelerator에 사용하여 프로파일러 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.
예:
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs
kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])현재 구성으로 프로파일러 객체를 생성합니다.
GradScalerKwargs
class accelerate.GradScalerKwargs
< source >( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )
이 객체를 Accelerator에 사용하여 혼합 정밀도의 동작, 특히 사용되는 torch.amp.GradScaler 또는 torch.cuda.amp.GradScaler가 생성되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 scaler의 문서를 참조하세요.
InitProcessGroupKwargs
class accelerate.InitProcessGroupKwargs
< source >( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )
이 객체를 Accelerator에 사용하여 분산 프로세스의 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 메서드의 문서를 참고하세요.
참고: timeout이 None으로 설정된 경우, 기본값은 backend의 설정에 따라 결정됩니다.
KwargsHandler
dataclass에 to_kwargs() 메서드를 구현하는 내부 mixin입니다.
이 클래스의 기본값과 값이 다른 속성을 포함하는 사전(dict)을 반환합니다.