Accelerate documentation
Kwargs işleyicileri
Kwargs işleyicileri
Aşağıdaki nesneler, dağıtık eğitim veya karma hassasiyetle ilgili bazı PyTorch nesnelerinin nasıl oluşturulacağını özelleştirmek için ana Accelerator nesnesine iletilebilir.
AutocastKwargs
sınıf accelerate.AutocastKwargs
< source >( enabled: bool = Truecache_enabled: bool | None = None )
Bu nesneyi Accelerator içinde kullanarak torch.autocast'in nasıl davrandığını özelleştirebilirsiniz. Her bir argüman hakkında daha fazla bilgi için bu bağlam yöneticisinin dokümantasyonuna bakın.
DistributedDataParallelKwargs
sınıf accelerate.DistributedDataParallelKwargs
< source >( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )
Bu nesneyi, modelinizin torch.nn.parallel.DistributedDataParallel ile nasıl sarılacağını özelleştirmek için Accelerator içinde kullanın. Her bir argüman hakkında daha fazla bilgi için bu sarıcının belgelerine bakın.
ProfileKwargs
sınıf accelerate.ProfileKwargs
< source >( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )
Parametreler
- activities (
List[str], isteğe bağlı, varsayılanNone) — Profillemede kullanılacak aktivite gruplarının listesi."cpu","xpu","mtia", “hpu” veya"cuda"değerlerinden biri olmalıdır. - schedule_option (
Dict[str, int], isteğe bağlı, varsayılanNone) — Profilleyici için kullanılacak zamanlama seçeneği. Kullanılabilir anahtarlarwait,warmup,active,repeatveskip_first'tir. Profilleyici ilkskip_firstadımı atlar, ardındanwaitadım bekler, sonrakiwarmupadım için ısınma yapar, sonrakiactiveadım için aktif kayıt yapar ve ardındanwaitadımlarıyla başlayarak döngüyü tekrarlar. İsteğe bağlı döngü sayısırepeatparametresiyle belirtilir; sıfır değeri, döngülerin profillemenin bitene kadar devam edeceği anlamına gelir. - on_trace_ready (
Callable, isteğe bağlı, varsayılanNone) — Profilleme sırasında zamanlamaProfilerAction.RECORD_AND_SAVEdöndürdüğünde her adımda çağrılan Callable. - record_shapes (
bool, isteğe bağlı, varsayılanFalse) — Operatörün girdi şekillerine ilişkin bilgileri kaydeder. - profile_memory (
bool, isteğe bağlı, varsayılanFalse) — Tensör bellek ataması/serbest bırakmasını izler - with_stack (
bool, isteğe bağlı, varsayılanFalse) — Ops'ler için kaynak bilgilerini (dosya ve satır numarası) kaydeder. - with_flops (
bool, isteğe bağlı, varsayılanFalse) — Belirli operatörlerin FLOPS değerini tahmin etmek için formül kullanın - with_modules (
bool, isteğe bağlı, varsayılanFalse) — Op çağrı yığınına (callstack) karşılık gelen modül hiyerarşisini (fonksiyon adları dahil) kaydeder. - output_trace_dir (
str, isteğe bağlı, varsayılanNone) — Toplanan izi Chrome JSON biçiminde dışa aktarır. Chrome, ‘chrome://tracing’ görünümünde json dosyasını kullanır. Varsayılan olarak None'dır; bu, profilleme işleminin json dosyalarını depolamadığı anlamına gelir.
Bu nesneyi, profiler'ın başlatılmasını özelleştirmek için Accelerator içinde kullanın. Her bir argüman hakkında daha fazla bilgi için bu bağlam yöneticisinin belgelerine başvurun.
Örnek:
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs
kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])build
< source >( ) → torch.profiler.profile
Dönüş değeri
torch.profiler.profile
Profilleyici nesnesi.
Mevcut yapılandırmayla bir profiler nesnesi oluşturun.
GradScalerKwargs
sınıf accelerate.GradScalerKwargs
< source >( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )
Bu nesneyi, karma hassasiyet davranışını, özellikle kullanılan torch.amp.GradScaler veya torch.cuda.amp.GradScaler'ın nasıl oluşturulacağını özelleştirmek için Accelerator içinde kullanın. Her argüman hakkında daha fazla bilgi için bu ölçekleyicinin belgelerine bakın.
InitProcessGroupKwargs
sınıf accelerate.InitProcessGroupKwargs
< source >( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )
Dağıtık süreçlerin başlatılmasını özelleştirmek için bu nesneyi Accelerator içinde kullanın. Her bir argüman hakkında daha fazla bilgi için bu yöntemin belgelerine başvurun.
Not: timeout değeri None olarak ayarlanırsa, varsayılan değer backend'in nasıl ayarlandığına göre belirlenir.
KwargsHandler
Bir dataclass için to_kwargs() metodunu uygulayan dahili mixin.
Bu sınıfın varsayılan değerlerinden farklı değerlere sahip öznitelikleri içeren bir sözlük döndürür.