Accelerate documentation

Kwargs işleyicileri

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kwargs işleyicileri

Aşağıdaki nesneler, dağıtık eğitim veya karma hassasiyetle ilgili bazı PyTorch nesnelerinin nasıl oluşturulacağını özelleştirmek için ana Accelerator nesnesine iletilebilir.

AutocastKwargs

sınıf accelerate.AutocastKwargs

< >

( enabled: bool = Truecache_enabled: bool | None = None )

Bu nesneyi Accelerator içinde kullanarak torch.autocast'in nasıl davrandığını özelleştirebilirsiniz. Her bir argüman hakkında daha fazla bilgi için bu bağlam yöneticisinin dokümantasyonuna bakın.

Örnek:

from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

DistributedDataParallelKwargs

sınıf accelerate.DistributedDataParallelKwargs

< >

( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )

Bu nesneyi, modelinizin torch.nn.parallel.DistributedDataParallel ile nasıl sarılacağını özelleştirmek için Accelerator içinde kullanın. Her bir argüman hakkında daha fazla bilgi için bu sarıcının belgelerine bakın.

Örnek:

from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

ProfileKwargs

sınıf accelerate.ProfileKwargs

< >

( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )

Parametreler

  • activities (List[str], isteğe bağlı, varsayılan None) — Profillemede kullanılacak aktivite gruplarının listesi. "cpu", "xpu", "mtia", “hpu” veya "cuda" değerlerinden biri olmalıdır.
  • schedule_option (Dict[str, int], isteğe bağlı, varsayılan None) — Profilleyici için kullanılacak zamanlama seçeneği. Kullanılabilir anahtarlar wait, warmup, active, repeat ve skip_first'tir. Profilleyici ilk skip_first adımı atlar, ardından wait adım bekler, sonraki warmup adım için ısınma yapar, sonraki active adım için aktif kayıt yapar ve ardından wait adımlarıyla başlayarak döngüyü tekrarlar. İsteğe bağlı döngü sayısı repeat parametresiyle belirtilir; sıfır değeri, döngülerin profillemenin bitene kadar devam edeceği anlamına gelir.
  • on_trace_ready (Callable, isteğe bağlı, varsayılan None) — Profilleme sırasında zamanlama ProfilerAction.RECORD_AND_SAVE döndürdüğünde her adımda çağrılan Callable.
  • record_shapes (bool, isteğe bağlı, varsayılan False) — Operatörün girdi şekillerine ilişkin bilgileri kaydeder.
  • profile_memory (bool, isteğe bağlı, varsayılan False) — Tensör bellek ataması/serbest bırakmasını izler
  • with_stack (bool, isteğe bağlı, varsayılan False) — Ops'ler için kaynak bilgilerini (dosya ve satır numarası) kaydeder.
  • with_flops (bool, isteğe bağlı, varsayılan False) — Belirli operatörlerin FLOPS değerini tahmin etmek için formül kullanın
  • with_modules (bool, isteğe bağlı, varsayılan False) — Op çağrı yığınına (callstack) karşılık gelen modül hiyerarşisini (fonksiyon adları dahil) kaydeder.
  • output_trace_dir (str, isteğe bağlı, varsayılan None) — Toplanan izi Chrome JSON biçiminde dışa aktarır. Chrome, ‘chrome://tracing’ görünümünde json dosyasını kullanır. Varsayılan olarak None'dır; bu, profilleme işleminin json dosyalarını depolamadığı anlamına gelir.

Bu nesneyi, profiler'ın başlatılmasını özelleştirmek için Accelerator içinde kullanın. Her bir argüman hakkında daha fazla bilgi için bu bağlam yöneticisinin belgelerine başvurun.

Örnek:

from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])

build

< >

( ) → torch.profiler.profile

Dönüş değeri

torch.profiler.profile

Profilleyici nesnesi.

Mevcut yapılandırmayla bir profiler nesnesi oluşturun.

GradScalerKwargs

sınıf accelerate.GradScalerKwargs

< >

( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )

Bu nesneyi, karma hassasiyet davranışını, özellikle kullanılan torch.amp.GradScaler veya torch.cuda.amp.GradScaler'ın nasıl oluşturulacağını özelleştirmek için Accelerator içinde kullanın. Her argüman hakkında daha fazla bilgi için bu ölçekleyicinin belgelerine bakın.

Örnek:

from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])

InitProcessGroupKwargs

sınıf accelerate.InitProcessGroupKwargs

< >

( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )

Dağıtık süreçlerin başlatılmasını özelleştirmek için bu nesneyi Accelerator içinde kullanın. Her bir argüman hakkında daha fazla bilgi için bu yöntemin belgelerine başvurun.

Not: timeout değeri None olarak ayarlanırsa, varsayılan değer backend'in nasıl ayarlandığına göre belirlenir.

from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])

KwargsHandler

sınıf accelerate.utils.KwargsHandler

< >

( )

Bir dataclass için to_kwargs() metodunu uygulayan dahili mixin.

to_kwargs

< >

( )

Bu sınıfın varsayılan değerlerinden farklı değerlere sahip öznitelikleri içeren bir sözlük döndürür.

Update on GitHub