Accelerate documentation

Kwargsハンドラー

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kwargsハンドラー

以下のオブジェクトをメインのAcceleratorに渡すことで、分散学習や混合精度に関連する一部のPyTorchオブジェクトの作成方法をカスタマイズできます。

AutocastKwargs

class accelerate.AutocastKwargs

< >

( enabled: bool = Truecache_enabled: bool | None = None )

このオブジェクトをAcceleratorで使用して、torch.autocastの動作をカスタマイズします。各引数に関する詳細は、このコンテキストマネージャーのドキュメントを参照してください。

例:

from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

DistributedDataParallelKwargs

クラス accelerate.DistributedDataParallelKwargs

< >

( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )

このオブジェクトをAcceleratorで使用して、モデルがtorch.nn.parallel.DistributedDataParallelでラップされる方法をカスタマイズします。各引数に関する詳細は、このwrapperのドキュメントを参照してください。

例:

from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

ProfileKwargs

class accelerate.ProfileKwargs

< >

( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )

パラメータ

  • activities (List[str]、任意、デフォルトは None) — プロファイリングで使用するアクティビティグループのリストです。"cpu"、"xpu"、"mtia"、“hpu”、または "cuda" のいずれかである必要があります。
  • schedule_option (Dict[str, int]、任意、デフォルトはNone) — プロファイラーに使用するスケジュールオプションです。利用可能なキーはwait、warmup、active、repeat、skip_firstです。プロファイラーは最初のskip_firstステップをスキップし、次にwaitステップ待機し、次のwarmupステップでウォームアップを行い、次のactiveステップでアクティブな記録を行い、その後waitステップからサイクルを繰り返します。サイクルの任意の回数はrepeatパラメータで指定され、値がゼロの場合、プロファイリングが完了するまでサイクルが継続されます。
  • on_trace_ready (Callable、省略可能、デフォルトはNone) — プロファイリング中にスケジュールがProfilerAction.RECORD_AND_SAVEを返すたびに、各ステップで呼び出されるCallableです。
  • record_shapes (bool、任意、デフォルトはFalse) — オペレーターの入力形状に関する情報を保存します。
  • profile_memory (bool、省略可、デフォルトはFalse) — テンソルのメモリ割り当て/解放を追跡します
  • with_stack (bool、省略可能、デフォルトはFalse) — オペレーションのソース情報(ファイル名と行番号)を記録します。
  • with_flops (bool、省略可能、デフォルトはFalse) — 特定のオペレータのFLOPSを推定するための数式を使用します
  • with_modules (bool、省略可能、デフォルトはFalse) — op のコールスタックに対応するモジュール階層(関数名を含む)を記録します。
  • output_trace_dir (str, 任意、デフォルトはNone) — 収集したトレースを Chrome JSON 形式でエクスポートします。Chrome では ‘chrome://tracing’ で JSON ファイルを表示できます。デフォルトは None で、プロファイリング時に JSON ファイルを保存しないことを意味します。

このオブジェクトをAcceleratorで使用して、プロファイラーの初期化をカスタマイズします。各引数に関する詳細は、このcontext managerのドキュメントを参照してください。

例:

from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])

ビルド

< >

( ) → torch.profiler.profile

戻り値

torch.profiler.profile

プロファイラーオブジェクト。

現在の設定でプロファイラーオブジェクトを構築します。

GradScalerKwargs

クラス accelerate.GradScalerKwargs

< >

( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )

このオブジェクトをAcceleratorで使用して、混合精度の動作、特に使用されるtorch.amp.GradScalerまたはtorch.cuda.amp.GradScalerの作成方法をカスタマイズします。各引数に関する詳細は、このscalerのドキュメントを参照してください。

例:

from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])

InitProcessGroupKwargs

クラス accelerate.InitProcessGroupKwargs

< >

( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )

このオブジェクトをAcceleratorで使用して、分散プロセスの初期化をカスタマイズします。各引数に関する詳細は、このメソッドのドキュメントを参照してください。

注: timeoutがNoneに設定されている場合、デフォルト値はbackendの設定に基づいて決定されます。

from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])

KwargsHandler

クラス accelerate.utils.KwargsHandler

< >

( )

to_kwargs()メソッドを実装するdataclass用の内部ミックスインです。

to_kwargs

< >

( )

このクラスのデフォルト値と異なる値を持つ属性を格納した辞書を返します。

Update on GitHub