Accelerate documentation
Kwargsハンドラー
Kwargsハンドラー
以下のオブジェクトをメインのAcceleratorに渡すことで、分散学習や混合精度に関連する一部のPyTorchオブジェクトの作成方法をカスタマイズできます。
AutocastKwargs
class accelerate.AutocastKwargs
< source >( enabled: bool = Truecache_enabled: bool | None = None )
このオブジェクトをAcceleratorで使用して、torch.autocastの動作をカスタマイズします。各引数に関する詳細は、このコンテキストマネージャーのドキュメントを参照してください。
DistributedDataParallelKwargs
クラス accelerate.DistributedDataParallelKwargs
< source >( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )
このオブジェクトをAcceleratorで使用して、モデルがtorch.nn.parallel.DistributedDataParallelでラップされる方法をカスタマイズします。各引数に関する詳細は、このwrapperのドキュメントを参照してください。
ProfileKwargs
class accelerate.ProfileKwargs
< source >( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )
パラメータ
- activities (
List[str]、任意、デフォルトはNone) — プロファイリングで使用するアクティビティグループのリストです。"cpu"、"xpu"、"mtia"、“hpu”、または"cuda"のいずれかである必要があります。 - schedule_option (
Dict[str, int]、任意、デフォルトはNone) — プロファイラーに使用するスケジュールオプションです。利用可能なキーはwait、warmup、active、repeat、skip_firstです。プロファイラーは最初のskip_firstステップをスキップし、次にwaitステップ待機し、次のwarmupステップでウォームアップを行い、次のactiveステップでアクティブな記録を行い、その後waitステップからサイクルを繰り返します。サイクルの任意の回数はrepeatパラメータで指定され、値がゼロの場合、プロファイリングが完了するまでサイクルが継続されます。 - on_trace_ready (
Callable、省略可能、デフォルトはNone) — プロファイリング中にスケジュールがProfilerAction.RECORD_AND_SAVEを返すたびに、各ステップで呼び出されるCallableです。 - record_shapes (
bool、任意、デフォルトはFalse) — オペレーターの入力形状に関する情報を保存します。 - profile_memory (
bool、省略可、デフォルトはFalse) — テンソルのメモリ割り当て/解放を追跡します - with_stack (
bool、省略可能、デフォルトはFalse) — オペレーションのソース情報(ファイル名と行番号)を記録します。 - with_flops (
bool、省略可能、デフォルトはFalse) — 特定のオペレータのFLOPSを推定するための数式を使用します - with_modules (
bool、省略可能、デフォルトはFalse) — op のコールスタックに対応するモジュール階層(関数名を含む)を記録します。 - output_trace_dir (
str, 任意、デフォルトはNone) — 収集したトレースを Chrome JSON 形式でエクスポートします。Chrome では ‘chrome://tracing’ で JSON ファイルを表示できます。デフォルトは None で、プロファイリング時に JSON ファイルを保存しないことを意味します。
このオブジェクトをAcceleratorで使用して、プロファイラーの初期化をカスタマイズします。各引数に関する詳細は、このcontext managerのドキュメントを参照してください。
例:
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs
kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])現在の設定でプロファイラーオブジェクトを構築します。
GradScalerKwargs
クラス accelerate.GradScalerKwargs
< source >( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )
このオブジェクトをAcceleratorで使用して、混合精度の動作、特に使用されるtorch.amp.GradScalerまたはtorch.cuda.amp.GradScalerの作成方法をカスタマイズします。各引数に関する詳細は、このscalerのドキュメントを参照してください。
InitProcessGroupKwargs
クラス accelerate.InitProcessGroupKwargs
< source >( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )
このオブジェクトをAcceleratorで使用して、分散プロセスの初期化をカスタマイズします。各引数に関する詳細は、このメソッドのドキュメントを参照してください。
注: timeoutがNoneに設定されている場合、デフォルト値はbackendの設定に基づいて決定されます。
KwargsHandler
to_kwargs()メソッドを実装するdataclass用の内部ミックスインです。
このクラスのデフォルト値と異なる値を持つ属性を格納した辞書を返します。