Accelerate documentation

Utilitas Fully Sharded Data Parallel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitas Fully Sharded Data Parallel

enable_fsdp_ram_efficient_loading

accelerate.utils.enable_fsdp_ram_efficient_loading

< >

( )

Mengaktifkan pemuatan model Hugging Face yang efisien RAM untuk FSDP di lingkungan.

disable_fsdp_ram_efficient_loading

accelerate.utils.disable_fsdp_ram_efficient_loading

< >

( )

Menonaktifkan pemuatan model Hugging Face yang hemat RAM untuk FSDP di lingkungan.

merge_fsdp_weights

accelerate.utils.merge_fsdp_weights

< >

( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )

Parameter

  • checkpoint_dir (str) β€” Direktori yang berisi checkpoint FSDP (bisa berupa model atau optimizer).
  • output_path (str) β€” Path untuk menyimpan checkpoint yang digabungkan.
  • safe_serialization (bool, opsional, default True) β€” Apakah menyimpan bobot gabungan dengan safetensors (disarankan).
  • remove_checkpoint_dir (bool, opsional, defaultnya False) β€” Apakah akan menghapus direktori checkpoint setelah penggabungan.

Gabungkan bobot dari checkpoint model FSDP yang terpecah menjadi satu checkpoint gabungan. Seharusnya digunakan jika SHARDED_STATE_DICT digunakan untuk model. Bobot akan disimpan ke {output_path}/model.safetensors jika safe_serialization selain itu pytorch_model.bin.

Catatan: ini adalah proses yang terikat pada CPU.

FullyShardedDataParallelPlugin

kelas accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

Parameter

  • fsdp_version (int, defaultnya 1) β€” Versi FSDP yang akan digunakan. Defaultnya 1. Jika diatur ke 2, launcher mengharapkan konfigurasi dikonversi ke format FSDP2.
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy], defaultnya 'FULL_SHARD') β€” Strategi sharding yang akan digunakan. Harus berupa str atau instance dari torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. Sudah tidak disarankan, gunakan reshard_after_forward sebagai gantinya.
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool], defaultnya 'FULL_SHARD' untuk fsdp_version=1 dan True untuk fsdp_version=2) β€” Strategi sharding yang akan digunakan. Harus berupa bool jika fsdp_version diatur ke 2, selain itu harus berupa str atau instance dari torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy.
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch], defaultnya 'NO_PREFETCH') β€” Strategi prefetch backward yang akan digunakan. Harus berupa str atau instance dari torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch.
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], defaultnya None) β€” Konfigurasi untuk mengaktifkan pelatihan presisi campuran dengan FullyShardedDataParallel. Jika Anda melewatkan dict, ia harus memiliki kunci berikut: param_dtype, reduce_dtype, dan buffer_dtype, atau bisa berupa instance dari torch.distributed.fsdp.MixedPrecisionPolicy jika fsdp_version diatur ke 2. Jika Anda melewatkan str, ia harus berupa salah satu nilai berikut: fp8, fp16, bf16, fp32, dan digunakan untuk mengatur param_dtype, reduce_dtype, dan buffer_dtype.
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], defaultnya False) β€” Apakah parameter akan di-offload ke CPU. Harus berupa bool atau instance dari torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload atau torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy jika fsdp_version diatur ke 2.
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]], defaultnya None) β€” Daftar modul yang diabaikan saat membungkus dengan FSDP. Saat meneruskan string, modul akan dicocokkan berdasarkan nama menggunakan regex fullmatch. Jika fsdp_version diatur ke 2, modul dikonversi menjadi parameter dan digunakan.
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType], defaultnya 'FULL_STATE_DICT') β€” Jenis state dict yang akan digunakan. Jika berupa string, nilainya harus salah satu dari full_state_dict, local_state_dict, atau sharded_state_dict.
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], defaultnya None) β€” Konfigurasi state dict yang akan digunakan. Ditentukan berdasarkan state_dict_type jika tidak diberikan.
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], defaultnya None) β€” Konfigurasi optim state dict yang akan digunakan. Ditentukan berdasarkan state_dict_type jika tidak diberikan.
  • limit_all_gathers (bool, defaultnya True) β€” Apakah FSDP akan secara eksplisit menyinkronkan thread CPU untuk mencegah terlalu banyak all-gathers yang sedang berjalan. Bool ini hanya memengaruhi strategi sharded yang menjadwalkan all-gathers. Mengaktifkan ini dapat membantu mengurangi jumlah retry malloc CUDA.
  • use_orig_params (bool, defaultnya False) β€” Apakah akan menggunakan parameter asli untuk optimizer.
  • param_init_fn (Optional[Callable[[torch.nn.Module], None], defaultnya None) β€” Callable[torch.nn.Module] -> None yang menentukan bagaimana modul yang saat ini berada di meta device seharusnya diinisialisasi ke perangkat aktual. Hanya berlaku ketika sync_module_states adalah True. Secara default adalah lambda yang memanggil to_empty pada modul.
  • sync_module_states (bool, defaultnya False) β€” Apakah setiap unit FSDP yang dibungkus secara individual harus melakukan broadcast parameter modul dari rank 0 untuk memastikan mereka sama di semua rank setelah inisialisasi. Defaultnya False kecuali cpu_ram_efficient_loading adalah True, maka akan dipaksa diaktifkan.
  • forward_prefetch (bool, defaultnya False) β€” Apakah FSDP akan secara eksplisit melakukan prefetch untuk all-gather berikutnya yang akan datang saat dieksekusi dalam forward pass. Hanya gunakan dengan Static graphs.
  • activation_checkpointing (bool, defaultnya False) β€” Teknik untuk mengurangi penggunaan memori dengan membersihkan aktivasi dari lapisan tertentu dan menghitungnya ulang selama backward pass. Secara efektif, ini menukar waktu komputasi tambahan dengan penggunaan memori yang lebih rendah.
  • cpu_ram_efficient_loading (bool, defaultnya None) β€” Jika True, hanya proses pertama yang memuat checkpoint model pretrained, sementara semua proses lainnya memiliki bobot kosong. Hanya berlaku untuk Transformers. Saat menggunakan ini, sync_module_states harus True.
  • transformer_cls_names_to_wrap (Optional[List[str]], defaultnya None) β€” Daftar nama kelas lapisan transformer yang akan dibungkus. Hanya berlaku ketika auto_wrap_policy adalah transformer_based_wrap.
  • min_num_params (Optional[int], defaultnya None) β€” Jumlah parameter minimum yang harus dimiliki sebuah modul agar dapat dibungkus. Hanya berlaku ketika auto_wrap_policy adalah size_based_wrap.

Plugin ini digunakan untuk mengaktifkan fully sharded data parallelism.

set_auto_wrap_policy

< >

( model )

Diberikan model, membuat auto_wrap_policy berdasarkan kebijakan yang diberikan dan apakah kita dapat menggunakan transformer_cls_to_wrap

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

Menetapkan kebijakan presisi campuran untuk FSDP

set_state_dict_type

< >

( state_dict_type = None )

Atur konfigurasi state dict berdasarkan StateDictType.

validate_mixed_precision_policy

< >

( )

Memvalidasi kebijakan presisi campuran, yang diabstraksikan agar tidak membawa impor jika tidak diperlukan.

fsdp2_load_full_state_dict

accelerate.utils.fsdp2_load_full_state_dict

< >

( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )

Parameter

  • accelerator (Accelerator) β€” Instans akselerator
  • model (torch.nn.Module) β€” Model untuk memuat state dict, diharapkan berada di meta device atau lonjakan VRAM dapat terjadi
  • full_sd (dict) β€” State dict lengkap untuk dimuat, hanya dapat berada di rank 0
  • cpu_offload (bool, defaultnya False) β€” Jika True, pindahkan parameter yang dipecah (sharded) ke CPU setelah distribusi. Diperlukan ketika FSDP CPU offloading diaktifkan. Buffer dan parameter yang diabaikan tetap berada di perangkat akselerator.

Memuat state dict penuh (mungkin hanya di rank 0) ke dalam model yang di-shard. Hal ini dilakukan dengan melakukan broadcast parameter dari rank 0 ke semua rank lainnya. Fungsi ini memodifikasi model secara in-place.

fsdp2_switch_optimizer_parameters

accelerate.utils.fsdp2_switch_optimizer_parameters

< >

( optimizer: Optimizermapping: dict )

Parameter

  • optimizer (torch.optim.Optimizer) β€” Instance optimizer yang berisi parameter model asli
  • mapping (dict) β€” Pemetaan dari pointer data parameter asli (atau identitas untuk parameter meta) ke parameter yang dipartisi.

Membuang

KeyError

  • KeyError β€” Jika sebuah parameter dalam optimizer tidak dapat diganti ke versi sharded-nya. Hal ini seharusnya tidak pernah terjadi dan menunjukkan adanya bug. Jika kami tetap mempertahankan parameter asli alih-alih melempar error, pelatihan tidak akan benar secara numerik dan bobot tidak akan diperbarui.

Mengganti parameter optimizer menjadi yang baru (parameter terbagi dalam kasus umum). Fungsi ini memodifikasi optimizer secara in-place.

fsdp2_prepare_model

accelerate.utils.fsdp2_prepare_model

< >

( acceleratormodel: Module ) β†’ torch.nn.Module

Parameter

  • accelerator (Accelerator) β€” Instans akselerator
  • model (torch.nn.Module) β€” Model yang akan disiapkan

Mengembalikan

torch.nn.Module

Model yang disiapkan

Menyiapkan model untuk FSDP2 secara in-place. Juga mengembalikan model untuk menghindari penyalahgunaan model asli.

fsdp2_prepare_auto_wrap_policy

Update on GitHub