Accelerate documentation
Utilitas Fully Sharded Data Parallel
Utilitas Fully Sharded Data Parallel
enable_fsdp_ram_efficient_loading
Mengaktifkan pemuatan model Hugging Face yang efisien RAM untuk FSDP di lingkungan.
disable_fsdp_ram_efficient_loading
Menonaktifkan pemuatan model Hugging Face yang hemat RAM untuk FSDP di lingkungan.
merge_fsdp_weights
accelerate.utils.merge_fsdp_weights
< source >( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )
Parameter
- checkpoint_dir (
str) β Direktori yang berisi checkpoint FSDP (bisa berupa model atau optimizer). - output_path (
str) β Path untuk menyimpan checkpoint yang digabungkan. - safe_serialization (
bool, opsional, defaultTrue) β Apakah menyimpan bobot gabungan dengan safetensors (disarankan). - remove_checkpoint_dir (
bool, opsional, defaultnyaFalse) β Apakah akan menghapus direktori checkpoint setelah penggabungan.
Gabungkan bobot dari checkpoint model FSDP yang terpecah menjadi satu checkpoint gabungan. Seharusnya digunakan jika SHARDED_STATE_DICT digunakan untuk model. Bobot akan disimpan ke {output_path}/model.safetensors jika safe_serialization selain itu pytorch_model.bin.
Catatan: ini adalah proses yang terikat pada CPU.
FullyShardedDataParallelPlugin
kelas accelerate.FullyShardedDataParallelPlugin
< source >( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )
Parameter
- fsdp_version (
int, defaultnya1) β Versi FSDP yang akan digunakan. Defaultnya 1. Jika diatur ke 2, launcher mengharapkan konfigurasi dikonversi ke format FSDP2. - sharding_strategy (
Union[str, torch.distributed.fsdp.ShardingStrategy], defaultnya'FULL_SHARD') β Strategi sharding yang akan digunakan. Harus berupastratau instance daritorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. Sudah tidak disarankan, gunakanreshard_after_forwardsebagai gantinya. - reshard_after_forward (
Union[str, torch.distributed.fsdp.ShardingStrategy, bool], defaultnya'FULL_SHARD'untukfsdp_version=1danTrueuntukfsdp_version=2) β Strategi sharding yang akan digunakan. Harus berupa bool jikafsdp_versiondiatur ke 2, selain itu harus berupastratau instance daritorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. - backward_prefetch (
Union[str, torch.distributed.fsdp.BackwardPrefetch], defaultnya'NO_PREFETCH') β Strategi prefetch backward yang akan digunakan. Harus berupastratau instance daritorch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch. - mixed_precision_policy (
Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], defaultnyaNone) β Konfigurasi untuk mengaktifkan pelatihan presisi campuran dengan FullyShardedDataParallel. Jika Anda melewatkandict, ia harus memiliki kunci berikut:param_dtype,reduce_dtype, danbuffer_dtype, atau bisa berupa instance daritorch.distributed.fsdp.MixedPrecisionPolicyjikafsdp_versiondiatur ke 2. Jika Anda melewatkanstr, ia harus berupa salah satu nilai berikut: fp8, fp16, bf16, fp32, dan digunakan untuk mengaturparam_dtype,reduce_dtype, danbuffer_dtype. - auto_wrap_policy (
Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults toNO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one oftransformer_based_wrap,size_based_wrap, orno_wrap. Seetorch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like. - cpu_offload (
Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], defaultnyaFalse) β Apakah parameter akan di-offload ke CPU. Harus berupaboolatau instance daritorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadatautorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicyjikafsdp_versiondiatur ke 2. - ignored_modules (
Optional[Union[Iterable[torch.nn.Module], str]], defaultnyaNone) β Daftar modul yang diabaikan saat membungkus dengan FSDP. Saat meneruskan string, modul akan dicocokkan berdasarkan nama menggunakan regex fullmatch. Jikafsdp_versiondiatur ke 2, modul dikonversi menjadi parameter dan digunakan. - state_dict_type (
Union[str, torch.distributed.fsdp.StateDictType], defaultnya'FULL_STATE_DICT') β Jenis state dict yang akan digunakan. Jika berupa string, nilainya harus salah satu darifull_state_dict,local_state_dict, atausharded_state_dict. - state_dict_config (
Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], defaultnyaNone) β Konfigurasi state dict yang akan digunakan. Ditentukan berdasarkanstate_dict_typejika tidak diberikan. - optim_state_dict_config (
Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], defaultnyaNone) β Konfigurasi optim state dict yang akan digunakan. Ditentukan berdasarkanstate_dict_typejika tidak diberikan. - limit_all_gathers (
bool, defaultnyaTrue) β Apakah FSDP akan secara eksplisit menyinkronkan thread CPU untuk mencegah terlalu banyak all-gathers yang sedang berjalan. Bool ini hanya memengaruhi strategi sharded yang menjadwalkan all-gathers. Mengaktifkan ini dapat membantu mengurangi jumlah retry malloc CUDA. - use_orig_params (
bool, defaultnyaFalse) β Apakah akan menggunakan parameter asli untuk optimizer. - param_init_fn (
Optional[Callable[[torch.nn.Module], None], defaultnyaNone) βCallable[torch.nn.Module] -> Noneyang menentukan bagaimana modul yang saat ini berada di meta device seharusnya diinisialisasi ke perangkat aktual. Hanya berlaku ketikasync_module_statesadalahTrue. Secara default adalahlambdayang memanggilto_emptypada modul. - sync_module_states (
bool, defaultnyaFalse) β Apakah setiap unit FSDP yang dibungkus secara individual harus melakukan broadcast parameter modul dari rank 0 untuk memastikan mereka sama di semua rank setelah inisialisasi. DefaultnyaFalsekecualicpu_ram_efficient_loadingadalahTrue, maka akan dipaksa diaktifkan. - forward_prefetch (
bool, defaultnyaFalse) β Apakah FSDP akan secara eksplisit melakukan prefetch untuk all-gather berikutnya yang akan datang saat dieksekusi dalam forward pass. Hanya gunakan dengan Static graphs. - activation_checkpointing (
bool, defaultnyaFalse) β Teknik untuk mengurangi penggunaan memori dengan membersihkan aktivasi dari lapisan tertentu dan menghitungnya ulang selama backward pass. Secara efektif, ini menukar waktu komputasi tambahan dengan penggunaan memori yang lebih rendah. - cpu_ram_efficient_loading (
bool, defaultnyaNone) β Jika True, hanya proses pertama yang memuat checkpoint model pretrained, sementara semua proses lainnya memiliki bobot kosong. Hanya berlaku untuk Transformers. Saat menggunakan ini,sync_module_statesharusTrue. - transformer_cls_names_to_wrap (
Optional[List[str]], defaultnyaNone) β Daftar nama kelas lapisan transformer yang akan dibungkus. Hanya berlaku ketikaauto_wrap_policyadalahtransformer_based_wrap. - min_num_params (
Optional[int], defaultnyaNone) β Jumlah parameter minimum yang harus dimiliki sebuah modul agar dapat dibungkus. Hanya berlaku ketikaauto_wrap_policyadalahsize_based_wrap.
Plugin ini digunakan untuk mengaktifkan fully sharded data parallelism.
Diberikan model, membuat auto_wrap_policy berdasarkan kebijakan yang diberikan dan apakah kita dapat menggunakan transformer_cls_to_wrap
Menetapkan kebijakan presisi campuran untuk FSDP
Atur konfigurasi state dict berdasarkan StateDictType.
Memvalidasi kebijakan presisi campuran, yang diabstraksikan agar tidak membawa impor jika tidak diperlukan.
fsdp2_load_full_state_dict
accelerate.utils.fsdp2_load_full_state_dict
< source >( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )
Parameter
- accelerator (
Accelerator) β Instans akselerator - model (
torch.nn.Module) β Model untuk memuat state dict, diharapkan berada di meta device atau lonjakan VRAM dapat terjadi - full_sd (
dict) β State dict lengkap untuk dimuat, hanya dapat berada di rank 0 - cpu_offload (
bool, defaultnyaFalse) β Jika True, pindahkan parameter yang dipecah (sharded) ke CPU setelah distribusi. Diperlukan ketika FSDP CPU offloading diaktifkan. Buffer dan parameter yang diabaikan tetap berada di perangkat akselerator.
Memuat state dict penuh (mungkin hanya di rank 0) ke dalam model yang di-shard. Hal ini dilakukan dengan melakukan broadcast parameter dari rank 0 ke semua rank lainnya. Fungsi ini memodifikasi model secara in-place.
fsdp2_switch_optimizer_parameters
accelerate.utils.fsdp2_switch_optimizer_parameters
< source >( optimizer: Optimizermapping: dict )
Parameter
- optimizer (
torch.optim.Optimizer) β Instance optimizer yang berisi parameter model asli - mapping (
dict) β Pemetaan dari pointer data parameter asli (atau identitas untuk parameter meta) ke parameter yang dipartisi.
Membuang
KeyError
KeyErrorβ Jika sebuah parameter dalam optimizer tidak dapat diganti ke versi sharded-nya. Hal ini seharusnya tidak pernah terjadi dan menunjukkan adanya bug. Jika kami tetap mempertahankan parameter asli alih-alih melempar error, pelatihan tidak akan benar secara numerik dan bobot tidak akan diperbarui.
Mengganti parameter optimizer menjadi yang baru (parameter terbagi dalam kasus umum). Fungsi ini memodifikasi optimizer secara in-place.
fsdp2_prepare_model
accelerate.utils.fsdp2_prepare_model
< source >( acceleratormodel: Module ) β torch.nn.Module
Menyiapkan model untuk FSDP2 secara in-place. Juga mengembalikan model untuk menghindari penyalahgunaan model asli.