Accelerate documentation

Công cụ tiện ích của DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Công cụ tiện ích của DeepSpeed

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

Gây ra

ValueError

  • ValueError — Nếu DeepSpeed không được bật và hàm này được gọi.

Trả về DeepSpeedPlugin đang hoạt động hiện tại.

lớp accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

Tham số

  • hf_ds_config (Any, mặc định là None) — Đường dẫn đến tệp cấu hình DeepSpeed hoặc dict hoặc một đối tượng của lớp accelerate.utils.deepspeed.HfDeepSpeedConfig.
  • gradient_accumulation_steps (int, mặc định là None) — Số bước để tích lũy gradient trước khi cập nhật trạng thái của optimizer. Nếu không được đặt, sẽ sử dụng giá trị từ Accelerator trực tiếp.
  • gradient_clipping (float, mặc định là None) — Bật cắt gradient với giá trị.
  • zero_stage (int, mặc định là None) — Các tùy chọn có thể là 0, 1, 2, 3. Giá trị mặc định sẽ được lấy từ biến môi trường.
  • is_train_batch_min (bool, mặc định là True) — Nếu cả train & eval dataloaders đều được chỉ định, tham số này sẽ quyết định train_batch_size.
  • offload_optimizer_device (str, mặc định là None) — Các tùy chọn khả dụng là none|cpu|nvme. Chỉ áp dụng với ZeRO Stages 2 và 3.
  • offload_param_device (str, mặc định là None) — Các tùy chọn có thể là none|cpu|nvme. Chỉ áp dụng với ZeRO Stage 3.
  • offload_optimizer_nvme_path (str, mặc định là None) — Các tùy chọn có thể là /nvme|/local_nvme. Chỉ áp dụng với ZeRO Stage 3.
  • offload_param_nvme_path (str, mặc định là None) — Các tùy chọn khả dụng là /nvme|/local_nvme. Chỉ áp dụng với ZeRO Stage 3.
  • zero3_init_flag (bool, mặc định là None) — Cờ để chỉ định có lưu mô hình 16-bit hay không. Chỉ áp dụng với ZeRO Stage-3.
  • zero3_save_16bit_model (bool, mặc định là None) — Cờ chỉ định có lưu mô hình 16-bit hay không. Chỉ áp dụng với ZeRO Stage-3.
  • transformer_moe_cls_names (str, mặc định là None) — Danh sách các tên lớp lớp MoE của Transformers, phân tách bằng dấu phẩy (phân biệt hoa thường). Ví dụ, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock, v.v.

Plugin này được sử dụng để tích hợp DeepSpeed.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

Xử lý cấu hình DeepSpeed với các giá trị từ kwargs.

select

< >

( _from_accelerator_state: bool = False )

Đặt HfDeepSpeedWeakref để sử dụng cấu hình deepspeed plugin hiện tại

lớp accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

Tham số

  • optimizer (torch.optim.optimizer.Optimizer) — Optimizer cần bọc.
  • total_num_steps (int, tùy chọn) — Tổng số bước.
  • warmup_num_steps (int, tùy chọn) — Số bước cho quá trình warmup.
  • lr_scheduler_callable (callable, tùy chọn) — Một hàm callable tạo ra LR Scheduler. Nó chỉ nhận một đối số optimizer.
  • **kwargs (các đối số từ khóa bổ sung, tùy chọn) — Các đối số khác.

Dummy scheduler cung cấp các tham số mô hình hoặc các nhóm tham số, chủ yếu được sử dụng để tuân theo vòng lặp huấn luyện thông thường khi cấu hình scheduler được chỉ định trong tệp cấu hình deepspeed.

DeepSpeedEnginerWrapper

lớp accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

Tham số

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — deepspeed engine cần bọc

Bọc nội bộ cho deepspeed.runtime.engine.DeepSpeedEngine. Thành phần này được sử dụng để tuân theo vòng lặp huấn luyện thông thường.

get_global_grad_norm

< >

( )

Lấy chuẩn gradient toàn cục từ DeepSpeed engine.

DeepSpeedOptimizerWrapper

lớp accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

Tham số

  • optimizer (torch.optim.optimizer.Optimizer) — Optimizer cần bọc.

Bọc nội bộ xung quanh một bộ tối ưu hóa deepspeed.

DeepSpeedSchedulerWrapper

lớp accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

Tham số

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — Trình lập lịch cần bọc.
  • optimizers (một hoặc một danh sách torch.optim.Optimizer) —

Bọc nội bộ xung quanh một trình lập lịch deepspeed.

DummyOptim

lớp accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

Tham số

  • lr (float) — Tốc độ học.
  • params (iterable) — iterable của các tham số cần tối ưu hoặc các dict định nghĩa nhóm tham số
  • weight_decay (float) — Hệ số suy giảm trọng số.
  • **kwargs (các đối số từ khóa bổ sung, tùy chọn) — Các đối số khác.

Dummy optimizer cung cấp các tham số mô hình hoặc các nhóm tham số, chủ yếu được sử dụng để tuân theo vòng lặp huấn luyện thông thường khi cấu hình optimizer được chỉ định trong tệp cấu hình deepspeed.

DummyScheduler

Update on GitHub