Accelerate documentation
Công cụ tiện ích của DeepSpeed
Công cụ tiện ích của DeepSpeed
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
Gây ra
ValueError
ValueError— Nếu DeepSpeed không được bật và hàm này được gọi.
Trả về DeepSpeedPlugin đang hoạt động hiện tại.
lớp accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
Tham số
- hf_ds_config (
Any, mặc định làNone) — Đường dẫn đến tệp cấu hình DeepSpeed hoặc dict hoặc một đối tượng của lớpaccelerate.utils.deepspeed.HfDeepSpeedConfig. - gradient_accumulation_steps (
int, mặc định làNone) — Số bước để tích lũy gradient trước khi cập nhật trạng thái của optimizer. Nếu không được đặt, sẽ sử dụng giá trị từAcceleratortrực tiếp. - gradient_clipping (
float, mặc định làNone) — Bật cắt gradient với giá trị. - zero_stage (
int, mặc định làNone) — Các tùy chọn có thể là 0, 1, 2, 3. Giá trị mặc định sẽ được lấy từ biến môi trường. - is_train_batch_min (
bool, mặc định làTrue) — Nếu cả train & eval dataloaders đều được chỉ định, tham số này sẽ quyết địnhtrain_batch_size. - offload_optimizer_device (
str, mặc định làNone) — Các tùy chọn khả dụng là none|cpu|nvme. Chỉ áp dụng với ZeRO Stages 2 và 3. - offload_param_device (
str, mặc định làNone) — Các tùy chọn có thể là none|cpu|nvme. Chỉ áp dụng với ZeRO Stage 3. - offload_optimizer_nvme_path (
str, mặc định làNone) — Các tùy chọn có thể là /nvme|/local_nvme. Chỉ áp dụng với ZeRO Stage 3. - offload_param_nvme_path (
str, mặc định làNone) — Các tùy chọn khả dụng là /nvme|/local_nvme. Chỉ áp dụng với ZeRO Stage 3. - zero3_init_flag (
bool, mặc định làNone) — Cờ để chỉ định có lưu mô hình 16-bit hay không. Chỉ áp dụng với ZeRO Stage-3. - zero3_save_16bit_model (
bool, mặc định làNone) — Cờ chỉ định có lưu mô hình 16-bit hay không. Chỉ áp dụng với ZeRO Stage-3. - transformer_moe_cls_names (
str, mặc định làNone) — Danh sách các tên lớp lớp MoE của Transformers, phân tách bằng dấu phẩy (phân biệt hoa thường). Ví dụ,MixtralSparseMoeBlock,Qwen2MoeSparseMoeBlock,JetMoEAttention,JetMoEBlock, v.v.
Plugin này được sử dụng để tích hợp DeepSpeed.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
Xử lý cấu hình DeepSpeed với các giá trị từ kwargs.
Đặt HfDeepSpeedWeakref để sử dụng cấu hình deepspeed plugin hiện tại
lớp accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
Tham số
- optimizer (
torch.optim.optimizer.Optimizer) — Optimizer cần bọc. - total_num_steps (int, tùy chọn) — Tổng số bước.
- warmup_num_steps (int, tùy chọn) — Số bước cho quá trình warmup.
- lr_scheduler_callable (callable, tùy chọn) —
Một hàm callable tạo ra LR Scheduler. Nó chỉ nhận một đối số
optimizer. - **kwargs (các đối số từ khóa bổ sung, tùy chọn) — Các đối số khác.
Dummy scheduler cung cấp các tham số mô hình hoặc các nhóm tham số, chủ yếu được sử dụng để tuân theo vòng lặp huấn luyện thông thường khi cấu hình scheduler được chỉ định trong tệp cấu hình deepspeed.
DeepSpeedEnginerWrapper
lớp accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
Bọc nội bộ cho deepspeed.runtime.engine.DeepSpeedEngine. Thành phần này được sử dụng để tuân theo vòng lặp huấn luyện thông thường.
Lấy chuẩn gradient toàn cục từ DeepSpeed engine.
DeepSpeedOptimizerWrapper
lớp accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
Bọc nội bộ xung quanh một bộ tối ưu hóa deepspeed.
DeepSpeedSchedulerWrapper
lớp accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
Bọc nội bộ xung quanh một trình lập lịch deepspeed.
DummyOptim
lớp accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
Dummy optimizer cung cấp các tham số mô hình hoặc các nhóm tham số, chủ yếu được sử dụng để tuân theo vòng lặp huấn luyện thông thường khi cấu hình optimizer được chỉ định trong tệp cấu hình deepspeed.