Accelerate documentation

FSDP so với DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP so với DeepSpeed

Accelerate mang lại sự linh hoạt về các framework huấn luyện bằng cách tích hợp hai công cụ cực kỳ mạnh mẽ cho huấn luyện phân tán, cụ thể là Pytorch FSDP và Microsoft DeepSpeed. Mục tiêu của hướng dẫn này là chỉ ra những điểm tương đồng, cũng như phác thảo những khác biệt tiềm năng, nhằm giúp người dùng chuyển đổi liền mạch giữa hai framework này.

Để chuyển đổi giữa các framework, chúng tôi khuyến nghị khởi chạy mã accelerate launch bằng cách truyền vào tệp cấu hình chính xác với --config_file, hoặc truyền trực tiếp các đối số tương ứng cho FSDP và DeepSpeed .

Các cấu hình Accelerate mẫu có thể được tìm thấy tại đây cho DeepSpeed và FSDP, hoặc trong example zoo dưới mục “Launch Configurations”

Hướng dẫn này chỉ dành cho các kịch bản đa GPU trên một nút duy nhất.

Cấu hình các tính năng

Các tensor của model được chia nhỏ sang các GPU khác nhau nhằm mục đích mở rộng kích thước model; điều này được gọi là sharding trong FSDP và partitioning trong DeepSpeed. Các giai đoạn sharding của FSDP và ZeRO (partitioning) của DeepSpeed được cấu hình lần lượt bằng --fsdp_sharding_strategy và --zero_stage. Cụ thể, FULL_SHARD của FSDP tương ứng với giai đoạn 3 của DeepSpeed ZeRO; xem bảng ánh xạ toàn diện giữa các cài đặt sharding của FSDP và ZeRO của DeepSpeed. Bảng bên dưới tóm tắt và nhóm các cài đặt tương tự:

NhómFrameworkCấu hìnhVí dụHạn chế (nếu có)
chia nhỏ / phân vùngFSDP
DeepSpeed
--fsdp_sharding_strategy
--zero_stage
1 (FULL_SHARD)
3
offloadFSDP
DeepSpeed
--fsdp_offload_params
--offload_param_device
--offload_optimizer_device
true
cpu
cpu
tất cả hoặc không có gì

tải modelFSDP
DeepSpeed
--fsdp_cpu_ram_efficient_loading
--zero3_init_flag
true
true

chỉ ZeRO 3
lưu checkpoint hiệu quảFSDP
DeepSpeed
--fsdp_state_dict_type
--zero3_save_16bit_model
SHARDED_STATE_DICT
true

chỉ ZeRO 3
tiên nạp trọng sốFSDP

DeepSpeed
--fsdp_forward_prefetch
--fsdp_backward_prefetch
None
true
BACKWARD_PRE


modelFSDP

DeepSpeed
--fsdp_auto_wrap_policy
--fsdp_transformer_layer_cls_to_wrap
None
TRANSFORMER_BASED_WRAP
<Layer Class>

Thường không cần thiết
Trong suốt với người dùng.
các tham sốFSDP
DeepSpeed
--fsdp_use_orig_params
Không
truebắt buộc cho torch.compile
Trong suốt với người dùng
đồng bộ hóa tham sốFSDP
DeepSpeed
--fsdp_sync_module_states
Không
true
trainingFSDP
DeepSpeed
Không có
--gradient_accumulation_steps
--gradient_clipping

auto
auto
Trong suốt với người dùng

Để có mô tả chi tiết về các nội dung trên, hãy tham khảo tài liệu khởi chạy Accelerate.

Để truy cập các cấu hình DeepSpeed khác, chẳng hạn như cài đặt độ chính xác hỗn hợp, bạn cần truyền vào --deepspeed_config_file, xem tài liệu.

DeepSpeed cũng có thể được cấu hình thông qua DeepSpeedPlugin, ví dụ, DeepSpeedPlugin.zero_stage tương đương với --zero_stage, và DeepSpeedPlugin.hf_ds_config có thể được dùng để truyền --deepeed_config_file.

FSDP cũng có thể được cấu hình thông qua FullyShardedDataParallelPlugin, ví dụ, FullyShardedDataParallelPlugin.sharding_strategy tương đương với --fsdp_sharding_strategy.

Checkpointing

Lưu ý rằng trong khi FSDP có thể được cấu hình thông qua --fsdp_state_dict_type để lưu checkpoint dạng đầy đủ / phân mảnh.

Đối với DeepSpeed Zero3, bạn có thể truyền --zero3_save_16bit_model true, giúp gộp mô hình về một rank duy nhất và lưu lại; đây là tương đương của FSDP với fsdp_state_dict_type: FULL_STATE_DICT.

Đối với các mô hình lớn, việc gộp mô hình về một rank duy nhất có thể rất chậm.

Để checkpoint nhanh hơn, với FSDP hãy dùng fsdp_state_dict_type: SHARDED_STATE_DICT, và với DeepSpeed Zero3 hãy dùng script zero_to_fp32.py để chuyển đổi checkpoint sharded sau khi lưu.

Offloading

FSDP chỉ cho phép offload theo kiểu tất cả hoặc không (tức là hoặc offload tham số, gradient và optimizer, hoặc giữ tất cả trên GPU), nhưng DeepSpeed có thể offload tham số và optimizer theo cách khác nhau. Hơn nữa, DeepSpeed cũng hỗ trợ offload sang NVME.

Tải trước

FSDP cho phép hai cấu hình prefetching --fsdp_forward_prefetch và --fsdp_backward_prefetch để cải thiện sự chồng chéo giữa truyền thông / tính toán, với chi phí là bộ nhớ bổ sung, xem tài liệu FSDP. Đối với DeepSpeed, prefetching sẽ được bật khi cần thiết, và nó được bật dựa trên một số siêu tham số như stage3_param_persistence_threshold, stage3_max_reuse_distance, v.v., có thể được cấu hình cho Zero3; accelerate có thể tự động đặt các siêu tham số này nếu bạn không đặt chúng một cách rõ ràng trong tệp cấu hình deepspeed.

Đối với FSDP, hãy đặt fsdp_backward_prefetch: BACKWARD_PRE để cải thiện thông lượng nếu bộ nhớ cho phép.

Tải Mô hình

Trong khi FSDP yêu cầu một tham số --fsdp_cpu_ram_efficient_loading true rõ ràng để kích hoạt tính năng tải mô hình hiệu quả, transformers sẽ tự động kích hoạt tính năng tương tự mỗi khi sử dụng DeepSpeed Zero3.

Đối với FSDP, mỗi khi đặt --fsdp_cpu_ram_efficient_loading true, accelerate sẽ tự động đặt sync_module_states thành true. Đối với việc nạp trọng số tiết kiệm RAM, trọng số sẽ chỉ được nạp trên một rank duy nhất, do đó cần sync_module_states để phát trực tiếp (broadcast) trọng số đến các rank khác.

Mô hình

FSDP yêu cầu một --fsdp_auto_wrap_policy rõ ràng để thuật toán quyết định cách lên lịch cho các thao tác all-gather và reduce-scatter. Nhưng với DeepSpeed, điều này là trong suốt đối với người dùng.

Đối với FSDP, chỉ cần đặt fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. Với các phiên bản transformers mới nhất, chúng tôi cố gắng hết sức để xác định fsdp_transformer_layer_cls_to_wrap phù hợp cho các mô hình transformers của HF. Tuy nhiên, nếu bạn gặp lỗi liên quan đến điều này, vui lòng chỉ định rõ.

Các tham số Summoning

FSDP yêu cầu cờ --fsdp_use_orig_params rõ ràng nếu sử dụng torch.compile, xem tài liệu pytorch. Đối với DeepSpeed, điều này là trong suốt với người dùng.

Đối với FSDP, khi sử dụng torch.compile vui lòng đặt fsdp_use_orig_params: True.

Huấn luyện

Deepspeed yêu cầu các cờ --gradient_accumulation_steps và --gradient_clipping rõ ràng. Đối với FSDP, điều này là trong suốt với người dùng.

Khi sử dụng DeepSpeed, hãy đặt gradient_accumulation_steps: "auto" và gradient_clipping: "auto" để tự động nhận các giá trị được thiết lập trong Accelerator hoặc TrainingArguments (nếu đang dùng transformers).

Về Sự Khác Biệt Trong Việc Xử Lý Độ Chính Xác Dữ Liệu

Để thảo luận về cách độ chính xác của dữ liệu được xử lý trong cả FSDP và DeepSpeed, trước tiên cần có cái nhìn tổng quan về cách các tham số mô hình được xử lý trong các framework này. Trước khi các tham số mô hình / optimizer được phân phối trên các GPU, quá trình chuẩn bị tham số sẽ diễn ra để “phẳng hóa” chúng thành các torch.Tensor một chiều. Cách triển khai của FSDP / DeepSpeed khác nhau ở điểm dtype mà các tham số “phẳng hóa” này được lưu trữ, và điều này có hệ quả đối với cách torch.Optimizer phân bổ các dtype của chúng. Bảng dưới đây phác thảo quy trình của cả hai framework; cột “Local” chỉ quy trình diễn ra ở cấp độ từng GPU, do đó bất kỳ chi phí bộ nhớ nào do việc tăng độ chính xác (upcasting) nên được hiểu là được phân bổ đều theo số lượng GPU được sử dụng.

Như một quy tắc chung, để huấn luyện ổn định với độ chính xác hỗn hợp tự động, tất cả các tham số có thể huấn luyện phải ở dạng torch.float32.

Quy trìnhCục bộFrameworkChi tiết
Tải mô hình, tức là AutoModel.from_pretrained(..., torch_dtype=torch_dtype)
Chuẩn bị, tức là tạo ra “flat params”✅FSDP
DeepSpeed
được tạo trong torch_dtype.
bỏ qua torch_dtype, được tạo trong float32.
Khởi tạo bộ tối ưu✅FSDP
DeepSpeed
tạo các tham số trong torch_dtype
tạo các tham số trong float32
Bước huấn luyện, tức là, tiến, lùi, giảmFSDP
DeepSpeed
tuân theo MixedPrecision
tuân theo cài đặt mixed precision của deepspeed_config_file.
Trình tối ưu hóa (Trước bước)✅FSDP
DeepSpeed
upcasting (nếu có) lên torch_dtype
được upcast lên float32
Trình tối ưu hóa (Bước thực tế)✅FSDP
DeepSpeed
xảy ra trong torch_dtype
xảy ra trong float32.

Do đó, khi sử dụng DeepSpeed với một số lượng nhỏ GPU, hãy lưu ý đến việc có thể phát sinh chi phí bộ nhớ đáng kể do quá trình chuyển đổi kiểu dữ liệu (upcasting) trong giai đoạn chuẩn bị.

Với FSDP, khi không có độ chính xác hỗn hợp, bạn có thể vận hành torch.Optimizer ở độ chính xác thấp torch_dtype, điều này có thể hữu ích khi sử dụng một số lượng nhỏ GPU.

Với độ chính xác hỗn hợp, FSDP và DeepSpeed sẽ thực hiện upcast ở bước chuẩn bị mô hình (xem bảng ở trên). Tuy nhiên, hãy lưu ý rằng FSDP sẽ lưu checkpoint ở độ chính xác đã được upcast; DeepSpeed vẫn có thể lưu checkpoint ở độ chính xác thấp nếu chỉ định --zero3_save_16bit_model.

Để làm rõ bảng trên, hãy xem các ví dụ cụ thể bên dưới; bước tối ưu hóa trước và bước thực tế được gộp lại cho ngắn gọn. Với FSDP, có thể hoạt động ở hai chế độ được hiển thị bên dưới, nhưng DeepSpeed chỉ có thể hoạt động ở một chế độ.

FrameworkTải mô hình (torch_dtype)Độ chính xác hỗn hợpChuẩn bị (Cục bộ)Huấn luyệnTrình tối ưu (Cục bộ)
FSDPbf16mặc định (không có)bf16bf16bf16
FSDPbf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32
Update on GitHub