Accelerate documentation
FSDP so với DeepSpeed
FSDP so với DeepSpeed
Accelerate mang lại sự linh hoạt về các framework huấn luyện bằng cách tích hợp hai công cụ cực kỳ mạnh mẽ cho huấn luyện phân tán, cụ thể là Pytorch FSDP và Microsoft DeepSpeed. Mục tiêu của hướng dẫn này là chỉ ra những điểm tương đồng, cũng như phác thảo những khác biệt tiềm năng, nhằm giúp người dùng chuyển đổi liền mạch giữa hai framework này.
Để chuyển đổi giữa các framework, chúng tôi khuyến nghị khởi chạy mã
accelerate launchbằng cách truyền vào tệp cấu hình chính xác với--config_file, hoặc truyền trực tiếp các đối số tương ứng cho FSDP và DeepSpeed .Các cấu hình Accelerate mẫu có thể được tìm thấy tại đây cho DeepSpeed và FSDP, hoặc trong example zoo dưới mục “Launch Configurations”
Hướng dẫn này chỉ dành cho các kịch bản đa GPU trên một nút duy nhất.
Cấu hình các tính năng
Các tensor của model được chia nhỏ sang các GPU khác nhau nhằm mục đích mở rộng kích thước model; điều này được gọi là sharding trong FSDP và partitioning trong DeepSpeed. Các giai đoạn sharding của FSDP và ZeRO (partitioning) của DeepSpeed được cấu hình lần lượt bằng --fsdp_sharding_strategy và --zero_stage. Cụ thể, FULL_SHARD của FSDP tương ứng với giai đoạn 3 của DeepSpeed ZeRO; xem bảng ánh xạ toàn diện giữa các cài đặt sharding của FSDP và ZeRO của DeepSpeed. Bảng bên dưới tóm tắt và nhóm các cài đặt tương tự:
| Nhóm | Framework | Cấu hình | Ví dụ | Hạn chế (nếu có) |
|---|---|---|---|---|
| chia nhỏ / phân vùng | FSDP DeepSpeed | --fsdp_sharding_strategy--zero_stage | 1 (FULL_SHARD) 3 | |
| offload | FSDP DeepSpeed | --fsdp_offload_params--offload_param_device--offload_optimizer_device | truecpucpu | tất cả hoặc không có gì |
| tải model | FSDP DeepSpeed | --fsdp_cpu_ram_efficient_loading--zero3_init_flag | truetrue | chỉ ZeRO 3 |
| lưu checkpoint hiệu quả | FSDP DeepSpeed | --fsdp_state_dict_type--zero3_save_16bit_model | SHARDED_STATE_DICTtrue | chỉ ZeRO 3 |
| tiên nạp trọng số | FSDP DeepSpeed | --fsdp_forward_prefetch--fsdp_backward_prefetchNone | trueBACKWARD_PRE | |
| model | FSDP DeepSpeed | --fsdp_auto_wrap_policy--fsdp_transformer_layer_cls_to_wrapNone | TRANSFORMER_BASED_WRAP<Layer Class> | Thường không cần thiết Trong suốt với người dùng. |
| các tham số | FSDP DeepSpeed | --fsdp_use_orig_paramsKhông | true | bắt buộc cho torch.compileTrong suốt với người dùng |
| đồng bộ hóa tham số | FSDP DeepSpeed | --fsdp_sync_module_statesKhông | true | |
| training | FSDP DeepSpeed | Không có--gradient_accumulation_steps--gradient_clipping | autoauto | Trong suốt với người dùng |
Để có mô tả chi tiết về các nội dung trên, hãy tham khảo tài liệu khởi chạy Accelerate.
Để truy cập các cấu hình DeepSpeed khác, chẳng hạn như cài đặt độ chính xác hỗn hợp, bạn cần truyền vào
--deepspeed_config_file, xem tài liệu.DeepSpeed cũng có thể được cấu hình thông qua DeepSpeedPlugin, ví dụ,
DeepSpeedPlugin.zero_stagetương đương với--zero_stage, vàDeepSpeedPlugin.hf_ds_configcó thể được dùng để truyền--deepeed_config_file.
FSDP cũng có thể được cấu hình thông qua FullyShardedDataParallelPlugin, ví dụ,
FullyShardedDataParallelPlugin.sharding_strategytương đương với--fsdp_sharding_strategy.
Checkpointing
Lưu ý rằng trong khi FSDP có thể được cấu hình thông qua --fsdp_state_dict_type để lưu checkpoint dạng đầy đủ / phân mảnh.
Đối với DeepSpeed Zero3, bạn có thể truyền
--zero3_save_16bit_model true, giúp gộp mô hình về một rank duy nhất và lưu lại; đây là tương đương của FSDP vớifsdp_state_dict_type: FULL_STATE_DICT.
Đối với các mô hình lớn, việc gộp mô hình về một rank duy nhất có thể rất chậm.
Để checkpoint nhanh hơn, với FSDP hãy dùng
fsdp_state_dict_type: SHARDED_STATE_DICT, và với DeepSpeed Zero3 hãy dùng scriptzero_to_fp32.pyđể chuyển đổi checkpoint sharded sau khi lưu.
Offloading
FSDP chỉ cho phép offload theo kiểu tất cả hoặc không (tức là hoặc offload tham số, gradient và optimizer, hoặc giữ tất cả trên GPU), nhưng DeepSpeed có thể offload tham số và optimizer theo cách khác nhau. Hơn nữa, DeepSpeed cũng hỗ trợ offload sang NVME.
Tải trước
FSDP cho phép hai cấu hình prefetching --fsdp_forward_prefetch và --fsdp_backward_prefetch để cải thiện sự chồng chéo giữa truyền thông / tính toán, với chi phí là bộ nhớ bổ sung, xem tài liệu FSDP.
Đối với DeepSpeed, prefetching sẽ được bật khi cần thiết, và nó được bật dựa trên một số siêu tham số như stage3_param_persistence_threshold, stage3_max_reuse_distance, v.v., có thể được cấu hình cho Zero3; accelerate có thể tự động đặt các siêu tham số này nếu bạn không đặt chúng một cách rõ ràng trong tệp cấu hình deepspeed.
Đối với FSDP, hãy đặt
fsdp_backward_prefetch: BACKWARD_PREđể cải thiện thông lượng nếu bộ nhớ cho phép.
Tải Mô hình
Trong khi FSDP yêu cầu một tham số --fsdp_cpu_ram_efficient_loading true rõ ràng để kích hoạt tính năng tải mô hình hiệu quả, transformers sẽ tự động kích hoạt tính năng tương tự mỗi khi sử dụng DeepSpeed Zero3.
Đối với FSDP, mỗi khi đặt
--fsdp_cpu_ram_efficient_loading true,acceleratesẽ tự động đặtsync_module_statesthành true. Đối với việc nạp trọng số tiết kiệm RAM, trọng số sẽ chỉ được nạp trên một rank duy nhất, do đó cầnsync_module_statesđể phát trực tiếp (broadcast) trọng số đến các rank khác.
Mô hình
FSDP yêu cầu một --fsdp_auto_wrap_policy rõ ràng để thuật toán quyết định cách lên lịch cho các thao tác all-gather và reduce-scatter. Nhưng với DeepSpeed, điều này là trong suốt đối với người dùng.
Đối với FSDP, chỉ cần đặt
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. Với các phiên bảntransformersmới nhất, chúng tôi cố gắng hết sức để xác địnhfsdp_transformer_layer_cls_to_wrapphù hợp cho các mô hình transformers của HF. Tuy nhiên, nếu bạn gặp lỗi liên quan đến điều này, vui lòng chỉ định rõ.
Các tham số Summoning
FSDP yêu cầu cờ --fsdp_use_orig_params rõ ràng nếu sử dụng torch.compile, xem tài liệu pytorch. Đối với DeepSpeed, điều này là trong suốt với người dùng.
Đối với FSDP, khi sử dụng
torch.compilevui lòng đặtfsdp_use_orig_params: True.
Huấn luyện
Deepspeed yêu cầu các cờ --gradient_accumulation_steps và --gradient_clipping rõ ràng. Đối với FSDP, điều này là trong suốt với người dùng.
Khi sử dụng DeepSpeed, hãy đặt
gradient_accumulation_steps: "auto"vàgradient_clipping: "auto"để tự động nhận các giá trị được thiết lập trong Accelerator hoặcTrainingArguments(nếu đang dùngtransformers).
Về Sự Khác Biệt Trong Việc Xử Lý Độ Chính Xác Dữ Liệu
Để thảo luận về cách độ chính xác của dữ liệu được xử lý trong cả FSDP và DeepSpeed, trước tiên cần có cái nhìn tổng quan về cách các tham số mô hình được xử lý trong các framework này. Trước khi các tham số mô hình / optimizer được phân phối trên các GPU, quá trình chuẩn bị tham số sẽ diễn ra để “phẳng hóa” chúng thành các torch.Tensor một chiều. Cách triển khai của FSDP / DeepSpeed khác nhau ở điểm dtype mà các tham số “phẳng hóa” này được lưu trữ, và điều này có hệ quả đối với cách torch.Optimizer phân bổ các dtype của chúng. Bảng dưới đây phác thảo quy trình của cả hai framework; cột “Local” chỉ quy trình diễn ra ở cấp độ từng GPU, do đó bất kỳ chi phí bộ nhớ nào do việc tăng độ chính xác (upcasting) nên được hiểu là được phân bổ đều theo số lượng GPU được sử dụng.
Như một quy tắc chung, để huấn luyện ổn định với độ chính xác hỗn hợp tự động, tất cả các tham số có thể huấn luyện phải ở dạng
torch.float32.
| Quy trình | Cục bộ | Framework | Chi tiết |
|---|---|---|---|
Tải mô hình, tức là AutoModel.from_pretrained(..., torch_dtype=torch_dtype) | |||
| Chuẩn bị, tức là tạo ra “flat params” | ✅ | FSDP DeepSpeed | được tạo trong torch_dtype.bỏ qua torch_dtype, được tạo trong float32. |
| Khởi tạo bộ tối ưu | ✅ | FSDP DeepSpeed | tạo các tham số trong torch_dtypetạo các tham số trong float32 |
| Bước huấn luyện, tức là, tiến, lùi, giảm | FSDP DeepSpeed | tuân theo MixedPrecisiontuân theo cài đặt mixed precision của deepspeed_config_file. | |
| Trình tối ưu hóa (Trước bước) | ✅ | FSDP DeepSpeed | upcasting (nếu có) lên torch_dtypeđược upcast lên float32 |
| Trình tối ưu hóa (Bước thực tế) | ✅ | FSDP DeepSpeed | xảy ra trong torch_dtype xảy ra trong float32. |
Do đó, khi sử dụng DeepSpeed với một số lượng nhỏ GPU, hãy lưu ý đến việc có thể phát sinh chi phí bộ nhớ đáng kể do quá trình chuyển đổi kiểu dữ liệu (upcasting) trong giai đoạn chuẩn bị.
Với FSDP, khi không có độ chính xác hỗn hợp, bạn có thể vận hành
torch.Optimizerở độ chính xác thấptorch_dtype, điều này có thể hữu ích khi sử dụng một số lượng nhỏ GPU.
Với độ chính xác hỗn hợp, FSDP và DeepSpeed sẽ thực hiện upcast ở bước chuẩn bị mô hình (xem bảng ở trên). Tuy nhiên, hãy lưu ý rằng FSDP sẽ lưu checkpoint ở độ chính xác đã được upcast; DeepSpeed vẫn có thể lưu checkpoint ở độ chính xác thấp nếu chỉ định
--zero3_save_16bit_model.
Để làm rõ bảng trên, hãy xem các ví dụ cụ thể bên dưới; bước tối ưu hóa trước và bước thực tế được gộp lại cho ngắn gọn. Với FSDP, có thể hoạt động ở hai chế độ được hiển thị bên dưới, nhưng DeepSpeed chỉ có thể hoạt động ở một chế độ.
| Framework | Tải mô hình (torch_dtype) | Độ chính xác hỗn hợp | Chuẩn bị (Cục bộ) | Huấn luyện | Trình tối ưu (Cục bộ) |
|---|---|---|---|---|---|
| FSDP | bf16 | mặc định (không có) | bf16 | bf16 | bf16 |
| FSDP | bf16 | bf16 | fp32 | bf16 | fp32 |
| DeepSpeed | bf16 | bf16 | fp32 | bf16 | fp32 |