Accelerate documentation
低精度训练方法
低精度训练方法
Accelerate 通过 TransformersEngine 和 torchao 包,提供了在指定支持的硬件上使用低精度方法进行训练的功能。本文档将指导您了解哪些硬件受支持、如何配置 Accelerator 以利用低精度方法,以及训练时可以预期到的效果。
在 FP8 上进行训练意味着什么
若要深入了解使用 PyTorch 和 Accelerate 以 FP8 进行训练的更多细节,请参阅 concept_guide,了解为何这可能颇具挑战。但本质上,与使用 BF16 训练不同,模型训练的某些(或全部)环节可以改用 8 位而非 16 位来执行。其中的难点在于,这样做时不能降低最终性能。
此功能仅在特定的 NVIDIA 硬件上启用,具体包括:
- 3000 系列消费级显卡之后的任何显卡(例如 4090)
- 基于 Hopper 的 GPU 架构(例如
H100和H200)
这将带来内存使用量的减少(因为训练过程中某些部分所需的内存已减半),并且对于可以用支持 FP8 的层替换某些层的大型模型,应该也能看到吞吐量的提升。
配置加速器
目前支持两个积极维护的 FP8 后端(TransformersEngine 和 torchao),它们各自具有不同的功能和配置。
要使用其中任意一种,都采用相同的核心 API。只需在 accelerate config 提示关于混合精度时,或在 config.yaml 文件的 mixed_precision 键中,将 mixed_precision="fp8" 传递给 Accelerator:
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")要指定后端(并自定义 FP8 混合精度配置的其他部分),您可以使用 RecipeKwargs 数据类之一,例如 utils.AORecipeKwargs 或 utils.TERecipeKwargs;您也可以在配置 yaml 中或在 accelerate launch 期间进行说明。对于新项目,我们建议使用 TransformersEngine 或 torchao:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: false配置 TransformersEngine
TransformersEngine 提供了许多选项,用于自定义 FP8 计算的执行方式和内容。完整的受支持参数列表及其含义可在 NVIDIA 的文档中查阅,但为了方便起见,这些参数也作为 FP8KwargsHandler 的文档字符串的一部分进行了说明。
Accelerate 会尝试设置合理的默认值,但自行探索和微调各项参数可能会带来更好的性能。
要使用它,请指定 backend="te",并在你的 kwarg 处理程序中修改所需的任意参数:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)或者在 accelerate launch 期间通过 --fp8_backend=te ... 指定。使用 accelerate launch --fp8_backend=te -h 查看相关参数。
同样,您可以在 config.yaml 中设置:
mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: false配置 torchao
torchao 是一个由 PyTorch 驱动的、可定制的 FP8 后端,旨在比前两个引擎更易于上手。与前面两个引擎相比,ao 的一个核心区别在于:为了数值稳定性,通常建议将模型中的第一个 和 最后一个层保持常规精度(无论是 FP32 还是 BF16),而将其他层量化为 FP8。因此,ao 的配置看起来略有不同:
注意:此 API 处于实验阶段,可能会发生变化
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig
fsdp2_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2,
cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
backend="inductor",
use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
config=fp8_config
)]
accelerator = Accelerator(
mixed_precision="fp8",
fsdp_plugin=fsdp2_plugin,
dynamo_plugin=dynamo_plugin,
kwarg_handlers=kwargs,
)或者在 accelerate launch 期间通过 --fp8_backend=ao ... 进行。使用 accelerate launch --fp8_backend=ao -h 查看相关参数。
同样,也可以在config.yaml中设置:
mixed_precision: fp8
fsdp_config:
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_cpu_ram_efficient_loading: false
fsdp_version: 2
fp8_config:
backend: AO
pad_inner_dim: true
enable_fsdp_float8_all_gather: true
dynamo_config:
dynamo_backend: INDUCTOR
dynamo_use_regional_compilation: true要了解要使用的具体参数,请参阅官方的 torchao 仓库。
示例动物园
我们在 accelerate 仓库中提供了使用 FP8 进行训练的示例,涵盖了 accelerate 及其底层实现。 目前我们支持以下脚本示例:
- 单 GPU
- 分布式数据并行(多 GPU)
- 完全分片数据并行
- DeepSpeed ZeRO 1 至 3
在此处了解更多信息
延伸阅读
要了解有关 FP8 训练的更多信息,请查看以下资源:
- 我们的概念指南,更详细地介绍了 TransformersEngine 和 torchao
transformers-engine文档torchao文档