Accelerate documentation

低精度训练方法

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

低精度训练方法

Accelerate 通过 TransformersEngine 和 torchao 包,提供了在指定支持的硬件上使用低精度方法进行训练的功能。本文档将指导您了解哪些硬件受支持、如何配置 Accelerator 以利用低精度方法,以及训练时可以预期到的效果。

在 FP8 上进行训练意味着什么

若要深入了解使用 PyTorch 和 Accelerate 以 FP8 进行训练的更多细节,请参阅 concept_guide,了解为何这可能颇具挑战。但本质上,与使用 BF16 训练不同,模型训练的某些(或全部)环节可以改用 8 位而非 16 位来执行。其中的难点在于,这样做时不能降低最终性能。

此功能仅在特定的 NVIDIA 硬件上启用,具体包括:

  • 3000 系列消费级显卡之后的任何显卡(例如 4090)
  • 基于 Hopper 的 GPU 架构(例如 H100 和 H200)

这将带来内存使用量的减少(因为训练过程中某些部分所需的内存已减半),并且对于可以用支持 FP8 的层替换某些层的大型模型,应该也能看到吞吐量的提升。

配置加速器

目前支持两个积极维护的 FP8 后端(TransformersEngine 和 torchao),它们各自具有不同的功能和配置。

要使用其中任意一种,都采用相同的核心 API。只需在 accelerate config 提示关于混合精度时,或在 config.yaml 文件的 mixed_precision 键中,将 mixed_precision="fp8" 传递给 Accelerator:

from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")

要指定后端(并自定义 FP8 混合精度配置的其他部分),您可以使用 RecipeKwargs 数据类之一,例如 utils.AORecipeKwargs 或 utils.TERecipeKwargs;您也可以在配置 yaml 中或在 accelerate launch 期间进行说明。对于新项目,我们建议使用 TransformersEngine 或 torchao:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false

配置 TransformersEngine

TransformersEngine 提供了许多选项,用于自定义 FP8 计算的执行方式和内容。完整的受支持参数列表及其含义可在 NVIDIA 的文档中查阅,但为了方便起见,这些参数也作为 FP8KwargsHandler 的文档字符串的一部分进行了说明。

Accelerate 会尝试设置合理的默认值,但自行探索和微调各项参数可能会带来更好的性能。

要使用它,请指定 backend="te",并在你的 kwarg 处理程序中修改所需的任意参数:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)

或者在 accelerate launch 期间通过 --fp8_backend=te ... 指定。使用 accelerate launch --fp8_backend=te -h 查看相关参数。

同样,您可以在 config.yaml 中设置:

mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false

配置 torchao

torchao 是一个由 PyTorch 驱动的、可定制的 FP8 后端,旨在比前两个引擎更易于上手。与前面两个引擎相比,ao 的一个核心区别在于:为了数值稳定性,通常建议将模型中的第一个 和 最后一个层保持常规精度(无论是 FP32 还是 BF16),而将其他层量化为 FP8。因此,ao 的配置看起来略有不同:

注意:此 API 处于实验阶段,可能会发生变化

from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)

或者在 accelerate launch 期间通过 --fp8_backend=ao ... 进行。使用 accelerate launch --fp8_backend=ao -h 查看相关参数。

同样,也可以在config.yaml中设置:

mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true

要了解要使用的具体参数,请参阅官方的 torchao 仓库。

示例动物园

我们在 accelerate 仓库中提供了使用 FP8 进行训练的示例,涵盖了 accelerate 及其底层实现。 目前我们支持以下脚本示例:

  • 单 GPU
  • 分布式数据并行(多 GPU)
  • 完全分片数据并行
  • DeepSpeed ZeRO 1 至 3

在此处了解更多信息

延伸阅读

要了解有关 FP8 训练的更多信息,请查看以下资源:

Update on GitHub