Accelerate documentation

Intel Gaudi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Intel Gaudi

Пользователи могут использовать ускорители Intel Gaudi AI для значительно более быстрого и экономичного обучения и вывода моделей. Семейство ускорителей Intel Gaudi AI в настоящее время включает три поколения продуктов: Intel Gaudi 1, Intel Gaudi 2 и Intel Gaudi 3. Каждый сервер оснащён 8 устройствами, известными как Habana Processing Units (HPUs), которые обеспечивают 128 ГБ памяти на Gaudi 3, 96 ГБ на Gaudi 2 и 32 ГБ на Gaudi первого поколения. Дополнительные сведения об архитектуре аппаратной части можно найти в разделе Gaudi Architecture Overview.

Как это работает из коробки

Включается по умолчанию, если обнаружено устройство Intel Gaudi. Чтобы отключить, передайте флаг --cpu в команду accelerate launch или ответьте на соответствующий вопрос при заполнении анкеты accelerate config.

Вы можете напрямую выполнить следующий скрипт, чтобы протестировать его на Intel Gaudi:

accelerate launch /examples/cv_example.py --data_dir images

Ограничения

Следующие функции не входят в состав библиотеки Accelerate и требуют Optimum for Intel Gaudi:

  • fast_ddp, реализующий DDP путём применения all-reduce к градиентам вместо обёртки Torch DDP.
  • minimize_memory, используется для обучения в fp8 и позволяет сохранять веса fp8 в памяти между прямым и обратным проходами, что уменьшает потребление памяти за счёт дополнительных приведений к fp8.
  • context_parallel_size, используемый для Context/Sequence Parallelism (CP/SP), разбивает входные данные сети и активации вдоль размерности последовательности, чтобы уменьшить потребление памяти и повысить пропускную способность.
Update on GitHub