Accelerate documentation
Intel Gaudi
Intel Gaudi
Пользователи могут использовать ускорители Intel Gaudi AI для значительно более быстрого и экономичного обучения и вывода моделей. Семейство ускорителей Intel Gaudi AI в настоящее время включает три поколения продуктов: Intel Gaudi 1, Intel Gaudi 2 и Intel Gaudi 3. Каждый сервер оснащён 8 устройствами, известными как Habana Processing Units (HPUs), которые обеспечивают 128 ГБ памяти на Gaudi 3, 96 ГБ на Gaudi 2 и 32 ГБ на Gaudi первого поколения. Дополнительные сведения об архитектуре аппаратной части можно найти в разделе Gaudi Architecture Overview.
Как это работает из коробки
Включается по умолчанию, если обнаружено устройство Intel Gaudi.
Чтобы отключить, передайте флаг --cpu в команду accelerate launch или ответьте на соответствующий вопрос при заполнении анкеты accelerate config.
Вы можете напрямую выполнить следующий скрипт, чтобы протестировать его на Intel Gaudi:
accelerate launch /examples/cv_example.py --data_dir images
Ограничения
Следующие функции не входят в состав библиотеки Accelerate и требуют Optimum for Intel Gaudi:
fast_ddp, реализующий DDP путём применения all-reduce к градиентам вместо обёртки Torch DDP.minimize_memory, используется для обучения в fp8 и позволяет сохранять веса fp8 в памяти между прямым и обратным проходами, что уменьшает потребление памяти за счёт дополнительных приведений к fp8.context_parallel_size, используемый для Context/Sequence Parallelism (CP/SP), разбивает входные данные сети и активации вдоль размерности последовательности, чтобы уменьшить потребление памяти и повысить пропускную способность.