Accelerate documentation
Inferensi Model Besar
Inferensi Model Besar
Salah satu kemajuan terbesar yang diberikan oleh Accelerate adalah Big Model Inference, yang memungkinkan Anda melakukan inferensi dengan model yang tidak sepenuhnya muat di kartu grafis Anda.
Tutorial ini akan menunjukkan cara menggunakan Big Model Inference di Accelerate dan ekosistem Hugging Face.
Accelerate
Alur kerja tipikal untuk memuat model PyTorch ditunjukkan di bawah ini. ModelClass adalah model yang melebihi memori GPU perangkat Anda (mps atau cuda atau xpu).
import torch
my_model = ModelClass(...)
state_dict = torch.load(checkpoint_file)
my_model.load_state_dict(state_dict)Dengan Big Model Inference, langkah pertama adalah menginisiasi kerangka kosong model dengan context manager init_empty_weights. Ini tidak memerlukan memori karena my_model bersifat “tanpa parameter”.
from accelerate import init_empty_weights
with init_empty_weights():
my_model = ModelClass(...)Selanjutnya, bobot dimuat ke dalam model untuk inferensi.
Metode load_checkpoint_and_dispatch() memuat checkpoint di dalam model kosong Anda dan mendistribusikan bobot untuk setiap lapisan ke semua perangkat yang tersedia, dimulai dari perangkat tercepat (GPU, MPS, XPU, NPU, MLU, SDAA, MUSA) sebelum beralih ke perangkat yang lebih lambat (CPU dan hard drive).
Menetapkan device_map="auto" secara otomatis mengisi semua ruang yang tersedia di GPU terlebih dahulu, kemudian CPU, dan akhirnya hard drive (opsi yang paling lambat secara absolut) jika masih tidak cukup memori.
Lihat panduan Merancang peta perangkat untuk detail lebih lanjut tentang cara merancang peta perangkat Anda sendiri.
from accelerate import load_checkpoint_and_dispatch
model = load_checkpoint_and_dispatch(
model, checkpoint=checkpoint_file, device_map="auto"
)Jika ada “chunk” lapisan tertentu yang tidak boleh dipecah, berikan mereka ke no_split_module_classes (lihat di sini untuk detail lebih lanjut).
Bobot model juga dapat dipecah menjadi beberapa checkpoint untuk menghemat memori, misalnya ketika state_dict tidak muat di memori (lihat di sini untuk detail lebih lanjut).
Sekarang model telah sepenuhnya didistribusikan, Anda dapat melakukan inferensi.
input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)Setiap kali input diteruskan melalui sebuah layer, data dikirim dari CPU ke GPU (atau dari disk ke CPU lalu ke GPU), output dihitung, dan layer tersebut dihapus dari GPU untuk kembali turun ke barisan. Meskipun ini menambah sedikit overhead pada inferensi, hal ini memungkinkan Anda menjalankan model berukuran berapa pun di sistem Anda, selama layer terbesar muat di GPU Anda.
Beberapa GPU, atau “model parallelism”, dapat digunakan, tetapi hanya satu GPU yang akan aktif pada satu waktu tertentu. Hal ini memaksa GPU untuk menunggu GPU sebelumnya mengirimkan output-nya. Anda harus menjalankan skrip Anda secara normal dengan Python, bukan dengan alat lain seperti torchrun dan accelerate launch.
Lihat contoh lengkap Inferensi Model Besar di bawah ini.
import torch
from accelerate import init_empty_weights, load_checkpoint_and_dispatch
with init_empty_weights():
model = MyModel(...)
model = load_checkpoint_and_dispatch(
model, checkpoint=checkpoint_file, device_map="auto"
)
input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)Ekosistem Hugging Face
Perpustakaan lain dalam ekosistem Hugging Face, seperti Transformers atau Diffusers, mendukung Big Model Inference di konstruktor from_pretrained mereka.
Anda hanya perlu menambahkan device_map="auto" di from_pretrained untuk mengaktifkan Big Model Inference.
Sebagai contoh, muat model Big Sciences T0pp dengan 11 miliar parameter menggunakan Big Model Inference.
from transformers import AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto")Setelah model dimuat, langkah-langkah init kosong dan smart dispatch dari sebelumnya dieksekusi, dan model sepenuhnya siap untuk memanfaatkan semua sumber daya di mesin Anda. Melalui konstruktor ini, Anda juga dapat menghemat lebih banyak memori dengan menentukan parameter torch_dtype untuk memuat model dalam presisi yang lebih rendah.
from transformers import AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto", torch_dtype=torch.float16)Langkah selanjutnya
Untuk penjelasan yang lebih rinci tentang Big Model Inference, pastikan untuk melihat panduan konseptual!
Update on GitHub