Transformers documentation
Optimum
Bắt đầu
Lớp cơ sở
Mô hình
Bộ tiền xử lý
Suy luận
Pipeline API
Tạo API
Tối ưu hóa
Trò chuyện với các model
Serving
Huấn luyện
Phần cứng
Lượng tử hóa
Tổng quanCác khái niệm về lượng tử hóaChọn một phương pháp OptimumĐóng góp một phương pháp lượng tử hóa
Các tác vụ phổ biến
Lượng tử hóa khi tải
Tải checkpoint đã lượng tử hóa trước
Tích hợp hệ sinh thái
Tài nguyên
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
Optimum
Optimum là thư viện tối ưu hóa hỗ trợ lượng tử hóa cho Intel, Furiosa, ONNX Runtime, GPTQ và các hàm lượng tử hóa PyTorch cấp thấp hơn. Nó được thiết kế để nâng cao hiệu năng cho phần cứng cụ thể - CPU/HPU của Intel, GPU của AMD, NPU của Furiosa, v.v. - và các bộ tăng tốc mô hình như ONNX Runtime.
Update on GitHub