FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) adalah pustaka perkalian matriks presisi rendah untuk ukuran batch kecil dan mendukung teknik-teknik yang meminimalkan penurunan akurasi, seperti kuantisasi per baris dan kuantisasi yang mempertimbangkan outlier. Dengan FBGEMM, kuantisasi bobot model menjadi 8-bit per kanal dan aktivasi menjadi 8-bit per token (juga dikenal sebagai fp8 atau w8a8).

Anda memerlukan GPU dengan compute capability 9+ seperti H100.

Instal paket FBGEMM_GPU dengan perintah di bawah ini untuk memastikan Anda memiliki versi terbaru.

pip install --upgrade accelerate fbgemm-gpu torch

Jika Anda mengalami masalah instalasi, coba instal rilisan harian.

Buat FbgemmFp8Config dan lewati ke from_pretrained() untuk mengkuantisasi model ke fp8.

from transformers import FbgemmFp8Config, AutoModelForCausalLM

quantization_config = FbgemmFp8Config()
quantized_model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3-8B",
    dtype="auto",
    device_map="auto",
    quantization_config=quantization_config
)

save_pretrained() dan from_pretrained() memungkinkan penyimpanan dan pemuatan model terkuantisasi.

quant_path = "/path/to/save/quantized/model"
quantized_model.save_pretrained(quant_path)
model = AutoModelForCausalLM.from_pretrained(quant_path, device_map="auto")

Sumber daya

Baca artikel blog Membuka sumber FBGEMM untuk inferensi sisi server yang paling mutakhir untuk detail lebih lanjut tentang FBGEMM.