# AQLM

La quantification additive de modèles de langage ([AQLM](https://huggingface.co/papers/2401.06118)) quantifie plusieurs poids ensemble et exploite les interdépendances entre eux. AQLM représente des groupes de 8 à 16 poids sous forme de somme de plusieurs codes vectoriels.

AQLM prend également en charge l’ajustement fin avec [LoRA](https://huggingface.co/docs/peft/package_reference/lora) via la bibliothèque [PEFT](https://huggingface.co/docs/peft), et est entièrement compatible avec [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) pour une inférence et un entraînement encore plus rapides.

Exécutez la commande ci-dessous pour installer la bibliothèque AQLM avec prise en charge des noyaux pour l'inférence et l'entraînement sur GPU et CPU.

```bash
pip install aqlm[gpu,cpu]
```

Charger un modèle quantisé AQLM avec [from_pretrained()](/docs/transformers/v5.23.0/fr/main_classes/model#transformers.PreTrainedModel.from_pretrained).

```python
from transformers import AutoTokenizer, AutoModelForCausalLM

quantized_model = AutoModelForCausalLM.from_pretrained(
    "ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf",
    dtype="auto", 
    device_map="auto"
)
```

## Configurations

Les configurations de quantification AQLM varient principalement en fonction du nombre de codebooks utilisés ainsi que de la taille des codebooks en bits. Les configurations les plus populaires et les noyaux d'inférence pris en charge sont présentés ci-dessous.

| Kernel | Nombre de codebooks | Taille du codebook, bits | Notation | Précision | Accélération     | Inférence GPU rapide | Inférence CPU rapide |
|---|---------------------|---------------------|----------|-------------|-------------|--------------------|--------------------|
| Triton | K                   | N                  | KxN     | -        | Jusqu'à ~0,7x | ✅                  | ❌                  |
| CUDA | 1                   | 16                  | 1x16     | Meilleur        | Jusqu'à ~1,3x | ✅                  | ❌                  |
| CUDA | 2                   | 8                   | 2x8      | OK          | Jusqu'à ~3,0x | ✅                  | ❌                  |
| Numba | K                   | 8                   | Kx8      | Bien        | Jusqu'à ~4,0x | ❌                  | ✅                  |

## Ressources

Exécutez le [notebook](https://colab.research.google.com/drive/1-xZmBRXT5Fm3Ghn4Mwa2KRypORXb855X?usp=sharing) de démonstration AQLM pour plus d'exemples sur la quantification d'un modèle, la publication d'un modèle quantifié sur le Hub, et bien plus encore.

Pour plus de notebooks de démonstration, consultez le [dépôt](https://github.com/Vahe1994/AQLM) AQLM.

