BOFT

Orthogonal Butterfly (BOFT) est une méthode générique conçue pour l’ajustement fin des modèles de fondation. Elle améliore l’efficacité paramétrique du paradigme d’ajustement fin — Orthogonal Finetuning (OFT) — en s’inspirant de la transformée de Fourier rapide de Cooley-Tukey, et obtient des résultats favorables lors de l’ajustement fin de différents modèles de fondation, y compris de grands vision transformers, de grands modèles de langage et des modèles de diffusion texte-vers-image.

L'abstract de l'article est :

Les grands modèles de fondation sont devenus omniprésents, mais les entraîner à partir de zéro est prohibitivement coûteux. Ainsi, adapter efficacement ces modèles puissants à des tâches en aval est de plus en plus important. Dans cet article, nous étudions un paradigme d’ajustement fin (finetuning) fondé sur des principes — l’ajustement fin orthogonal (Orthogonal Finetuning, OFT) — pour l’adaptation à des tâches en aval. Malgré une bonne généralisabilité, OFT utilise encore un nombre relativement élevé de paramètres entraînables en raison de la haute dimensionnalité des matrices orthogonales. Pour y remédier, nous commençons par examiner OFT sous l’angle de la transmission d’information, puis nous identifions quelques exigences clés permettant une meilleure efficacité en paramètres. Inspirés par la façon dont l’algorithme de transformée de Fourier rapide de Cooley-Tukey permet une transmission d’information efficace, nous proposons une paramétrisation orthogonale efficace utilisant des structures en papillon (butterfly). Nous appliquons cette paramétrisation à OFT, créant ainsi une nouvelle méthode d’ajustement fin efficace en paramètres, appelée Orthogonal Butterfly (BOFT). En subsumant OFT comme cas particulier, BOFT introduit un cadre généralisé d’ajustement fin orthogonal. Enfin, nous menons une étude empirique approfondie de l’adaptation de grands transformeurs visuels, de grands modèles de langage et de modèles de diffusion texte-vers-image à diverses tâches en aval en vision et en langage.

BOFT se concentre sur la préservation des capacités génératives d'un modèle pré-entraîné tout en étant nettement plus efficace en termes de paramètres que le OFT standard. Comme OFT, BOFT maintient la même similarité cosinus (hyperspherical energy) entre toutes les paires de neurones d'une couche en appliquant une transformation orthogonale à la matrice de poids pré-entraînée, garantissant ainsi que les relations sémantiques entre les neurones sont préservées.

Plutôt que d’utiliser une matrice orthogonale bloc-diagonale, BOFT factorise la transformation orthogonale en un produit de matrices papillon creuses (introduites à l’origine dans la FFT de Cooley–Tukey). Contrairement aux rotations bloc-diagonales de OFT, qui ne mélangent les entrées qu’à l’intérieur de chaque bloc, la structure papillon garantit que chaque entrée peut influencer chaque sortie, produisant une connectivité dense avec seulement O(d log d) paramètres. Cette factorisation préserve l’expressivité tout en réduisant considérablement le nombre de paramètres par rapport à OFT (au prix du temps de calcul).

En pratique, BOFT multiplie chaque matrice de poids préentraînée par une suite de facteurs orthogonaux structurés en papillon, permettant des rotations de neurones efficaces et expressives. Cela rend BOFT particulièrement adapté à la génération contrôlée et aux tâches où le maintien de la représentation du sujet du modèle préentraîné est crucial, tout en permettant de passer à l'échelle vers des modèles plus volumineux avec une empreinte mémoire et un coût de calcul réduits.

BOFT peut être appliqué à n'importe quel sous-ensemble de matrices de poids d'un réseau de neurones afin de réduire le nombre de paramètres entraînables. Étant donné les couches cibles pour l'injection des paramètres BOFT, le nombre de paramètres entraînables peut être déterminé en fonction de la taille des matrices de poids.

Aperçu des benchmarks

Fusionner les poids BOFT dans le modèle de base

De manière similaire à LoRA, les poids appris par BOFT peuvent être intégrés aux matrices de poids préentraînées à l'aide de la fonction [~BOFTModel.merge_and_unload(). Cette fonction fusionne les poids de l'adaptateur avec le modèle de base, ce qui vous permet d'utiliser efficacement le modèle nouvellement fusionné comme un modèle autonome.

Cela fonctionne car, pendant l’entraînement, la matrice de poids orthogonale (R dans le schéma ci-dessus) et les matrices de poids pré-entraînées sont distinctes. Mais une fois l’entraînement terminé, ces poids peuvent en réalité être fusionnés (multipliés) pour former une nouvelle matrice de poids équivalente.

Exemple d'utilisation de BOFT

Pour un exemple d'application de la méthode BOFT à diverses tâches en aval, veuillez consulter les guides suivants :

Consultez les guides étape par étape suivants sur la façon d’affiner un modèle avec BOFT :

• Étude fine de Dreambooth avec BOFT
• Ajustement fin de la génération contrôlable avec BOFT (ControlNet)

Pour la tâche de classification d'images, on peut initialiser la configuration BOFT pour un modèle DinoV2 comme suit :

import transformers
from transformers import AutoModelForSeq2SeqLM, BOFTConfig
from peft import BOFTConfig, get_peft_model

config = BOFTConfig(
    boft_block_size=4,
    boft_n_butterfly_factor=2,
    target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
    boft_dropout=0.1,
    bias="boft_only",
    modules_to_save=["classifier"],
)

model = transformers.Dinov2ForImageClassification.from_pretrained(
    "facebook/dinov2-large",
    num_labels=100,
)

boft_model = get_peft_model(model, config)

API

BOFTConfig

BOFTModel

>>> import transformers
>>> from peft import BOFTConfig, get_peft_model

>>> config = BOFTConfig(
...     boft_block_size=8,
...     boft_n_butterfly_factor=1,
...     target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
...     boft_dropout=0.1,
...     bias="boft_only",
...     modules_to_save=["classifier"],
... )

>>> model = transformers.Dinov2ForImageClassification.from_pretrained(
...     "facebook/dinov2-large",
...     num_labels=100,
... )
>>> boft_model = get_peft_model(model, config)