Menjembatani Kesenjangan antara Adaptasi Ber-rank Rendah dan Adaptasi Ortogonal melalui Adaptasi Refleksi Householder (HRA)

HRA memberikan perspektif baru yang menghubungkan LoRA dengan OFT, yang berarti ia dapat memanfaatkan keunggulan dari kedua strategi tersebut, dengan memanfaatkan Householder reflections untuk mengurangi parameter dan biaya komputasi sambil menghukum hilangnya pengetahuan pra-pelatihan. Ia secara konsisten mencapai kinerja yang lebih baik dengan jumlah parameter yang dapat dilatih lebih sedikit dan melampaui adapter state-of-the-art di berbagai model, termasuk large language models (LLM) dan generator gambar kondisional.

HRA membangun rantai dari r refleksi Householder yang dapat dilatih (HR). Karena matriks refleksi Householder adalah matriks ortogonal dan hasil kali matriks ortogonal juga merupakan matriks ortogonal, HRA memenuhi jaminan teoretis dari Orthogonal Finetuning (OFT). Sementara itu, HRA juga dapat dipandang sebagai adapter fine-tuning ber-rank rendah. Semakin tinggi r, semakin banyak parameter yang dapat dilatih, yang menghasilkan kapasitas model yang lebih besar dan kinerja yang lebih baik. Selain itu, karena struktur rantainya, ortogonalitas bidang HR memengaruhi kapasitas dan regularitas HRA. Untuk mencapai keseimbangan antara kapasitas model dan regularitas, regularizer ortogonalitas dari bidang HR ditambahkan ke fungsi loss. Bobot$\lambda$ dapat mengontrol kekuatan regularizer.

Abstrak dari makalah tersebut adalah:

Meskipun mengikuti jalur teknis yang berbeda, kedua teknik adaptasi ber-rank rendah dan ortogonal dapat secara efisien mengadaptasi model pra-pelatihan berskala besar untuk tugas atau domain tertentu berdasarkan sebagian kecil parameter yang dapat dilatih. Dalam studi ini, kami menjembatani kesenjangan antara kedua teknik tersebut dengan mengusulkan metode adaptasi yang sederhana namun efektif berdasarkan refleksi Householder. Diberikan sebuah model pra-pelatihan, metode kami melakukan penyesuaian halus (fine-tuning) pada lapisan-lapisannya dengan mengalikan setiap matriks bobot beku dengan matriks ortogonal yang dibangun oleh rantai refleksi Householder (HR) yang dapat dipelajari. Penyesuaian halus ortogonal berbasis HR ini ekuivalen dengan adaptasi ber-rank rendah yang adaptif. Selain itu, kami menunjukkan bahwa sifat ortogonalitas dari bidang-bidang refleksi yang bersesuaian dengan HR berdampak pada kapasitas dan keteraturan model. Analisis ini mendorong kami untuk melakukan regularisasi terhadap ortogonalitas HR, yang mengarah pada berbagai implementasi dari metode adaptasi refleksi Householder (HRA) yang diusulkan. Dibandingkan dengan metode terkini (state-of-the-art), HRA mencapai kinerja yang lebih unggul dengan jumlah parameter yang dapat dipelajari lebih sedikit saat mengadaptasi model bahasa besar dan generator gambar bersyarat. Kode tersedia di peft dan HRA.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAModel, HRAConfig

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = HRAModel(model.text_encoder, config_te, "default")
>>> model.unet = HRAModel(model.unet, config_unet, "default")