AdaLoRA

AdaLoRA (Adaptive LoRA) adalah metode untuk mengoptimalkan jumlah parameter yang dapat dilatih agar dialokasikan ke matriks bobot dan lapisan, berbeda dengan LoRA yang mendistribusikan parameter secara merata ke semua modul. Parameter lebih banyak dialokasikan untuk matriks bobot dan lapisan yang penting, sementara yang kurang penting menerima lebih sedikit parameter. Anda dapat mengatur rata-rata rank atau r matriks yang diinginkan, serta modul mana yang akan diterapkan AdaLoRA melalui target_modules. Parameter penting lainnya yang perlu diatur adalah lora_alpha (faktor penskalaan), dan modules_to_save (modul di luar lapisan AdaLoRA yang akan dilatih dan disimpan). Semua parameter ini - dan lainnya - dapat ditemukan di AdaLoraConfig.

Abstrak dari makalah tersebut adalah:

Fine-tuning model bahasa besar yang telah dilatih sebelumnya pada tugas turunan telah menjadi paradigma penting dalam NLP. Namun, praktik umum melakukan fine-tuning pada semua parameter dalam model yang telah dilatih sebelumnya, yang menjadi tidak layak ketika terdapat sejumlah besar tugas turunan. Oleh karena itu, banyak metode fine-tuning diusulkan untuk mempelajari pembaruan inkremental dari bobot yang telah dilatih sebelumnya dengan cara yang efisien secara parameter, misalnya, inkremen ber-rank rendah. Metode-metode ini sering kali mendistribusikan anggaran pembaruan inkremental secara merata di antara semua matriks bobot yang telah dilatih sebelumnya, dan mengabaikan pentingnya yang bervariasi dari parameter bobot yang berbeda. Akibatnya, kinerja fine-tuning menjadi suboptimal. Untuk menjembatani kesenjangan ini, kami mengusulkan AdaLoRA, yang secara adaptif mengalokasikan anggaran parameter di antara matriks bobot berdasarkan skor pentingnya. Secara khusus, AdaLoRA memparameterisasi pembaruan inkremental dalam bentuk dekomposisi nilai singular. Pendekatan baru ini memungkinkan kami untuk memangkas nilai singular dari pembaruan yang tidak penting secara efektif, yang pada dasarnya mengurangi anggaran parameter mereka tetapi menghindari komputasi SVD eksak yang intensif. Kami melakukan eksperimen yang luas dengan beberapa model yang telah dilatih sebelumnya pada pemrosesan bahasa alami, penjawaban pertanyaan, dan generasi bahasa alami untuk memvalidasi efektivitas AdaLoRA. Hasil menunjukkan bahwa AdaLoRA menunjukkan peningkatan yang signifikan dibandingkan baseline, terutama dalam pengaturan anggaran rendah. Kode kami tersedia secara publik di https://github.com/QingruZhang/AdaLoRA.

AdaLoRA memiliki metode update_and_allocate() yang harus dipanggil pada setiap langkah pelatihan untuk memperbarui anggaran parameter dan mask, jika tidak langkah adaptasi tidak akan dilakukan. Hal ini memerlukan penulisan loop pelatihan kustom atau subclassing Trainer untuk mengintegrasikan metode ini. Sebagai contoh, lihat loop pelatihan kustom ini.

AdaLoRA mengelola anggaran parameter yang diperkenalkan dari LoRA dengan mengalokasikan lebih banyak parameter - dengan kata lain, rank yang lebih tinggi r - untuk matriks bobot penting yang lebih baik diadaptasi untuk tugas tertentu dan memangkas yang kurang penting. Rank dikendalikan oleh metode yang mirip dengan dekomposisi nilai singular (SVD). $\Delta W$ diparameterisasi dengan dua matriks ortogonal dan satu matriks diagonal yang berisi nilai singular. Metode parameterisasi ini menghindari penerapan SVD secara iteratif yang mahal secara komputasi. Berdasarkan metode ini, rank dari $\Delta W$ disesuaikan sesuai dengan skor kepentingan. $\Delta W$ dibagi menjadi triplet dan setiap triplet diberi skor berdasarkan kontribusinya terhadap kinerja model. Triplet dengan skor kepentingan rendah dipangkas dan triplet dengan skor kepentingan tinggi dipertahankan untuk finetuning.

Pelatihan dengan AdaLoRA memiliki tiga fase: fase inisialisasi, fase penganggaran, dan fase akhir. Pada fase inisialisasi, penganggaran tidak diterapkan, sehingga rank tidak diubah. Selama fase penganggaran, proses yang dijelaskan di atas diterapkan dan rank didistribusikan ulang sesuai dengan anggaran, dengan tujuan memberikan rank lebih besar pada adapter yang lebih penting dan rank lebih kecil pada lapisan yang kurang penting. Saat mencapai fase akhir, penganggaran telah selesai, rank didistribusikan ulang, tetapi kita dapat melanjutkan pelatihan untuk sementara waktu dengan rank yang telah didistribusikan ulang untuk meningkatkan kinerja lebih lanjut.

Kontribusi disambut: Bagian ini perlu diperjelas.

Cara pengukuran tingkat kepentingan tidak dijelaskan dengan jelas. Penjelasan juga agak redundan dan dapat diuntungkan dari konsolidasi. Lihat di sini tentang cara berkontribusi.

Ikhtisar benchmark

Penggunaan

from peft import AdaLoraConfig, get_peft_model

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()

[... training code ...]

model.update_and_allocate(step_idx)

API

AdaLoraConfig

AdaLoraModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import AdaLoraConfig, get_peft_model

>>> config = AdaLoraConfig(
...     peft_type="ADALORA",
...     task_type="SEQ_2_SEQ_LM",
...     init_r=12,
...     lora_alpha=32,
...     target_modules=["q", "v"],
...     lora_dropout=0.01,
...     total_step=1000,
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> adalora_model = get_peft_model(model, config)

>>> loss = model(**input).loss
>>> loss.backward()
>>> optimizer.step()
>>> model.base_model.update_and_allocate(i_step)
>>> optimizer.zero_grad()