PEFT documentation
Householder Yansıma Uyarlaması (HRA) ile Düşük Rütbeli ve Ortogonal Uyarlamalar Arasındaki Boşluğu Kapatma
Householder Yansıma Uyarlaması (HRA) ile Düşük Rütbeli ve Ortogonal Uyarlamalar Arasındaki Boşluğu Kapatma

HRA, Householder yansımalarını kullanarak hem parametre sayısını hem de hesaplama maliyetlerini azaltırken ön eğitim bilgisinin kaybını cezalandırarak LoRA'yı OFT'ye bağlayan yeni bir bakış açısı sunar. Bu sayede her iki stratejinin avantajlarından da yararlanabilir. Daha az eğitilebilir parametreyle tutarlı olarak daha iyi performans elde eder ve büyük dil modelleri (LLM) ile koşullu görüntü üreticileri dahil olmak üzere farklı modellerde en iyi adaptörleri geride bırakır.
HRA, r eğitilebilir Householder yansıması (HR) zinciri oluşturur. Householder yansıma matrisi bir dik (ortogonal) matris olduğu ve dik matrislerin çarpımı da bir dik matris olduğu için, HRA, Ortogonal İnce Ayar (OFT)'ın teorik garantısını sağlar. Bununla birlikte, HRA aynı zamanda düşük rütbeli bir ince ayar adaptörü olarak da görülebilir. r, ne kadar yüksekse, eğitilebilir parametre sayısı o kadar fazla olur ve bu da daha büyük bir model kapasitesi ile daha iyi bir performans sağlar. Ayrıca, zincir yapısı nedeniyle HR düzlemlerinin dikliği, HRA'nın kapasitesini ve düzenliliğini etkiler. Model kapasitesi ile düzenlilik arasında bir denge sağlamak için, kayıp fonksiyonuna HR düzlemlerinin dikliği için bir düzenleyici (regularizer) eklenir. ağırlığı, düzenleyicinin gücünü kontrol edebilir.
Makalenin özeti şudur:
Farklı teknik yollar izlemelerine rağmen, hem düşük rütbeli hem de ortogonal uyarlama teknikleri, büyük ölçekli ön eğitimli modelleri, küçük bir eğitilebilir parametre kümesine dayanarak belirli görevlerde veya alanlarda verimli bir şekilde uyarlayabilir. Bu çalışmada, bu iki teknik arasındaki boşluğu kapatıyor ve Householder yansımalarına dayalı basit ama etkili bir uyarlama yöntemi öneriyoruz. Ön eğitimli bir model verildiğinde, yöntemimiz, her dondurulmuş ağırlık matrisini, eğitilebilir Householder yansımalarından (HR) oluşan bir zincirle oluşturulan bir ortogonal matrisle çarparak katmanlarını ince ayarlıyor. Bu HR tabanlı ortogonal ince ayar, adaptif düşük rütbeli uyarlamaya eşdeğerdir. Ayrıca, HR'lere karşılık gelen yansıma düzlemlerinin ortogonalliğinin model kapasitesini ve düzenliliğini etkilediğini gösteriyoruz. Bu analiz, HR'lerin ortogonalliğini düzenlememize (regularize etmemize) yol açıyor ve önerilen Householder yansıma uyarlama (HRA) yönteminin farklı uygulamalarına öngörüyor. En son yöntemlerle karşılaştırıldığında, HRA, büyük dil modellerini ve koşullu görüntü üreticilerini uyarlarken daha az eğitilebilir parametreyle üstün performans elde ediyor. Kod, peft ve HRA adreslerinde mevcuttur.
API
HRAConfig
sınıf peft.HRAConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8apply_GS: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = None )
Parametreler
- r (
int) — HRA'nın farklı katmanlar arasındaki rütbesi. 'r' değerinin çift sayı olarak ayarlanması en iyisidir; aksi takdirde varsayılan başlatma yöntemi çalışmaz. - apply_GS (
bool) — Gram-Schmidt ortogonalizasyonunun uygulanıp uygulanmayacağı. - target_modules (
Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanacağı modüllerin adları. Bu parametre belirtilirse, yalnızca belirtilen adlara sahip modüller değiştirilir. Bir dize (string) geçirildiğinde, bir regex eşleşmesi yapılır. Dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir. Bu parametre ‘all-linear’ olarak belirtilirse, çıktı katmanı hariç tüm lineer modüller seçilir. Bu parametre belirtilmezse, modüller model mimarisine göre seçilir. Mimari bilinmiyorsa bir hata oluşturulur — bu durumda, hedef modülleri manuel olarak belirtmelisiniz. - exclude_modules (
Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanmaması istenen modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir. - init_weights (
bool) — HRA ağırlıklarının başlatılmasının yapılıp yapılmayacağı. - layers_to_transform (
Union[List[int], int]) — Dönüştürülecek katman indeksleri. Bir int listesi geçirilirse, adaptör bu listede belirtilen katman indekslerine uygulanır. Tek bir tamsayı geçirilirse, dönüşümler bu indeksteki katmana uygulanır. - layers_pattern (
Optional[Union[List[str], str]]) — Katman desen adı, yalnızcalayers_to_transformNone'den farklıysa kullanılır. Bu, genellikle'layers'veya'h'olarak adlandırılan modelinnn.ModuleList'ini hedeflemelidir. - bias (
str) — HRA için sapma türü.'none','all'veya'hra_only'olabilir. - modules_to_save (
List[str]) — Son kontrol noktasında kaydedilecek ve eğitilebilir olarak ayarlanacak, adaptör katmanları dışındaki modüllerin listesi.
Bu, bir HRAModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.
HRAModel
sınıf peft.HRAModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Parametreler
- model (
torch.nn.Module) — Adaptör ayarlayıcı katmanlarının bağlanacağı model. - config (HRAConfig) — HRA modelinin yapılandırması.
- adapter_name (
str) — Adaptörün adı, varsayılan olarak"default"'tır. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.
Dönüş değeri
torch.nn.Module
HRA modeli.
Önceden eğitilmiş bir modelden Householder yansıma adaptasyonu (HRA) modeli oluşturur. Yöntem https://huggingface.co/papers/2405.17484 adresinde açıklanmıştır.
Örnek:
>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAConfig, get_peft_model
>>> config_te = HRAConfig(
... r=8,
... target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
... init_weights=True,
... )
>>> config_unet = HRAConfig(
... r=8,
... target_modules=[
... "proj_in",
... "proj_out",
... "to_k",
... "to_q",
... "to_v",
... "to_out.0",
... "ff.net.0.proj",
... "ff.net.2",
... ],
... init_weights=True,
... )
>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)Öznitelikler:
- model (
~torch.nn.Module) — Uyarlanacak model. - peft_config (HRAConfig): HRA modelinin yapılandırması.