PEFT documentation
LyCORIS
LyCORIS
LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion), UNet'in çapraz dikkat katmanını değiştiren LoRA benzeri matris ayrıştırma adaptörleridir. LoHa ve LoKr yöntemleri burada Lycoris sınıflarından türetilir.
LycorisConfig
sınıf peft.tuners.lycoris_utils.LycorisConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )
LyCORIS benzeri adaptörler için bir temel yapılandırma
LycorisLayer
LyCORIS benzeri adaptörler için bir taban katman
merge
< source >( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
Parametreler
- safe_merge (
bool, isteğe bağlı) —Trueise, birleştirme işlemi orijinal ağırlıkların bir kopyasında gerçekleştirilir ve ağırlıklar birleştirilmeden önce NaN değerleri kontrol edilir. Birleştirme işleminin NaN üreteceğini kontrol etmek istiyorsanız bu işe yarar. Varsayılan değerFalse'tur. - adapter_names (
List[str], isteğe bağlı) — Birleştirilecek adaptör adlarının listesi.Noneise tüm etkin adaptörler birleştirilir. Varsayılan değerNone'dir.
Aktif adaptör ağırlıklarını temel ağırlıklarla birleştirin
Bu yöntem, temel ağırlıklardan birleştirilmiş tüm adaptör katmanlarını ayırır.
LycorisTuner
sınıf peft.tuners.lycoris_utils.LycorisTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Parametreler
- model (
torch.nn.Module) — Uyarlanacak model. - config (LoraConfig) — Lora modelinin yapılandırması.
- adapter_name (
str) — Adaptörün adı, varsayılan olarak"default"'tır. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.
LyCORIS benzeri adaptörler için bir temel ayarlayıcı