PEFT documentation

LyCORIS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LyCORIS

LyCORIS(Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion)는 UNet의 cross-attention 레이어를 수정하는 LoRA 유사한 행렬 분해 어댑터입니다. LoHa 및 LoKr 방법은 여기서 Lycoris 클래스를 상속합니다.

LycorisConfig

class peft.tuners.lycoris_utils.LycorisConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )

LyCORIS와 같은 어댑터용 기본 구성

LycorisLayer

class peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

LyCORIS와 같은 어댑터의 베이스 레이어

병합

< >

( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

매개변수

  • safe_merge (bool, 선택 사항) — True인 경우, 병합 작업은 원래 가중치의 복사본에서 수행되며 가중치를 병합하기 전에 NaN을 확인합니다. 병합 작업이 NaN을 생성하는지 확인하려는 경우 유용합니다. 기본값은 False입니다.
  • adapter_names (List[str], 선택 사항) — 병합할 어댑터 이름 목록입니다. None인 경우 모든 활성 어댑터가 병합됩니다. 기본값은 None입니다.

활성 어댑터 가중치를 기본 가중치에 병합합니다

unmerge

< >

( )

이 메서드는 기본 가중치에서 병합된 모든 어댑터 레이어를 병합 해제합니다.

LycorisTuner

class peft.tuners.lycoris_utils.LycorisTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

매개변수

  • model (torch.nn.Module) — 적응할 모델.
  • config (LoraConfig) — Lora 모델의 구성입니다.
  • adapter_name (str) — 어댑터의 이름이며, 기본값은 "default"입니다.
  • low_cpu_mem_usage (bool, optional, 기본값 False) — 메타 디바이스에 빈 어댑터 가중치를 생성합니다. 로딩 프로세스를 가속하는 데 유용합니다.

LyCORIS와 같은 어댑터용 기본 튜너

Update on GitHub