PEFT documentation

OSF(직교 부분공간 미세 조정)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

OSF(직교 부분공간 미세 조정)

직교 부분공간 미세 조정(OSF)은 매개변수 업데이트가 이전에 중요했던 방향에 직교하도록 제한하는 지속 학습을 위한 PEFT 방법입니다. 이 접근 방식은 추가 매개변수나 이전 그래디언트 저장이 필요하지 않으면서도 재앙적 망각을 방지하면서 전체 미세 조정을 수행할 수 있게 합니다.

해당 논문의 초록은 다음과 같습니다:

대형 언어 모델(LLM)의 지속적 학습은 이전에 학습한 작업의 성능을 크게 저하시키는 재앙적 망각(catastrophic forgetting)에 취약합니다. 기존 방법들은 일반적으로 모델의 표현력을 제한하고 작업별로 추가 매개변수를 도입하여 확장성 문제를 일으키는 저랭크, 매개변수 효율적 업데이트에 의존합니다. 이러한 한계를 해결하기 위해, 적응형 특이값 분해(SVD)를 활용하는 새로운 지속적 전체 미세 조정(continual full fine-tuning) 접근법을 제안합니다. 우리의 방법은 작업별 저랭크 매개변수 부분공간을 동적으로 식별하고, 이전 작업과 관련된 중요한 방향에 대해 업데이트가 직교하도록 제약함으로써, 추가 매개변수 오버헤드나 이전 작업의 기울기 저장 없이 간섭을 효과적으로 최소화합니다. 인코더-디코더(T5-Large) 및 디코더 전용(LLaMA-2 7B) 모델을 사용하여 분류, 생성, 추론을 포함한 다양한 작업을 아우르는 표준 지속적 학습 벤치마크에서 우리의 접근법을 광범위하게 평가했습니다. 실험적으로, 우리의 방법은 O-LoRA와 같은 최근 베이스라인보다 평균 정확도가 최대 7% 높은 최첨단(state-of-the-art) 결과를 달성했으며, 망각을 거의 무시할 수 있는 수준으로 줄임으로써 지속적 학습 과정 전반에 걸쳐 모델의 일반 언어 능력, 지시 따름 정확도 및 안전성을 유지하는 것으로 나타났습니다. 우리의 적응형 SVD 프레임워크는 모델의 가소성(plasticity)과 지식 보존을 효과적으로 균형 있게 조절하여, 대형 언어 모델의 지속적 학습 시나리오에 대해 실용적이고 이론적 근거가 있으며 계산적으로 확장 가능한 솔루션을 제공합니다.

OSF의 작동 방식

OSF는 SVD를 사용하여 각 가중치 행렬을 고순위(동결) 및 저순위(학습 가능) 구성 요소로 분해합니다:

W = U_high * S_high * V_high^T + U_low * S_low * V_low^T

여기서:

  • U_high, S_high, V_high: 이전 작업의 중요한 방향을 유지(동결)
  • U_low, S_low, V_low: 새로운 작업에 대한 적응 허용(학습 가능)

학습 중에 기울기는 고차원 부분공간에 직교하도록 투영되어, 업데이트가 이전에 학습된 지식을 방해하지 않도록 보장합니다.

기본 사용법

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import OSFConfig, get_peft_model

# Load base model
model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")

# Configure OSF
config = OSFConfig(
    target_modules=["q_proj", "v_proj"],  # Target attention layers
    effective_rank=8,                     # Default rank for decomposition
    rank_pattern={"q_proj": 16}           # Override rank for specific modules
)

# Apply OSF
model = get_peft_model(model, config)

# Train as usual
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4)

tokenizer = AutoTokenizer.from_pretrained("facebook/opt-125m")

inputs = tokenizer("Hello world", return_tensors="pt", padding=True)
loss = model(**inputs, labels=inputs.input_ids).loss
loss.backward()
optimizer.step()
optimizer.zero_grad()

구성 옵션

대상 모듈

대상 모듈은 여러 가지 방법으로 지정할 수 있습니다:

# Specific module names
config = OSFConfig(target_modules=["q_proj", "k_proj", "v_proj", "o_proj"])

# All linear layers
config = OSFConfig(target_modules="all-linear")

# Model-specific defaults (automatically detected)
config = OSFConfig()  # Uses model-appropriate defaults

효과적 랭크 구성

보존/학습 가능한 부분공간을 제어합니다:

# Global preserved rank (applies to all target modules)
config = OSFConfig(effective_rank=16)  # preserves top-16 singular directions; trains the rest

# Automatic preserved rank (50% of the smaller matrix dimension per target)
config = OSFConfig(effective_rank=None)

# Per-module preserved-rank overrides
config = OSFConfig(
    effective_rank=8,
    rank_pattern={
        "q_proj": 16,      # Higher rank for query projection
        "gate_proj": 4     # Lower rank for gate projection
    }
)

# Fractional preserved rank is supported (interpreted per-target as fraction * min_dim)
config = OSFConfig(effective_rank=0.8)  # preserve 80% of min_dim; train remaining 20%
config = OSFConfig(rank_pattern={"q_proj": 0.5})  # preserve 50% on q_proj, others use global/default

Note: OSF의 effective_rank은 학습 가능한 랭크가 아니라 보존(동결)되는 랭크입니다. 학습 가능한 랭크는 min(weight.shape) - effective_rank와 같습니다. 이는 학습 가능한 랭크를 직접 지정하는 LoRA의 r와 다릅니다.

지속 학습을 위한 학습 조언

순차적 작업 학습

OSF는 작업을 순차적으로 학습하도록 특별히 설계되었습니다. 작업 사이에는 보존된 부분 공간이 최신 가중치를 반영하도록 SVD를 다시 계산합니다. 이를 위한 간단한 방법 중 하나는 업데이트된 베이스 모델을 다시 OSF로 래핑하는 것입니다:

# Task 1: train on domain A with initial preserved subspace
r = 8  # initial effective rank to preserve
model = get_peft_model(base_model, OSFConfig(effective_rank=r))
train_task(model, task_1_data)

# Task 2: recompute SVD on updated weights and increase preserved subspace
base_model = model.unload()  # unwrap base model without assuming internals
r += 4  # grow preserved subspace to include Task 1 knowledge
model = get_peft_model(base_model, OSFConfig(effective_rank=r))
train_task(model, task_2_data)

# Task 3: recompute again and expand preserved subspace further
base_model = model.unload()
r += 4
model = get_peft_model(base_model, OSFConfig(effective_rank=r))
train_task(model, task_3_data)

작업 시퀀스에 대한 예산 배분

n개의 작업으로 구성된 알려진 시퀀스에서 학습할 때, 새로운 작업을 학습하는 동시에 이전 지식을 보존하기 위해 모델 용량을 점진적으로 배분하는 것이 효과적인 전략입니다:

  • 작업 1: 전체 용량 사용(모든 것 학습)
  • 작업 2: 모델 용량의 1/n을 고정하고 나머지 (n-1)/n 용량을 학습
  • 작업 3: 모델 용량의 2/n을 동결하고, 나머지 (n-2)/n 용량을 학습
  • 작업 n: 모델 용량의 (n-1)/n을 동결하고, 1/n 용량을 최종 작업에 사용

이 접근 방식은 각 작업이 적절한 학습 용량을 확보하는 동시에 이전 작업에서 더 많은 지식을 점진적으로 보존하도록 보장합니다.

# Example: 4-task sequence with progressive budget allocation
n_tasks = 4
max_preserved_rank = 512  # Upper bound for preserved rank per target (heuristic)

for task_id in range(n_tasks):
    # Freeze increases over time; trainable capacity shrinks
    preserved_fraction = (task_id + 1) / n_tasks
    preserved_rank = int(max_preserved_rank * preserved_fraction)

    config = OSFConfig(
        target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
        effective_rank=preserved_rank,
    )

    print(
        f"Task {task_id + 1}: Preserving rank {preserved_rank} "
        f"({preserved_fraction:.1%} of max_preserved_rank - {max_preserved_rank} frozen); trainable rank = min_dim - preserved_rank"
    )

    model = get_peft_model(base_model, config)
    train_task(model, task_data[task_id])

최적의 관행

  1. 효과적 랭크 선택: effective_rank=None으로 시작하세요(자동으로 각 대상 모듈의 더 작은 가중치 차원의 50%를 랭크로 설정합니다) 그리고 작업 복잡성에 따라 조정하세요
  2. 학습률: 표준 파인튜닝에 비해 더 작은 학습률(1e-5에서 1e-4)을 사용
  3. 작업 중요도: rank_pattern을 사용하여 중요한 모듈에 더 많은 용량을 할당합니다
  4. 모델 아키텍처: OSF는 명확한 attention과 MLP 분리가 있는 transformer 아키텍처에서 가장 잘 작동합니다
  5. 용량 계획: 알려진 작업 시퀀스에 대해 점진적 예산 할당(1/n, 2/n, …, (n-1)/n 동결)을 사용하여 가소성과 안정성을 균형 있게 유지합니다

메모리 고려 사항

OSF는 가중치를 인플레이스로 수정하며 매개변수를 추가하지 않으므로 메모리 효율적입니다:

# Memory usage remains close to base model
print(f"Base model parameters: {base_model.num_parameters():,}")
print(f"OSF model parameters: {osf_model.num_parameters():,}")  # Similar count

고급 사용

사용자 지정 대상 모듈

비표준 아키텍처를 가진 모델의 경우:

config = OSFConfig(
    target_modules=["dense", "intermediate.dense"],  # Custom layer names
    effective_rank=12,
    rank_pattern={"dense": 8, "intermediate.dense": 16}
)

다른 방법과의 통합

OSF는 다른 기법과 결합할 수 있습니다:

# Use with gradient checkpointing for memory efficiency
# note: use `model.gradient_checkpointing_enable()` for older Transformers versions
model.activation_checkpointing_enable()

# Apply weight decay selectively (regularizes low-rank factors to limit drift/overfitting in continual updates; keep small)
optimizer = torch.optim.AdamW([
    {"params": [p for n, p in model.named_parameters() if "U_low" in n], "weight_decay": 0.01},
    {"params": [p for n, p in model.named_parameters() if "S_low" in n], "weight_decay": 0.001},
    {"params": [p for n, p in model.named_parameters() if "V_low" in n], "weight_decay": 0.01},
], lr=1e-4)

벤치마크 개요

API

OSFConfig

클래스 peft.OSFConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falseeffective_rank: Optional[Union[int, float]] = Nonetarget_modules: Optional[Union[list[str], str]] = Nonerank_pattern: Optional[dict[str, Union[int, float]]] = Noneinit_weights: Optional[bool] = Truemodules_to_save: Optional[list[str]] = Nonetarget_svd_config: Optional[dict[str, int]] = None )

매개변수

  • effective_rank (int 또는 float, 선택 사항) — 보존되는 SVD 랭크(“high” 부분 공간)입니다. 상위 effective_rank개의 특이 방향은 동결되어 작업 간에 유지되며, 나머지 차원은 학습 가능한 저랭크 부분 공간을 형성합니다. None인 경우, 대상 모듈마다 더 작은 가중치 차원의 50%가 기본값으로 사용됩니다. 참고: 이는 LoRA의 r(학습 가능한 랭크)와 다릅니다. OSF에서 학습 가능한 랭크는 min(weight.shape) - effective_rank입니다.
  • target_modules (Union[list[str], str], 선택 사항) — OSF를 적용할 모듈의 이름입니다. 모듈 이름의 목록 또는 “all-linear”를 사용할 수 있습니다.
  • rank_pattern (dict[str, int|float], 선택 사항) — 특정 모듈에 대해 effective_rank를 재정의하기 위한 정규식 패턴의 사전입니다. 값은 절대 정수이거나 (0, 1] 범위의 분수로, 대상별 더 작은 행렬 차원의 비율로 해석됩니다.

Orthogonal Subspace Fine-tuning(OSF)에 대한 설정입니다.

OSFModel

class peft.OSFModel

< >

( modelconfigadapter_namelow_cpu_mem_usage: bool = Falsestate_dict: dict[str, torch.Tensor] | None = None )

Orthogonal Subspace Fine-tuning을 구현하는 최소한의 튜너입니다.

유틸리티 함수

가중치 분해

peft.tuners.osf.utils.decompose_weight_matrix

< >

( weight: torch.Tensortop_k: int )

weight에 대해 SVD를 수행하고, 이를 동결 부분과 학습 가능 부분으로 분리합니다.

Gradient Projection

peft.tuners.osf.utils.project_gradient_to_orthogonal_space

< >

( svd_dict: dict[str, Any] )

U_low와 V_low의 기울기를 고순위 공간에 직교하도록 투영합니다.

Update on GitHub