PEFT documentation

KaSA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

KaSA

これはLoRAのバリアントであり、このページに特に記載がない限り、LoRAで可能なすべてのことがこの方法にも適用されます。

KaSA(Knowledge-aware Singular-value Adaptation)は、ベース重みの特異値分解を用いてタスクに関連しない知識をフィルタリングし、学習可能な特異値で更新をパラメータ化するLoRAのバリアントです。KaSAは、バニラLoRAを以下の2点で変更します:

  1. 凍結されたベース重みの知識ベースSVD打ち切り 初期化時、ベース重みWはSVD分解され、そのr個の最小(「ノイズ」/ロングテール)特異成分が破棄されます。これにより、ランク(k - r)の近似が新しい凍結ベースとして残ります(k = min(in_features, out_features))。その後、学習可能なブランチは破棄された残差部分空間内で再学習を行います。
  2. 知識認識型特異値適応。 学習可能な更新は SVD 形式でパラメータ化され、LoRA 係数の間に学習可能な特異値の対角成分が挿入されます: ΔW = scaling * B @ diag(ΔΣ) @ A。ここで、ΔΣ (lora_diag) は学習可能な r 次元ベクトルであり、各層における唯一の新しいパラメータです。

PEFTでは、KaSAはLoraConfigのkasa_config引数を通じて、LoRAのバリアントとして設定されます:

from peft import KasaConfig, LoraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    kasa_config=KasaConfig(beta=1e-4, gamma=1e-3),
)

この論文では、さらに2つの補助的な正則化項を用いて学習を行います。学習可能な特異値に対するL2ペナルティ(betaで重み付け)と、アダプタの係数に対する直交正則化(gammaで重み付け)です。後者は、SVDパラメータ化が仮定する半直交性をソフトに強制します。これらはPEFTによって自動的に注入できないため、学習中は、ベースとなるLoraModelに対してLoraModel._get_kasa_loss()を呼び出すことで、タスクの損失関数にこれらを加える必要があります。

task_loss = ...  # standard loss returned by your model
kasa_loss = model._get_kasa_loss()  # 0.0 if KaSA is not used
total_loss = task_loss + kasa_loss

詳細な使用方法については、これらの手順を参照してください。

注意事項

  • KaSAは現在、標準的なLoRA線形層のみをサポートしており、fan_in_fan_out=Trueの層(例: transformersのConv1D)には対応していません。
  • KaSAアダプターは、ベース重みの切り詰めが他のアダプターの下のベース重みを変更してしまうため、同じモデル上で非KaSAアダプターと組み合わせることはできません。複数のKaSAアダプターを同時に使用することは許可されています。
  • convert_to_lora はサポートされていません。KaSA の更新は lora_diag と切り詰められたベース重みに依存しており、これらはどちらもバニラ LoRA アダプターでは表現できません。
  • ベース重みのSVD切り詰めは破壊的です: KaSAアダプタを追加すると、レイヤーの凍結された重みが永続的に変更されます。アダプタを無効化したりアンロードしたりしても、元のベース重みは復元されません。また、mergeの後にunmergeを実行しても、元の重みではなく切り詰められた重みに戻ります。これは本質的な特性です。変更前のベースモデルを復元する必要がある場合は、元のチェックポイントを保持してください。
  • PeftModel.from_pretrained で学習済みの KaSA アダプターを読み込むと、新しく読み込まれたベースの重みに同じ切り詰めが再適用されるため、保存と再読み込みの一貫性が保たれます。
Update on GitHub