### KaSA

> [!NOTE]
> これはLoRAのバリアントであり、このページに特に記載がない限り、LoRAで可能なすべてのことがこの方法にも適用されます。

[KaSA](https://huggingface.co/papers/2412.06071)（Knowledge-aware Singular-value Adaptation）は、ベース重みの特異値分解を用いてタスクに関連しない知識をフィルタリングし、学習可能な特異値で更新をパラメータ化するLoRAのバリアントです。KaSAは、バニラLoRAを以下の2点で変更します：

1. **凍結されたベース重みの知識ベースSVD打ち切り** 初期化時、ベース重み`W`はSVD分解され、その`r`個の最小（「ノイズ」/ロングテール）特異成分が破棄されます。これにより、ランク`(k - r)`の近似が新しい凍結ベースとして残ります（`k = min(in_features, out_features)`）。その後、学習可能なブランチは破棄された残差部分空間内で再学習を行います。
2. **知識認識型特異値適応。** 学習可能な更新は SVD 形式でパラメータ化され、LoRA 係数の間に学習可能な特異値の対角成分が挿入されます: `ΔW = scaling * B @ diag(ΔΣ) @ A`。ここで、`ΔΣ` (`lora_diag`) は学習可能な `r` 次元ベクトルであり、各層における唯一の新しいパラメータです。

PEFTでは、KaSAは[LoraConfig](/docs/peft/v0.22.0/ja/package_reference/lora#peft.LoraConfig)の`kasa_config`引数を通じて、LoRAのバリアントとして設定されます:

```py
from peft import KasaConfig, LoraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    kasa_config=KasaConfig(beta=1e-4, gamma=1e-3),
)
```

この論文では、さらに2つの補助的な正則化項を用いて学習を行います。学習可能な特異値に対するL2ペナルティ（`beta`で重み付け）と、アダプタの係数に対する直交正則化（`gamma`で重み付け）です。後者は、SVDパラメータ化が仮定する半直交性をソフトに強制します。これらはPEFTによって自動的に注入できないため、学習中は、ベースとなる`LoraModel`に対して`LoraModel._get_kasa_loss()`を呼び出すことで、タスクの損失関数にこれらを加える必要があります。

```py
task_loss = ...  # standard loss returned by your model
kasa_loss = model._get_kasa_loss()  # 0.0 if KaSA is not used
total_loss = task_loss + kasa_loss
```

詳細な使用方法については、[これらの手順](https://github.com/huggingface/peft/tree/main/examples/kasa_finetuning)を参照してください。

#### 注意事項

- KaSAは現在、標準的なLoRA線形層のみをサポートしており、`fan_in_fan_out=True`の層（例: transformersの`Conv1D`）には対応していません。
- KaSAアダプターは、ベース重みの切り詰めが他のアダプターの下のベース重みを変更してしまうため、同じモデル上で非KaSAアダプターと組み合わせることはできません。複数のKaSAアダプターを同時に使用することは許可されています。
- `convert_to_lora` はサポートされていません。KaSA の更新は `lora_diag` と切り詰められたベース重みに依存しており、これらはどちらもバニラ LoRA アダプターでは表現できません。
- ベース重みのSVD切り詰めは**破壊的**です: KaSAアダプタを追加すると、その層の凍結された重みが永続的に変更されます。アダプタを無効化してもアンロードしても、元のベース重みは復元されません。また、`merge`の後に`unmerge`を実行しても、元の重みではなく切り詰められた重みに戻ります。これは本質的な特性です。変更前のベースモデルを復元する必要がある場合は、元のチェックポイントを保持してください。
- `PeftModel.from_pretrained` で学習済みの KaSA アダプターを読み込むと、新しく読み込まれたベースの重みに同じ切り詰めが再適用されるため、保存と再読み込みの一貫性が保たれます。

