PEFT documentation
KaSA
はじめに
ガイド
設定とモデル統合 メモリ効率の良い学習モデルのマージ量子化カスタムモデルアダプター注入PEFT メソッドの組み合わせtorch.compilePEFTへの貢献トラブルシューティングPEFTチェックポイント形式
分散学習
メソッド
API リファレンス
KaSA
これはLoRAのバリアントであり、このページに特に記載がない限り、LoRAで可能なすべてのことがこの方法にも適用されます。
KaSA(Knowledge-aware Singular-value Adaptation)は、ベース重みの特異値分解を用いてタスクに関連しない知識をフィルタリングし、学習可能な特異値で更新をパラメータ化するLoRAのバリアントです。KaSAは、バニラLoRAを以下の2点で変更します:
- 凍結されたベース重みの知識ベースSVD打ち切り 初期化時、ベース重み
WはSVD分解され、そのr個の最小(「ノイズ」/ロングテール)特異成分が破棄されます。これにより、ランク(k - r)の近似が新しい凍結ベースとして残ります(k = min(in_features, out_features))。その後、学習可能なブランチは破棄された残差部分空間内で再学習を行います。 - 知識認識型特異値適応。 学習可能な更新は SVD 形式でパラメータ化され、LoRA 係数の間に学習可能な特異値の対角成分が挿入されます:
ΔW = scaling * B @ diag(ΔΣ) @ A。ここで、ΔΣ(lora_diag) は学習可能なr次元ベクトルであり、各層における唯一の新しいパラメータです。
PEFTでは、KaSAはLoraConfigのkasa_config引数を通じて、LoRAのバリアントとして設定されます:
from peft import KasaConfig, LoraConfig
config = LoraConfig(
target_modules=["q_proj", "v_proj"],
kasa_config=KasaConfig(beta=1e-4, gamma=1e-3),
)この論文では、さらに2つの補助的な正則化項を用いて学習を行います。学習可能な特異値に対するL2ペナルティ(betaで重み付け)と、アダプタの係数に対する直交正則化(gammaで重み付け)です。後者は、SVDパラメータ化が仮定する半直交性をソフトに強制します。これらはPEFTによって自動的に注入できないため、学習中は、ベースとなるLoraModelに対してLoraModel._get_kasa_loss()を呼び出すことで、タスクの損失関数にこれらを加える必要があります。
task_loss = ... # standard loss returned by your model
kasa_loss = model._get_kasa_loss() # 0.0 if KaSA is not used
total_loss = task_loss + kasa_loss詳細な使用方法については、これらの手順を参照してください。
注意事項
- KaSAは現在、標準的なLoRA線形層のみをサポートしており、
fan_in_fan_out=Trueの層(例: transformersのConv1D)には対応していません。 - KaSAアダプターは、ベース重みの切り詰めが他のアダプターの下のベース重みを変更してしまうため、同じモデル上で非KaSAアダプターと組み合わせることはできません。複数のKaSAアダプターを同時に使用することは許可されています。
convert_to_loraはサポートされていません。KaSA の更新はlora_diagと切り詰められたベース重みに依存しており、これらはどちらもバニラ LoRA アダプターでは表現できません。- ベース重みのSVD切り詰めは破壊的です: KaSAアダプタを追加すると、レイヤーの凍結された重みが永続的に変更されます。アダプタを無効化したりアンロードしたりしても、元のベース重みは復元されません。また、
mergeの後にunmergeを実行しても、元の重みではなく切り詰められた重みに戻ります。これは本質的な特性です。変更前のベースモデルを復元する必要がある場合は、元のチェックポイントを保持してください。 PeftModel.from_pretrainedで学習済みの KaSA アダプターを読み込むと、新しく読み込まれたベースの重みに同じ切り詰めが再適用されるため、保存と再読み込みの一貫性が保たれます。