# RandLora: 大規模モデルのフルランクパラメータ効率ファインチューニング
[RandLora](https://huggingface.co/papers/2502.00987)は、[LoRA](https://huggingface.co/papers/2106.09685)や[VeRA](https://huggingface.co/papers/2310.11454)に似ていますが、パフォーマンスを向上させるためにフルランクの更新を行う、パラメータ効率の高いファインチューニング手法です。RandLoraは、LoRAのパラメータ効率を維持しながら、複雑な更新を必要とする困難なタスクに大規模モデルを適応させる際に特に有用です。RandLoraのフルランク更新は、ランダムベースを線形にスケーリングすることで実現されます。ランダムベースは、それらのランクの合計がパラメータ行列のフルランク以上となるように設計された、複数の低ランク行列の集合です。RandLoraの学習可能パラメータは、VeRAの更新と同様の方法で、右側の低ランクランダムベースに乗算される2つの対角行列（ベクトル）です。メモリ使用量を低く保つため、RandLoraは、逆伝播のために不要なベースをメモリに保存することを防ぐカスタム関数を使用しています。

RandLoraには、他のLoRA系のPEFTアルゴリズムとは異なり、ランダムベースのランクを大きくすると学習可能なパラメータの量が増加するという特筆すべき違いがあります。RandLoraではベースの数とベースのランクの積が一定であるため、ランクを下げるとランダムベースの数が増え、結果としてベース固有の学習可能な対角ベースの数も増加します。

RandLoraのランダムベースのランクを下げるとその数が増加するため、通常、4未満の非常に小さなランクでは、学習時間が大幅に増加し、LoRAよりも学習が遅くなる場合があります。ただし、RandLoraアダプターは事前学習済み重み行列にマージできるため、推論には影響しません。

RandLoraは、スパースな3値のランダム基底（-1、0、1のみを含む）を用いたトレーニングもサポートしています。これらの基底は[Bingham et al.](https://cs-people.bu.edu/evimaria/cs565/kdd-rp.pdf)および[Ping et al.](https://hastie.su.domains/Papers/Ping/KDD06_rp.pdf)で説明されているものであり、理論上、行列積の代わりに集約処理を実行して重みの更新を作成することで、計算負荷を削減するために使用できます。ただし、これは現在サポートされていません。計算負荷を削減するわけではありませんが、RandLoraでスパースなランダム基底を使用することで、一部のケースで過学習を軽減できます。スパースな3値基底の使用に関心のあるユーザーには、`sparse`オプションが推奨されます。`very_sparse`オプションはパフォーマンスを低下させる可能性があるためです。

VeRAと同様に、RandLoraのパラメータを保存する際、`VeraConfig`で`save_projection=False`を設定することで、低ランク行列の保存を省略できます。その場合、これらの行列は`projection_prng_key`引数の固定された乱数シードに基づいて復元されます。これによりチェックポイントのサイズを削減できますが、すべてのデバイスやPyTorchの将来のすべてのバージョンで再現性を保証することはできません。再現性を確保したい場合は、`save_projection=True`（デフォルト値）を設定してください。

Veraと同様に、適応レイヤーの異なる形状を処理するために、RandLoraは各次元について必要な最大サイズで共有A行列とB行列を初期化します。フォワードパスでは、特定のレイヤー用の部分行列AとBがこれらの共有行列からスライスされ、論文に記述されているように使用されます。例えば、形状(100, 20)と(80, 50)の2つの線形レイヤーを適応させる場合、それぞれ形状(rank, 50)と(100, rank)のA行列とB行列が作成されます。その後、形状(100, 20)のレイヤーを適応させるには、形状(rank, 20)と(100, rank)の部分行列AとBが抽出されます。

RandLoraには現在、以下の制約があります:

- サポートされているのは`nn.Linear`レイヤーのみです。

論文の抄録は以下の通りです:

> Low-Rank Adaptation (LoRA)とそのバリアントは、ファインチューニングの性能を維持しながら、大規模なtransformerネットワークの学習可能パラメータ数とメモリ要件を削減する点で、印象的な結果を示してきました。しかし、重み更新の低ランク特性は、ファインチューニング済みモデルの表現力を本質的に制限するため、複雑なタスクにおける性能を損なう可能性があります。これにより、重要な問いが提起されます。LoRAと標準的なファインチューニングの間に性能差が観察された場合、それは学習可能パラメータ数の減少によるものなのか、それともランクの不足によるものなのでしょうか。
本論文では、学習可能な低ランクの非学習可能なランダム行列の線形結合を用いてフルランクの更新を実行するパラメータ効率の高い手法であるRandLoraを導入することで、この質問に答えることを目的としています。当社の手法は、固定されたランダム行列に適用される対角スケーリング行列への最適化を制限することで、学習可能なパラメータの数を制限します。これにより、学習中のパラメータおよびメモリ効率を維持しながら、低ランクの制約を効果的に克服できます。ビジョン、言語、ビジョン言語のベンチマークにわたる広範な実験を通じて、LoRAおよび既存のランダム基底手法の限界を体系的に評価しました。その結果、フルランクの更新はビジョンタスクおよび言語タスクそれぞれにおいて有益であることが明らかになり、特にビジョン言語タスクではその効果がさらに顕著であることが示されました。RandLoraは、標準的なファインチューニングとLoRA間の性能差を大幅に縮小し、場合によっては解消することで、その有効性を証明しています。

## ベンチマーク概要

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=RANDLORA" frameborder="0" width="850" height="1000"
>

# API

## RandLoraConfig[[peft.RandLoraConfig]]

#### peft.RandLoraConfig[[peft.RandLoraConfig]]

```python
peft.RandLoraConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 32, target_modules: list[str] | str | None = None, projection_prng_key: int = 0, save_projection: bool = True, sparse: bool = False, very_sparse: bool = False, randlora_dropout: float = 0.0, fan_in_fan_out: bool = False, randlora_alpha: int = 640, bias: str = 'none', modules_to_save: list[str] | None = None, init_weights: bool = True, layers_to_transform: list[int] | int | None = None, layers_pattern: str | None = None)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/randlora/config.py#L24)

**パラメータ:**

r (`int`、*optional*、デフォルトは`32`) : RandLoraのランダム基底のランク次元です。Loraとは異なり、このパラメータは学習可能なパラメータの量に反比例しており、値を下げると学習可能なパラメータが増加します。

target_modules (`Union[list[str], str]`) : RandLoraを適用するモジュールの名前。サポートされるのは線形層のみです。

projection_prng_key (`int`) : RandLora PRNG の初期化キー。新しいモデルの初期化、またはこれらの投影が含まれていないチェックポイントを読み込む際に、basis_A と basis_B の初期化に使用されます。デフォルト値は `0` です。

save_projection (`bool`) : 各層の lambda / gamma 対角行列とともに、グローバルな basis_A / basis_B ランダム基底を state dict に保存するかどうか。これによりチェックポイントのサイズは増加しますが、すべてのシステム構成でチェックポイントを再読み込みできることを保証します。デフォルトは `True` です。

sparse (`bool`) : RandLora論文で説明されているスパースなランダムベースを使用するかどうか。ベースは3値スパースベース（-1、0、1のみを含む）であり、-1と1の帰属確率は1/6、0の帰属確率は2/3です。これらのスパース行列は、将来的にmatmulなしの計算に使用されることを目指しています（https://huggingface.co/papers/2406.02528v1を参照）。現在の実装は概念実証であり、スパース性を活用して速度やメモリ使用量を改善していません。スパース行列の使用は通常、パフォーマンスを低下させず、むしろ過学習を軽減するのに役立つ場合があります。デフォルトは`False`です。

very_sparse (`bool`) : RandLora論文で説明されているように、高スパースなランダム基底を使用するかどうか。最小次元がdの行列に対して、非常にスパースな基底は3値スパース基底（-1、0、1のみを含む）であり、-1と1の帰属確率は1/√D、0の帰属確率は1- 2/√Dです。これらのスパース行列を使用することで、`sparse`の代替案よりも過学習をさらに低減できますが、結果としてパフォーマンスが低下する可能性が高いです。慎重に使用してください。デフォルトは`False`です。

randlora_dropout (`float`) : RandLora層のドロップアウト確率。

randlora_alpha (`float`) : RandLora層のスケーリング係数です。通常、ランクの20倍になります。デフォルトでは`randlora_alpha`係数が大きいため、特に学習率が高い場合に数値的不安定性を引き起こす可能性があります。学習が不安定な場合は、学習率または`randlora_alpha`係数を小さくすることを検討してください。

fan_in_fan_out (`bool`) : 置き換えるレイヤーが (fan_in, fan_out) の形式で重みを保存している場合は、これを True に設定します。例えば、gpt-2 は (fan_in, fan_out) の形式で重みを保存する `Conv1D` を使用しているため、これを `True` に設定する必要があります。

bias (`str`) : バイアスの種類。'none'、'all'、または 'randlora_only' を指定できます。'all' または 'randlora_only' を指定した場合、対応するバイアスが学習中に更新されます。この設定により、アダプターを無効にしても、適応なしのベースモデルが生成する出力と同じ結果は得られない点にご注意ください。

modules_to_save (`list[str]`) : RandLora層を除き、最終チェックポイントに保存されるよう学習可能に設定するモジュールのリスト。

init_weights (`bool`) : RandLora層の重みをデフォルトの初期化で初期化するかどうか。何をしているか正確に理解している場合を除き、この設定を変更しないでください。

layers_to_transform (`Union[list[int],int]`) : 変換対象のレイヤーのインデックスです。この引数が指定されている場合、このリストに指定されたレイヤーのインデックスに対して RandLora 変換が適用されます。単一の整数が渡された場合、そのインデックスのレイヤーに対して RandLora 変換が適用されます。

layers_pattern (`str`) : レイヤーパターン名。`layers_to_transform`が`None`と異なり、かつレイヤーパターンが共通のレイヤーパターンに含まれない場合にのみ使用されます。

これは、[RandLoraModel](/docs/peft/v0.22.0/ja/package_reference/randlora#peft.RandLoraModel)の設定を保存するための設定クラスです。

論文: https://huggingface.co/papers/2502.00987

## RandLoraModel[[peft.RandLoraModel]]

#### peft.RandLoraModel[[peft.RandLoraModel]]

```python
peft.RandLoraModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/randlora/model.py#L67)

**パラメータ:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : 適応させる対象のモデル。

config ([RandLoraConfig](/docs/peft/v0.22.0/ja/package_reference/randlora#peft.RandLoraConfig)) : RandLoraモデルの設定です。

adapter_name (`str`) : アダプターの名前。デフォルトは`"default"`です。

low_cpu_mem_usage (`bool`、`optional`、デフォルトは`False`) : メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。

**戻り値:** `torch.nn.Module`

RandLoraモデル。

事前学習済みのTransformersモデルからRandLoRAモデルを作成します。

例:

```py
>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)
```

**属性**:
- **model** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- 適応させる対象のモデル。
- **peft_config** ([RandLoraConfig](/docs/peft/v0.22.0/ja/package_reference/randlora#peft.RandLoraConfig)): RandLoraモデルの設定です。

