PEFT documentation

パラメータ効率の良いファインチューニング手法

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

パラメータ効率の良いファインチューニング手法

PEFT手法は、フルファインチューニングと同等の性能を目標としつつ、可能な限り少ないパラメータを学習します。学習可能なパラメータが少ないほど表現力が低くなるため、同じ性能が保証されるわけではありません。その代わりとして、メモリ使用量の削減、多くの場合での計算量の削減、エキスパートアダプター間の高速なホットスワップ、既存知識の忘却の軽減といった利点を得られます。

大規模モデルの学習に関する一般的なアドバイスを提供することは難しいですが、生成モデル、特に言語モデルについては、以下の手順に従うことができます。

  1. プロンプト(プロンプト内のフェューショット例など)を使用して、モデルがすでにそのタスクに対応できるかを確認してください。モデルが問題を解決できれば、素晴らしいです!これで、Prompt-based methodsを使用してプロンプトを学習し、貴重なトークンを節約できます。
  2. プロンプトベースの手法が不十分な場合は、レイヤーチューニングやアダプター手法を使用できます。これらの手法は、一般的にプロンプトベースの手法よりも表現力が高く、フルファインチューニングに近づきます。
  3. 各ファインチューニングのステップでは、過去の知識が忘却される可能性があるため、すでに学習済みの知識の保持を必ず測定してください。

PEFT手法比較スイートは、選択されたベンチマークとモデル上で実装されている(ほとんどの)手法の概観を提供することを目的としています。

PEFTの手法はすべて同じではなく、機能に違いがあります:

  • Quantization: 量子化されたベースモデルをサポートするメソッドはすべてではありません
  • 機能: すべての機能がすべてのメソッドでサポートされているわけではありません(例: 複数のアダプター、アダプター混在推論、マージ/アンマージ)
  • レイヤーの種類: リニアレイヤーは一般的にサポートされていますが、すべてのアダプター手法が埋め込み(語彙の拡張に重要)や畳み込みレイヤー(一部の画像モデルに重要)をサポートしているわけではありません
  • ランタイム: PEFT手法は一般的にランタイムのオーバーヘッドを追加しますが、その一部は軽減できます(例: アダプター重みのマージなど)。

プロンプトベースの手法

Promptingは、タスクを説明するテキストプロンプト、あるいはタスクの例を示すプロンプトを含めることで、フリーズされた事前学習モデルを特定のダウンストリームタスクに適用するための準備を行います。Promptingを使用することで、各ダウンストリームタスクごとに別のモデルを完全に訓練する必要がなくなり、同じフリーズされた事前学習モデルを再利用できます。これははるかに容易です。なぜなら、同じモデルを複数の異なるタスクに使用できるからです。また、モデルの全パラメータを訓練するよりも、プロンプトパラメータという小さなセットを訓練・保存する方が、はるかに効率的です。

プロンプト手法には2つのカテゴリがあります:

  • hard promptsとは、離散的な入力トークンを持つ、手作業で作成されたテキストプロンプトです。欠点としては、良いプロンプトを作成するには多大な労力が必要になることです。
  • soft promptsは、入力埋め込みと連結される学習可能なテンソルであり、データセットに対して最適化できます。その欠点は、これらの「仮想トークン」が実際の単語の埋め込みに対応付けられていないため、人間が読み解くことができない点です。

PEFTライブラリは、複数のプロンプティング手法(p-tuning、prefix tuning、prompt tuningなど)をサポートしています。ソフトプロンプト手法の完全な一覧については、目次をご覧ください。 これらの手法を他のタスクやユースケースに適用することにご興味がある場合は、ノートブックのコレクションをご覧ください!

因果言語モデルの学習に関する一般的なプロセスへの基本的な理解があると、ソフトプロンプティング手法に集中できるため、非常に役立ちます。初めての方は、まずTransformersドキュメントのCausal language modelingガイドを確認することをお勧めします。準備が整ったら、戻ってきて、PEFTを学習に組み込むのがいかに簡単かをご覧ください。

レイヤーチューニング

Layer Tuningは、特定の1種類のレイヤーまたはレイヤーの特定の側面をターゲットとする手法を分類します。例えば、LayerNorm TuningはLayerNormレイヤーのみをターゲットとし、TrainableTokensは埋め込み行列内の特定のトークンのみをターゲットとします。これに対し、プロンプトベースの手法はモデルの入力に対して動作し、アダプター手法は既存の重みを拡張します。これらの手法は一般的にレイヤーの種類への依存性が低く、線形レイヤーや畳み込みレイヤーをターゲットとします。

アダプターメソッド

Adapterメソッドは、既存のモデルに比較的小さな学習可能な行列を追加してファインチューニングを行う方法と見なすことができます。その目的は、メモリや計算リソースなどのリソースを節約するために、ファインチューニングが必要なタスクの方向に大規模モデルを誘導するための、少数の学習可能なパラメータを導入することです。

アダプタを実現する一般的な方法として、適応後の重みのレイアウトに対する低ランク分解である小さな学習可能な行列を挿入し、メモリを節約する手法があります。重み行列を低ランク分解として表現する方法はいくつか存在しますが、Low-Rank Adaptation (LoRA) が最も一般的な手法です。PEFT ライブラリはこの定式化のいくつかのバリエーションをサポートしています。その中には LoRA の直接的なバリエーションとして LoRA の下にドキュメント化されているものや、Low-Rank Hadamard Product (LoHa)、Low-Rank Kronecker Product (LoKr)、Adaptive Low-Rank Adaptation (AdaLoRA) のように、独立した手法とみなせるほど異なるものもあります。セマンティックセグメンテーションやトークン分類などの他のタスクやユースケースにこれらの手法を適用したい場合は、ノートブックコレクションをご覧ください。

LoRAは最も人気のあるPEFT手法の一つであり、PEFTを始めたばかりの方にとっての良い出発点です。当初は大型言語モデル向けに開発されましたが、その効率性と効果の高さから、拡散モデルの学習手法としても非常に人気があります。

低ランクアダプタは、アダプタの定式化の一つに過ぎません。PEFTは、それ以外の多くの種類のアダプタも実装しています。例えば、直交ファインチューニング手法(OFT、BOFT、…)は、アダプタの重みの直交分解を用いてサイズを小さくします。MiSSのような手法は、行列をシャード化し、これらのシャードを共有することでメモリを節約します。IA3は、キー、バリュー、およびフィードフォワードの活性化を再スケーリングする学習ベクトルを導入します。

Update on GitHub