PEFT documentation
المُكيّفات ذات الرتبة العالية المتناثرة
المُكيّفات ذات الرتبة العالية المتناثرة
المُكيِّفات ذات الرتبة العالية المتناثرة أو SHiRA هي نوع بديل من المُكيِّفات، وقد تبيّن أنها تتمتع بمزايا كبيرة مقارنةً بالمُكيِّفات ذات الرتبة المنخفضة. على وجه التحديد، يحقق SHiRA دقة أفضل من LoRA في مجموعة متنوعة من مهام الرؤية واللغة. كما يوفر دمجًا أبسط وأعلى جودة للمُكيِّفات المتعددة من خلال تقليل كبير لفقدان المفهوم، وهو مشكلة شائعة تواجه المُكيِّفات ذات الرتبة المنخفضة. يقوم SHiRA بضبط دقيق مباشر لعدد صغير من معاملات النموذج الأساسي لتدريب النموذج على أي مهمة تكيّف.
تخضع SHiRA حاليًا للقيود التالية:
- يتم دعم طبقات
nn.Linearفقط.
ملخص الورقة البحثية هو:
حظيت تقنية التكيف منخفض الرتبة (LoRA) باهتمام هائل في أبحاث الذكاء الاصطناعي التوليدي الحديثة. ومن أبرز مزايا LoRA قدرتها على الدمج مع النماذج المُدرَّبة مسبقًا دون إضافة أي عبء أثناء الاستدلال. ومع ذلك، من منظور النشر على الأجهزة المحمولة، إما أن نتجنب عبء الاستدلال في وضع الدمج مع فقدان القدرة على التبديل السريع بين المُكيِّفات، أو نتحمّل تأخيرًا كبيرًا في الاستدلال (يصل إلى 30% أعلى) مع تمكين التبديل السريع في وضع غير المدمج. كما تُظهر LoRA ظاهرة فقدان المفاهيم عند استخدام عدة مُكيِّفات في وقت واحد. في هذه الورقة، نقترح المُكيِّفات عالية الرتبة المتناثرة (SHiRA)، وهي نموذج جديد لا يُسبب أي عبء على الاستدلال، ويمكّن من التبديل السريع، ويقلّل بشكل كبير من فقدان المفاهيم. على وجه التحديد، يمكن تدريب SHiRA عن طريق ضبط 1-2% فقط من أوزان النموذج الأساسي مباشرةً مع إبقاء البقية دون تغيير. وهذا يؤدي إلى مُكيِّف متناثر للغاية يمكن تبديله مباشرةً في وضع الدمج. كما نوفر رؤى نظرية وتجريبية حول كيفية مساعدة التناثر العالي في SHiRA على دمج المُكيِّفات المتعددة من خلال تقليل فقدان المفاهيم. تُظهر تجاربنا الواسعة على النماذج اللغوية المرئية (LVMs) والنماذج اللغوية الكبيرة (LLMs) أن ضبط جزء صغير فقط من المعلمات في النموذج الأساسي يتفوق بشكل كبير على LoRA مع تمكين كل من التبديل السريع ودمج المُكيِّفات المتعددة. أخيرًا، نوفر تنفيذًا لـ SHiRA موفّرًا للزمن والذاكرة يعتمد على مكتبة الضبط الفعال للمعلمات (PEFT) Library، والذي يُدرَّب بسرعة شبه متساوية مع LoRA بينما يستهلك ذاكرة GPU ذروة أقل بنسبة تصل إلى 16%، مما يجعل SHiRA سهل التبنّي لحالات الاستخدام العملية. ولإظهار فوائد التبديل السريع أثناء الاستدلال، نُظهر أن تحميل SHiRA على نموذج أساسي يمكن أن يكون أسرع بـ 5 إلى 16 مرة من دمج LoRA على وحدة المعالجة المركزية (CPU).
نظرة عامة على الاختبارات
واجهة برمجة التطبيقات
ShiraConfig
فئة peft.ShiraConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32mask_type: Literal['random'] = 'random'random_seed: Optional[int] = Nonetarget_modules: Optional[Union[list[str], str]] = Nonefan_in_fan_out: bool = Falseinit_weights: bool = Truemodules_to_save: Optional[list[str]] = None )
المعاملات
- r (
int، اختياري، القيمة الافتراضية32) — بالنسبة لوحدة الهدف المحددة، يتم حساب عدد معاملات SHiRA على النحو r(m+n)، حيث تكون أبعاد المصفوفة الأصلية m x n. وهذا يعني أن عدد معاملات SHiRA هو نفسه عدد معاملات محوّل LoRA. SHiRA هو محوّل ذو رتبة عالية. ضبط معامل r هذا لا يقيّد الرتبة بهذه القيمة. - mask_type (
str، القيمة الافتراضيةrandom) — نوع دالة القناع. القيمة الافتراضية هي قناع متناثر عشوائي. يمكن أيضًا تقديم دالة قناع محددة من قبل المستخدم لحساب قيمة القناع، وذلك عن طريق إنشاءconfig = ShiraConfig(...)ثم تعيينconfig.mask_fn = <your custom mask function>. بالنسبة لوزن مُدرَّب مسبقًا بأبعاد m x n، يجب أن تُرجع دالة القناع المخصصة قناعًا واحدًا فقط (الأبعاد: m x n) ويجب أن يكون ثنائي القيمة 0 أو 1 مع num_shira_parameters = r(m + n) للطبقات الخطية. يجب أن يكون الجهاز ونوع البيانات للقناع مطابقين لجهاز ونوع بيانات وزن الطبقة الأساسية. يرجى الرجوع إلى mask_functions.py لمزيد من التفاصيل وللاطلاع على تنفيذ القناع المتناثر العشوائي الافتراضي. - random_seed (
int، اختياري، القيمة الافتراضيةNone) — البذرة العشوائية لمولّد torch الخاص بـ random_mask. - target_modules (
Union[List[str], str]) — قائمة بأسماء الوحدات أو تعبير نمطي (regex) لأسماء الوحدات التي سيتم استبدالها بـ SHiRA. على سبيل المثال، [‘q’, ‘v’] أو ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘. يتم دعم الطبقات الخطية فقط. - fan_in_fan_out (
bool) — اضبط هذا على True إذا كانت الطبقة التي سيتم استبدالها تخزن الأوزان على شكل (fan_in, fan_out). على سبيل المثال، يستخدم gpt-2Conv1Dالذي يخزن الأوزان على شكل (fan_in, fan_out) وبالتالي يجب ضبط هذا علىTrue. - init_weights (
bool، القيمة الافتراضيةTrue) — تهيئة أوزان SHiRA بقيم صفرية. إذا تم ضبطها على False، فسيتم تهيئة أوزان SHiRA بقيم randn بدلاً من الأصفار، ويُستخدم هذا فقط للاختبار. - modules_to_save (
List[str]) — قائمة بالوحدات، بخلاف طبقات SHiRA، التي يجب تعيينها قابلة للتدريب وحفظها في نقطة الفحص النهائية.
هذه هي فئة الإعدادات لتخزين إعدادات ShiraModel.
ShiraModel
فئة peft.ShiraModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
المعاملات
- model (PreTrainedModel) — النموذج الذي سيتم تكييفه.
- config (ShiraConfig) — إعدادات نموذج SHiRA.
- adapter_name (
str) — اسم المُكيّف، القيمة الافتراضية هي"default".
يعيد
torch.nn.Module
نموذج SHiRA.
ينشئ نموذج Sparse High Rank Adapter (SHiRA) من نموذج مُدرَّب مسبقًا.
مثال:
>>> from transformers import AutoModelForCausalLM
>>> from peft import ShiraConfig, get_peft_model
>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = ShiraConfig(r=32)
>>> model = get_peft_model(base_model, config)الخصائص:
- model (PreTrainedModel) — النموذج الذي سيتم تكييفه.
- peft_config (ShiraConfig): إعدادات نموذج SHiRA.