PaCA: تكييف الاتصال الجزئي

PaCA (ICLR 2025) هو أسلوب PEFT يستهدف سرعة التدريب وذاكرة التنشيط. يقوم بإعادة ضبط r من أعمدة المدخلات المختارة عشوائياً (والمعروفة بـ"الاتصالات الجزئية") لكل وزن مُسبق التدريب المستهدف. المعلمات القابلة للتدريب الوحيدة هي تحديثات هذه الأعمدة؛ وعلى عكس LoRA، لا يضيف PaCA أي مصفوفات منخفضة الرتبة إضافية.

تعمل طرق مثل LoRA على تشغيل فرع صغير منخفض الرتبة بجانب كل طبقة مُدرَّبة مسبقًا. يحتاج الفرع إلى عدد قليل من عمليات FLOPs، لكنه يُنفَّذ بالتتابع مع الطبقة المُدرَّبة مسبقًا، كما أنه يحتفظ بنسخة خاصة به من تنشيط الإدخال لمرحلة الرجوع الخلفي. تتجنب PaCA كلا الأمرين:

• عملية GEMM واحدة لكل طبقة. تُكتب الأعمدة المُعدَّلة في الأوزان المُسبقة التدريب مباشرةً قبل عملية الضرب المصفوفي الخاصة بها، ثم تُستعاد مباشرةً بعدها، بحيث تُنفَّذ كل من العملية الأمامية والعكسية عملية ضرب مصفوفي واحدة فقط، تمامًا كما في الطبقة الأساسية المجمَّدة.
• تفعيلات جزئية. يعتمد تدرّج الأعمدة المُكيَّفة فقط على قنوات الإدخال r المطابقة، لذا تُحفظ تلك القنوات وحدها لمرحلة الرجوع بدلاً من الإدخال الكامل.

من حيث الأوزان الناتجة، يتكافئ مُكيّف PaCA مع مُكيّف LoRA من الرتبة r تكون مصفوفة A فيه مُحدِّد أعمدة ثابتًا: W' = W + delta @ S، حيث تختار S الأعمدة الـr. وبالتالي يمكن تحويله إلى مُكيّف LoRA من الرتبة r دون أي خسارة عبر convert_to_lora()، على سبيل المثال لخدمته عبر مجموعة أدوات استدلال LoRA.

متى تستخدم PaCA:

• تريد دقة بمستوى LoRA مع خطوات ضبط أسرع وذاكرة تنشيط أقل، على سبيل المثال لملاءمة تسلسلات أطول أو دفعات أكبر على نفس وحدة معالجة الرسوميات.
• تريد مُكيّفًا يندمج تمامًا في الأوزان الأساسية (حيث إن التحديث هو تحديث عمود عادي).

القيود الحالية:

• يتم دعم طبقات nn.Linear فقط (بما في ذلك طبقات الخطية المُكمّاة).
• تنفّذ PaCA عملية ضرب المصفوفات بنفسها بدلاً من استدعاء forward للطبقة الأساسية، لذا فإنّ الخطافات الأمامية المسجّلة على الطبقة الأساسية لا تُستدعى (يتم إصدار تحذير). سجّل الخطافات على طبقة PaCA بدلاً من ذلك.
• لا يتم دعم دفعات المحوِّلات المختلطة (الحجة adapter_names).
• لم يتم اختبار التدريب بأوزان مجزأة (FSDP، DeepSpeed ZeRO-3) بعد.
• torch.compile مدعوم: أثناء التجميع، تُنفَّذ عمليات تبديل الأعمدة، وضرب المصفوفات، والاستعادة كعمليات مخصصة معتمة (torch.ops.peft.paca_linear_forward/_backward)، لذا لا ينسخ المُجمِّع الأوزان الأساسية. يتطلب هذا torch.library.custom_op (PyTorch >= 2.4)؛ وإلا فسيتم تتبع التنفيذ المباشر.
• paca_alpha / r يضبط تحديث العمود، وبالتالي يعمل كمضاعف لمعدل التعلم الفعلي.
• لأغراض الاستدلال، ادمج المُكيّف (merge_and_unload())؛ فالتنفيذ الأمامي غير المدمج لا يزال يقوم بتبديل الأعمدة داخلًا وخارجًا مع كل استدعاء.

الاستخدام

from transformers import AutoModelForCausalLM
from peft import PacaConfig, get_peft_model

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-3B")
config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear", random_seed=0)
model = get_peft_model(model, config)
model.print_trainable_parameters()

بشكل افتراضي، تُحسّن كل طبقة مستهدفة r من الأعمدة المختارة عشوائياً؛ وفي الورقة البحثية، كان هذا الأداء على قدم المساواة مع اختيار الأعمدة بناءً على معيار الوزن أو بناءً على التدرجات المتراكمة. لاختيار الأعمدة بنفسك، على سبيل المثال لتجربة استراتيجية اختيار أخرى أو لاستخدام عدد مختلف من الأعمدة لكل طبقة، مرّر paca_indices_pattern. مفاتيحه هي أسماء الطبقات أو تعبيرات منتظمة، كما في rank_pattern الخاص بـ LoRA:

config = PacaConfig(
    r=16,
    paca_alpha=16,
    target_modules=["q_proj", "v_proj"],
    paca_indices_pattern={"layers.0.self_attn.q_proj": [0, 2, 4, 6], "layers.1.self_attn.v_proj": list(range(32))},
)

تُعدّل الطبقات التي تطابق مفتاحًا الأعمدة المحددة، بينما تختار جميع الطبقات المستهدفة الأخرى r عمودًا عشوائيًا. تكون المعايَرة paca_alpha / r باستخدام قيمة r من الإعدادات في كل طبقة، لذا فإن paca_alpha تعني الشيء نفسه لجميع الطبقات.

ملخص الورقة البحثية هو:

تقلّل خوارزميات الضبط الدقيق الفعّال من حيث المعلمات (PEFT) السابقة من استهلاك الذاكرة والتكاليف الحسابية للضبط الدقيق لنماذج الشبكات العصبية الكبيرة من خلال تدريب عدد قليل فقط من معلمات المحوّلات الإضافية، بدلاً من تدريب النموذج بأكمله. ومع ذلك، فإن التقليل في التكاليف الحسابية الناتج عن PEFT لا يترجم بالضرورة إلى تقليل في وقت التدريب؛ فبينما تكون التكاليف الحسابية لطبقات المحوّل أصغر بكثير من الطبقات المُسبقة التدريب، إلا أنه من المعروف جيدًا أن هذين النوعين من الطبقات تتم معالجتهما بشكل تسلسلي على وحدات معالجة الرسوميات (GPUs)، مما يؤدي إلى زيادة كبيرة في زمن الاستجابة. تتجنّب LoRA ومتغيّراتها هذا العبء الزمني من خلال دمج مصفوفات المحوّل ذات الرتبة المنخفضة مع الأوزان المُسبقة التدريب أثناء الاستدلال. ومع ذلك، لا يمكن دمج تلك الطبقات أثناء التدريب، إذ يجب أن تبقى الأوزان المُسبقة التدريب مجمّدة بينما تُحدَّث مصفوفات المحوّل ذات الرتبة المنخفضة باستمرار على مدار التدريب. علاوة على ذلك، لا تقلّل LoRA ومتغيّراتها من ذاكرة التنشيطات، لأن مصفوفة المحوّل ذات الرتبة المنخفضة الأولى لا تزال تتطلب تنشيطات الإدخال للأوزان المُسبقة التدريب لحساب تدرّجات الأوزان. للتخفيف من هذه المشكلة، نقترح تكيّف الاتصال الجزئي (PaCA)، الذي يضبط بدقة اتصالات جزئية مختارة عشوائياً داخل الأوزان المُسبقة التدريب بدلاً من إدخال طبقات محوّل في النموذج. لا يعزّز PaCA سرعة التدريب فحسب، من خلال إزالة العبء الزمني الناتج عن المعالجة التسلسلية لطبقات المحوّل والطبقات المُسبقة التدريب، بل يقلّل أيضاً من ذاكرة التنشيطات، إذ لا حاجة لتخزين تنشيطات جزئية فقط، بدلاً من التنشيطات الكاملة، لحساب التدرّجات. مقارنةً بـ LoRA، يقلّل PaCA وقت التدريب بنسبة 22% واستهلاك الذاكرة الكلي بنسبة 16%، مع الحفاظ على دقة مماثلة عبر سيناريوهات ضبط دقيق متنوعة، مثل الضبط الدقيق على مجموعة بيانات MMLU والضبط التعليمي على مجموعة بيانات Oasst1. يمكن أيضاً دمج PaCA مع التكميم، مما يتيح ضبط نماذج كبيرة بدقة مثل LLaMA3.1-70B. بالإضافة إلى ذلك، يتيح PaCA التدريب مع تسلسلات أطول بنسبة 23% ويحسّن الإنتاجية بنسبة 16% على كل من وحدة معالجة الرسوميات NVIDIA A100 ووحدة المعالجة المتوازية INTEL Gaudi2 HPU مقارنةً بـ LoRA.

نظرة عامة على الاختبارات

واجهة برمجة التطبيقات

PacaConfig

PacaModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import PacaConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear")
>>> model = get_peft_model(base_model, config)