PEFT documentation

FourierFT:离散傅里叶变换微调

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FourierFT:离散傅里叶变换微调

FourierFT 是一种参数高效微调技术,它利用离散傅里叶变换来压缩模型的可调权重。与 LoRA 相比,该方法在 GLUE 基准测试和常见的 ViT 分类任务中表现更优,且使用的参数更少。

FourierFT 目前存在以下限制:

  • 仅支持 nn.Linear 层。
  • 不支持量化层。

如果这些约束条件不适用于您的使用场景,请考虑采用其他方法。

何时使用 FourierFT 与 LoRA

LoRA 使用两个低秩矩阵来表示权重更新。FourierFT 则在傅里叶域中学习选定的系数,并使用逆离散傅里叶变换来重构更新。

FourierFT 在需要减少可训练适配器参数数量或降低适配器存储大小时可能非常有用。其 n_frequency 设置控制每个适配层的学习系数数量。较高的值通常需要更多的 GPU 内存,并可能提升准确率,因此合适的设置取决于具体的任务和模型。

FourierFT 论文报告称,在其评估的语言理解、文本生成、指令微调和图像分类实验中,其结果与 LoRA 相当或更优,且在这些配置下可训练参数更少。这些结果是特定于任务的;它们并不能保证 FourierFT 在不同的模型或数据集上会优于 LoRA。

该论文的摘要如下:

低秩适应(LoRA)最近在基础模型微调中引起了广泛关注。它通过引入低秩矩阵 A 和 B 来表示权重变化,即 Delta W=BA,从而有效减少了可训练参数的数量。尽管 LoRA 取得了进展,但在处理大量定制化适应或更大的基础模型时,它面临着存储挑战。在本工作中,我们旨在利用傅里叶变换的强大表达能力,进一步压缩可训练参数。具体而言,我们提出了 FourierFT,该方法将 Delta W 视为空间域中的矩阵,并仅学习其频谱系数的一小部分。利用训练好的频谱系数,我们执行逆离散傅里叶变换来恢复 Delta W。实证研究表明,在包括自然语言理解、自然语言生成、指令微调和图像分类在内的各种任务上,我们的 FourierFT 方法以比 LoRA 更少的参数展示了相当或更优的性能。例如,在对 LLaMA2-7B 模型进行指令微调时,FourierFT 仅使用 0.064M 可训练参数就超越了 LoRA,而 LoRA 使用了 33.5M。

基准测试概览

API

FourierFTConfig

类 peft.FourierFTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 1000scaling: float = 150.0random_loc_seed: Optional[int] = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>init_weights: bool = False )

参数

  • n_frequency (int) — 离散傅里叶变换中可学习频率的数量。‘n_frequency’ 是一个大于 0 且小于或等于 d^2 的整数(假设权重 W 的维度为 d by d)。 此外,它也是更新每个 delta W 权重所需的可训练参数数量。 ‘n_frequency’ 会影响 PEFT 的性能和效率。具体来说,它对训练速度的影响很小,但其值较高时(通常)会导致更大的 GPU 内存开销并带来更高的准确率。 在相同的 target_modules 下,LoRA 的参数数量是 FourierFT 的 (2dr/n_frequency) 倍。 以下关于 ‘n_frequency’ 的设置示例可供用户参考。 对于使用 RoBERTa-large 模型的 NLU 任务,采用 ‘n_frequency’: 1000 几乎可以达到与 LoRA 中 ‘r’: 8 相似的结果。 此时,LoRA 的参数数量约为 FourierFT 的 16 倍。对于使用 Vit-large 模型的图像分类任务,采用 ‘n_frequency’: 3000 几乎可以达到与 LoRA 中 ‘r’: 16 相似的结果, 其中 LoRA 的参数数量约为 FourierFT 的 11 倍。
  • scaling (float) — 用于 delta W 矩阵的缩放值。这是一个用于缩放的重要超参数,类似于 LoRA 方法中的 ‘lora_alpha’ 参数。‘scaling’ 可以在超参数搜索过程中确定。但是,如果用户希望跳过此过程,可以参考以下场景中的设置。对于所有 NLU (GLUE) 任务,RoBERTa-base 和 RoBERTa-large 模型的该参数均可设置为 100.0 或 150.0。对于所有指令微调,LLaMA 系列模型的该参数均可设置为 300.0。对于所有图像分类任务,ViT-base 和 ViT-large 模型的该参数均可设置为 300.0。
  • random_loc_seed (int) — 频率随机位置的种子,即频谱条目矩阵。
  • target_modules (Union[list[str],str]) — 要替换为 FourierFT 的模块名称列表或模块名称的正则表达式。例如,[‘q’, ‘v’] 或 ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘。仅支持线性层。
  • exclude_modules (Optional[Union[List[str], str]]) — 不应用适配器的模块名称。传入字符串时,将执行正则表达式匹配。传入字符串列表时,将执行精确匹配,或检查模块名称是否以传入的任一字符串结尾。
  • fan_in_fan_out (bool) — 如果待替换的层以 (fan_in, fan_out) 的形式存储权重,请将此项设置为 True。
  • bias (str) — FourierFT 的偏置类型。可以是 ‘none’、‘all’ 或 ‘fourier_only’。
  • modules_to_save (list[str]) — 除 FourierFT 层外,需要设置为可训练并在最终检查点中保存的模块列表。例如,在序列分类或标记分类任务中,最终层 classifier/score 是随机初始化的,因此需要设置为可训练并保存。
  • layers_to_transform (Union[list[int],int]) — 要转换的层索引。如果指定了此参数,PEFT 将仅转换该列表中指定的层索引。如果传入单个整数,PEFT 将仅转换该索引处的层。
  • layers_pattern (Optional[Union[List[str], str]]) — 层模式名称,仅在 layers_to_transform 不为 None 且该层模式不在通用层模式列表中时使用。此参数应指向模型的 nn.ModuleList,通常命名为 'layers' 或 'h'。
  • n_frequency_pattern (dict) — 从层名称或正则表达式到与默认值不同的 n_frequency 的映射。例如,{model.decoder.layers.0.encoder_attn.k_proj: 1000}。
  • init_weights (bool) — 傅里叶权重的初始化方式。如果频谱初始化为标准正态分布,请将其设置为 False(默认值)。如果频谱初始化为零,请将其设置为 True。

这是用于存储 FourierFTModel 配置的类。

FourierFTModel

类 peft.FourierFTModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

参数

  • model (torch.nn.Module) — 要适配的模型。
  • config (FourierFTConfig) — FourierFT 模型的配置。
  • adapter_name (str) — 适配器的名称,默认为 "default"。
  • low_cpu_mem_usage (bool, optional, defaults to False) — 在 meta 设备上创建空的适配器权重。有助于加快加载过程。

返回值

torch.nn.Module

FourierFT 模型。

从预训练的 transformers 模型创建 FourierFT 模型。

该方法的详细描述见 https://huggingface.co/papers/2405.03003。

属性:

Update on GitHub