# Cấu hình và mô hình PEFT

Quy mô khổng lồ của các mô hình tiền huấn luyện lớn ngày nay - thường có hàng tỷ tham số - đặt ra thách thức huấn luyện đáng kể vì chúng đòi hỏi nhiều không gian lưu trữ hơn và nhiều sức mạnh tính toán hơn để xử lý tất cả các phép tính. Bạn sẽ cần quyền truy cập vào các GPU hoặc TPU mạnh mẽ để huấn luyện các mô hình tiền huấn luyện lớn này, điều này rất tốn kém, không phải ai cũng dễ dàng tiếp cận, không thân thiện với môi trường và không thực tế. Các phương pháp PEFT giải quyết nhiều thách thức trong số đó. Có một số loại phương pháp PEFT (soft prompting, matrix decomposition, adapters), nhưng tất cả đều tập trung vào cùng một mục tiêu: giảm số lượng tham số có thể huấn luyện. Điều này giúp việc huấn luyện và lưu trữ các mô hình lớn trở nên dễ tiếp cận hơn trên phần cứng tiêu dùng.

Thư viện PEFT được thiết kế để giúp bạn nhanh chóng huấn luyện các mô hình lớn trên GPU miễn phí hoặc chi phí thấp, và trong hướng dẫn này, bạn sẽ học cách thiết lập cấu hình để áp dụng một phương pháp PEFT lên một mô hình cơ sở đã được huấn luyện trước cho mục đích huấn luyện. Sau khi cấu hình PEFT được thiết lập, bạn có thể sử dụng bất kỳ framework huấn luyện nào bạn thích (lớp [Trainer](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.Trainer) của Transformers, [Accelerate](https://hf.co/docs/accelerate), hoặc một vòng lặp huấn luyện PyTorch tùy chỉnh).

## Cấu hình PEFT

> [!TIP]
> Tìm hiểu thêm về các tham số có thể cấu hình cho từng phương pháp PEFT trên trang tham chiếu API tương ứng.

Một cấu hình lưu trữ các tham số quan trọng quy định cách một phương pháp PEFT cụ thể nên được áp dụng.

Ví dụ, hãy xem xét `LoraConfig` sau đây để áp dụng LoRA và `PromptEncoderConfig` để áp dụng p-tuning (các tệp cấu hình này đã được JSON-serialized). Mỗi khi bạn tải một PEFT adapter, nên kiểm tra xem nó có tệp `adapter_config.json` liên quan hay không, vì tệp này là bắt buộc.

```json
{
  "base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
  "bias": "none",
  "fan_in_fan_out": false,
  "inference_mode": true,
  "init_lora_weights": true,
  "layers_pattern": null,
  "layers_to_transform": null,
  "lora_alpha": 32,
  "lora_dropout": 0.05,
  "modules_to_save": null,
  "peft_type": "LORA", #PEFT method type
  "r": 16,
  "revision": null,
  "target_modules": [
    "q_proj", #model modules to apply LoRA to (query and value projection layers)
    "v_proj"
  ],
  "task_type": "CAUSAL_LM" #type of task to train model on
}
```

Bạn có thể tạo cấu hình riêng cho việc huấn luyện bằng cách khởi tạo [LoraConfig](/docs/peft/v0.22.0/vi/package_reference/lora#peft.LoraConfig).

```py
from peft import LoraConfig, TaskType

lora_config = LoraConfig(
    r=16,
    target_modules=["q_proj", "v_proj"],
    task_type=TaskType.CAUSAL_LM,
    lora_alpha=32,
    lora_dropout=0.05
)
```

```json
{
  "base_model_name_or_path": "roberta-large", #base model to apply p-tuning to
  "encoder_dropout": 0.0,
  "encoder_hidden_size": 128,
  "encoder_num_layers": 2,
  "encoder_reparameterization_type": "MLP",
  "inference_mode": true,
  "num_attention_heads": 16,
  "num_layers": 24,
  "num_transformer_submodules": 1,
  "num_virtual_tokens": 20,
  "peft_type": "P_TUNING", #PEFT method type
  "task_type": "SEQ_CLS", #type of task to train model on
  "token_dim": 1024
}
```

Bạn có thể tạo cấu hình riêng cho việc huấn luyện bằng cách khởi tạo [PromptEncoderConfig](/docs/peft/v0.22.0/vi/package_reference/p_tuning#peft.PromptEncoderConfig).

```py
from peft import PromptEncoderConfig, TaskType

p_tuning_config = PromptEncoderConfig(
    encoder_reparameterization_type="MLP",
    encoder_hidden_size=128,
    num_attention_heads=16,
    num_layers=24,
    num_transformer_submodules=1,
    num_virtual_tokens=20,
    token_dim=1024,
    task_type=TaskType.SEQ_CLS
)
```

## Mô hình PEFT

Khi đã có cấu hình PEFT, bạn có thể áp dụng nó cho bất kỳ mô hình được huấn luyện trước nào để tạo ra một [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel). Bạn có thể chọn từ bất kỳ mô hình tiên tiến nào trong thư viện [Transformers](https://hf.co/docs/transformers), một mô hình tùy chỉnh, và thậm chí cả các kiến trúc transformer mới và chưa được hỗ trợ.

Đối với hướng dẫn này, hãy tải một mô hình cơ sở [facebook/opt-350m](https://huggingface.co/facebook/opt-350m) để tinh chỉnh.

```py
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")
```

Sử dụng hàm [get_peft_model()](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.get_peft_model) để tạo một [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) từ mô hình cơ sở facebook/opt-350m và `lora_config` mà bạn đã tạo trước đó.

```py
from peft import get_peft_model

lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()
```

> [!WARNING]
> Khi gọi [get_peft_model()](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.get_peft_model), mô hình cơ sở sẽ bị thay đổi *in-place*. Điều đó có nghĩa là, khi gọi [get_peft_model()](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.get_peft_model) trên một mô hình đã bị thay đổi theo cách tương tự trước đó, mô hình này sẽ tiếp tục bị biến đổi. Do đó, nếu bạn muốn thay đổi cấu hình PEFT của mình sau khi đã gọi `get_peft_model()` trước đó, bạn trước tiên phải gỡ bỏ mô hình bằng [unload()](/docs/peft/v0.22.0/vi/package_reference/tuners#peft.tuners.tuners_utils.BaseTuner.unload) và sau đó gọi `get_peft_model()` với cấu hình mới. Ngoài ra, bạn có thể khởi tạo lại mô hình để đảm bảo trạng thái mới, chưa bị thay đổi trước khi áp dụng cấu hình PEFT mới.

Bây giờ bạn có thể huấn luyện [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) bằng framework huấn luyện ưa thích của mình! Sau khi huấn luyện, bạn có thể lưu model cục bộ bằng [save_pretrained()](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel.save_pretrained) hoặc tải lên Hub bằng phương thức [push_to_hub](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.push_to_hub).

```py
# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")

# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")
```

Để nạp một [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) cho suy luận, bạn cần cung cấp [PeftConfig](/docs/peft/v0.22.0/vi/package_reference/config#peft.PeftConfig) đã được sử dụng để tạo nó và mô hình cơ sở mà nó được huấn luyện từ đó.

```py
from peft import PeftModel, PeftConfig

config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")
```

> [!TIP]
> Mặc định, [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) được thiết lập cho suy luận, nhưng nếu bạn muốn huấn luyện thêm adapter, bạn có thể đặt `is_trainable=True`.
>
> ```py
> lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)
> ```

Phương thức [PeftModel.from_pretrained()](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel.from_pretrained) là cách linh hoạt nhất để nạp một [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) vì nó không phụ thuộc vào framework mô hình được sử dụng (Transformers, timm, một mô hình PyTorch tổng quát). Các lớp khác, như [AutoPeftModel](/docs/peft/v0.22.0/vi/package_reference/auto_class#peft.AutoPeftModel), chỉ là một lớp bọc tiện lợi xung quanh [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) cơ bản, giúp việc nạp các mô hình PEFT trực tiếp từ Hub hoặc từ địa phương (nơi lưu trữ trọng số PEFT) trở nên dễ dàng hơn.

```py
from peft import AutoPeftModelForCausalLM

lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")
```

Xem tài liệu tham khảo API [AutoPeftModel](../package_reference/auto_class) để tìm hiểu thêm về các lớp [AutoPeftModel](/docs/peft/v0.22.0/vi/package_reference/auto_class#peft.AutoPeftModel).

## Các bước tiếp theo

Với [PeftConfig](/docs/peft/v0.22.0/vi/package_reference/config#peft.PeftConfig) phù hợp, bạn có thể áp dụng nó cho bất kỳ mô hình được huấn luyện trước nào để tạo ra một [PeftModel](/docs/peft/v0.22.0/vi/package_reference/peft_model#peft.PeftModel) và huấn luyện các mô hình lớn mạnh mẽ nhanh hơn trên các GPU có sẵn miễn phí! Để tìm hiểu thêm về cấu hình và mô hình PEFT, hướng dẫn sau có thể hữu ích:

* Tìm hiểu cách cấu hình một phương pháp PEFT cho các mô hình không đến từ Transformers trong hướng dẫn [Làm việc với các mô hình tùy chỉnh](../developer_guides/custom_models).

