PEFT documentation
Cấu hình và mô hình PEFT
Cấu hình và mô hình PEFT
Quy mô khổng lồ của các mô hình tiền huấn luyện lớn ngày nay - thường có hàng tỷ tham số - đặt ra thách thức huấn luyện đáng kể vì chúng đòi hỏi nhiều không gian lưu trữ hơn và nhiều sức mạnh tính toán hơn để xử lý tất cả các phép tính. Bạn sẽ cần quyền truy cập vào các GPU hoặc TPU mạnh mẽ để huấn luyện các mô hình tiền huấn luyện lớn này, điều này rất tốn kém, không phải ai cũng dễ dàng tiếp cận, không thân thiện với môi trường và không thực tế. Các phương pháp PEFT giải quyết nhiều thách thức trong số đó. Có một số loại phương pháp PEFT (soft prompting, matrix decomposition, adapters), nhưng tất cả đều tập trung vào cùng một mục tiêu: giảm số lượng tham số có thể huấn luyện. Điều này giúp việc huấn luyện và lưu trữ các mô hình lớn trở nên dễ tiếp cận hơn trên phần cứng tiêu dùng.
Thư viện PEFT được thiết kế để giúp bạn nhanh chóng huấn luyện các mô hình lớn trên GPU miễn phí hoặc chi phí thấp, và trong hướng dẫn này, bạn sẽ học cách thiết lập cấu hình để áp dụng một phương pháp PEFT lên một mô hình cơ sở đã được huấn luyện trước cho mục đích huấn luyện. Sau khi cấu hình PEFT được thiết lập, bạn có thể sử dụng bất kỳ framework huấn luyện nào bạn thích (lớp Trainer của Transformers, Accelerate, hoặc một vòng lặp huấn luyện PyTorch tùy chỉnh).
Cấu hình PEFT
Tìm hiểu thêm về các tham số có thể cấu hình cho từng phương pháp PEFT trên trang tham chiếu API tương ứng.
Một cấu hình lưu trữ các tham số quan trọng quy định cách một phương pháp PEFT cụ thể nên được áp dụng.
Ví dụ, hãy xem xét LoraConfig sau đây để áp dụng LoRA và PromptEncoderConfig để áp dụng p-tuning (các tệp cấu hình này đã được JSON-serialized). Mỗi khi bạn tải một PEFT adapter, nên kiểm tra xem nó có tệp adapter_config.json liên quan hay không, vì tệp này là bắt buộc.
{
"base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
"bias": "none",
"fan_in_fan_out": false,
"inference_mode": true,
"init_lora_weights": true,
"layers_pattern": null,
"layers_to_transform": null,
"lora_alpha": 32,
"lora_dropout": 0.05,
"modules_to_save": null,
"peft_type": "LORA", #PEFT method type
"r": 16,
"revision": null,
"target_modules": [
"q_proj", #model modules to apply LoRA to (query and value projection layers)
"v_proj"
],
"task_type": "CAUSAL_LM" #type of task to train model on
}Bạn có thể tạo cấu hình riêng cho việc huấn luyện bằng cách khởi tạo LoraConfig.
from peft import LoraConfig, TaskType
lora_config = LoraConfig(
r=16,
target_modules=["q_proj", "v_proj"],
task_type=TaskType.CAUSAL_LM,
lora_alpha=32,
lora_dropout=0.05
){
"base_model_name_or_path": "roberta-large", #base model to apply p-tuning to
"encoder_dropout": 0.0,
"encoder_hidden_size": 128,
"encoder_num_layers": 2,
"encoder_reparameterization_type": "MLP",
"inference_mode": true,
"num_attention_heads": 16,
"num_layers": 24,
"num_transformer_submodules": 1,
"num_virtual_tokens": 20,
"peft_type": "P_TUNING", #PEFT method type
"task_type": "SEQ_CLS", #type of task to train model on
"token_dim": 1024
}Bạn có thể tạo cấu hình riêng cho việc huấn luyện bằng cách khởi tạo PromptEncoderConfig.
from peft import PromptEncoderConfig, TaskType
p_tuning_config = PromptEncoderConfig(
encoder_reparameterization_type="MLP",
encoder_hidden_size=128,
num_attention_heads=16,
num_layers=24,
num_transformer_submodules=1,
num_virtual_tokens=20,
token_dim=1024,
task_type=TaskType.SEQ_CLS
)Mô hình PEFT
Khi đã có cấu hình PEFT, bạn có thể áp dụng nó cho bất kỳ mô hình được huấn luyện trước nào để tạo ra một PeftModel. Bạn có thể chọn từ bất kỳ mô hình tiên tiến nào trong thư viện Transformers, một mô hình tùy chỉnh, và thậm chí cả các kiến trúc transformer mới và chưa được hỗ trợ.
Đối với hướng dẫn này, hãy tải một mô hình cơ sở facebook/opt-350m để tinh chỉnh.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")Sử dụng hàm get_peft_model() để tạo một PeftModel từ mô hình cơ sở facebook/opt-350m và lora_config mà bạn đã tạo trước đó.
from peft import get_peft_model
lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()Khi gọi get_peft_model(), mô hình cơ sở sẽ bị thay đổi in-place. Điều đó có nghĩa là, khi gọi get_peft_model() trên một mô hình đã bị thay đổi theo cách tương tự trước đó, mô hình này sẽ tiếp tục bị biến đổi. Do đó, nếu bạn muốn thay đổi cấu hình PEFT của mình sau khi đã gọi
get_peft_model()trước đó, bạn trước tiên phải gỡ bỏ mô hình bằng unload() và sau đó gọiget_peft_model()với cấu hình mới. Ngoài ra, bạn có thể khởi tạo lại mô hình để đảm bảo trạng thái mới, chưa bị thay đổi trước khi áp dụng cấu hình PEFT mới.
Bây giờ bạn có thể huấn luyện PeftModel bằng framework huấn luyện ưa thích của mình! Sau khi huấn luyện, bạn có thể lưu model cục bộ bằng save_pretrained() hoặc tải lên Hub bằng phương thức push_to_hub.
# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")
# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")Để nạp một PeftModel cho suy luận, bạn cần cung cấp PeftConfig đã được sử dụng để tạo nó và mô hình cơ sở mà nó được huấn luyện từ đó.
from peft import PeftModel, PeftConfig
config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")Mặc định, PeftModel được thiết lập cho suy luận, nhưng nếu bạn muốn huấn luyện thêm adapter, bạn có thể đặt
is_trainable=True.lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)
Phương thức PeftModel.from_pretrained() là cách linh hoạt nhất để nạp một PeftModel vì nó không phụ thuộc vào framework mô hình được sử dụng (Transformers, timm, một mô hình PyTorch tổng quát). Các lớp khác, như AutoPeftModel, chỉ là một lớp bọc tiện lợi xung quanh PeftModel cơ bản, giúp việc nạp các mô hình PEFT trực tiếp từ Hub hoặc từ địa phương (nơi lưu trữ trọng số PEFT) trở nên dễ dàng hơn.
from peft import AutoPeftModelForCausalLM
lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")Xem tài liệu tham khảo API AutoPeftModel để tìm hiểu thêm về các lớp AutoPeftModel.
Các bước tiếp theo
Với PeftConfig phù hợp, bạn có thể áp dụng nó cho bất kỳ mô hình được huấn luyện trước nào để tạo ra một PeftModel và huấn luyện các mô hình lớn mạnh mẽ nhanh hơn trên các GPU có sẵn miễn phí! Để tìm hiểu thêm về cấu hình và mô hình PEFT, hướng dẫn sau có thể hữu ích:
- Tìm hiểu cách cấu hình một phương pháp PEFT cho các mô hình không đến từ Transformers trong hướng dẫn Làm việc với các mô hình tùy chỉnh.