Huấn luyện trên GPU AMD

Các trainer của TRL chạy trên GPU AMD Instinct mà không cần thay đổi mã. Bản build ROCm của PyTorch hiển thị chúng dưới dạng thiết bị cuda, do đó các lệnh trong phần còn lại của tài liệu hoạt động nguyên vẹn.

Cài đặt

Cài đặt bản build ROCm của PyTorch, sau đó cài TRL trong cùng môi trường:

pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
pip install trl

Các kernel chú ý

Các kernel FlashAttention được sử dụng trong các ví dụ của tài liệu này (kernels-community/flash-attn2, flash-attn3 và flash-attn4) không có bản build ROCm. Trên GPU AMD, hãy sử dụng kernels-community/aiter-flash-attn, được tải xuống từ Hub bởi thư viện kernels (pip install trl[kernels]):

from trl import SFTConfig

training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})

Kernel không có tính năng soft-capping cho attention-logit, và Transformers bỏ qua attn_logit_softcapping mà không có cảnh báo, do đó các mô hình sử dụng tính năng này, chẳng hạn như Gemma 2, được huấn luyện với attention không bị giới hạn.

Sinh văn bản với vLLM

GRPO và RLOO với use_vllm=True cần bản build ROCm của vLLM, xem hướng dẫn cài đặt vLLM.