TRL documentation
Hızlı Başlangıç
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.17.1).
Hızlı Başlangıç
TRL, Denetimli İnce Ayar (SFT), Grup Göreceli Politika Optimizasyonu (GRPO) ve Doğrudan Tercih Optimizasyonu (DPO) gibi teknikler kullanarak temel modellerin eğitim sonrası işlenmesi için kapsamlı bir kütüphanedir.
Hızlı Örnekler
TRL'nin en popüler eğitimcileriyle anında başlayın. Her örnek, hızlı deneysel çalışmalar için kompakt modeller kullanır.
Gözetimli İnce Ayar
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Grup Göreceli Politika Optimizasyonu
accuracy_reward, pip install trl[math_verify] komutuyla yükleyebileceğiniz math-verify gerektirir.
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
reward_funcs=accuracy_reward,
)
trainer.train()Doğrudan Tercih Optimizasyonu
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Ödül Modelleme
from trl import RewardTrainer
from datasets import load_dataset
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Komut Satırı Arayüzü
Kodu tamamen atlayın - doğrudan terminalinizden eğitin:
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
--dataset_name trl-lib/Capybara
# DPO: Align with preferences
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarized
# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarizedSıradaki Adım?
📚 Daha Fazla Öğren
- SFT Trainer - Kapsamlı SFT kılavuzu
- DPO Trainer - Tercih hizalama
- GRPO Trainer - Grup göreli politika optimizasyonu
🚀 Ölçeklendirme
- Dağıtık Eğitim - Çoklu GPU kurulumları
- Bellek Optimizasyonu - Verimli eğitim
- PEFT Entegrasyonu - LoRA ve QLoRA
💡 Örnekler
- Örnek Betikler - Üretime hazır kod
- Topluluk Eğiticileri - Dış kılavuzlar
Sorun Giderme
Bellek Yetersizliği?
Toplu işlem boyutunu azaltın ve optimizasyonları etkinleştirin:
SFT
DPO
GRPO
training_args = SFTConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = DPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = GRPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
num_generations=4, # Reduce from default 8 (GRPO generates num_generations completions per prompt)
max_completion_length=512, # Tune based on task; longer sequences cost more memory
)Kayıp azalmıyor mu?
Öğrenme hızını ayarlamayı deneyin:
training_args = SFTConfig(learning_rate=2e-5) # Good starting pointDaha fazla yardım için bir GitHub sorunu açın.
Update on GitHub