YAML Metadata Warning: The pipeline tag "text2text-generation" is not in the official list: text-classification, token-classification, table-question-answering, question-answering, zero-shot-classification, translation, summarization, feature-extraction, text-generation, fill-mask, sentence-similarity, text-to-speech, text-to-audio, automatic-speech-recognition, audio-to-audio, audio-classification, audio-text-to-text, voice-activity-detection, depth-estimation, image-classification, object-detection, image-segmentation, text-to-image, image-to-text, image-to-image, image-to-video, unconditional-image-generation, video-classification, reinforcement-learning, robotics, tabular-classification, tabular-regression, tabular-to-text, table-to-text, multiple-choice, text-ranking, text-retrieval, time-series-forecasting, text-to-video, image-text-to-text, image-text-to-image, image-text-to-video, visual-question-answering, document-question-answering, zero-shot-image-classification, graph-ml, mask-generation, zero-shot-object-detection, text-to-3d, image-to-3d, image-feature-extraction, video-text-to-text, keypoint-detection, visual-document-retrieval, any-to-any, video-to-video, other

Turkish Stemmer - turkish-stemmer-t5-small

Model Açıklaması

mT5-small fine-tuned for Turkish stemming

Bu model, Türkçe kelimelerin köklerini (stem) bulmak için fine-tune edilmiş bir seq2seq modelidir. Türkçe morfolojik analiz görevleri için optimize edilmiştir.

Model Detayları

Base Model: google/mt5-small
Task: Text2Text Generation (Stemming)
Language: Turkish (tr)
Training Data: 5,500 kelime çifti (kelime → kök)
Accuracy: 92.00%

Kullanım

Kurulum

pip install transformers torch

Temel Kullanım

from transformers import T5Tokenizer, T5ForConditionalGeneration

# Model ve tokenizer yükleme
model_name = "seyfullah2/turkish-stemmer-t5"
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

# Kök bulma fonksiyonu
def find_stem(word):
    input_text = f"kök bul: {word}"
    inputs = tokenizer(input_text, return_tensors="pt", max_length=64, truncation=True)
    
    outputs = model.generate(
        **inputs,
        max_length=64,
        num_beams=4,
        early_stopping=True,
        no_repeat_ngram_size=2
    )
    
    root = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return root.strip()

# Örnek kullanım
print(find_stem("kitaplardan"))  # → kitap
print(find_stem("evlerimizde"))  # → ev
print(find_stem("koşuyordum"))   # → koş

Batch İşleme

words = ["kitaplar", "evlerde", "geliyorum", "başladı"]

for word in words:
    stem = find_stem(word)
    print(f"{word} → {stem}")

Performans

Metrik	Değer
Accuracy	92.00%
Test Samples	5,500
Avg Inference Time	~50ms per word

Eğitim

Model şu hiperparametrelerle eğitildi:

Epochs: 10
Batch Size: 16
Learning Rate: 5e-5
Optimizer: AdamW
Scheduler: Linear warmup
Max Length: 64 tokens

Limitasyonlar

Model Türkçe için optimize edilmiştir, diğer dillerde çalışmaz
Çok nadir kelimeler veya özel isimler için hata oranı yüksek olabilir
Ses olayları (k→ğ, p→b, t→d, ç→c) çoğunlukla doğru işlenir ama %100 değil

Veri Seti

Model, kelime-kök eşleşmeleri içeren özel bir Türkçe veri setiyle eğitildi:

Toplam: ~36,000 kelime çifti
Train: 70%
Validation: 15%
Test: 15%

Lisans

MIT License

İletişim

Sorular için: GitHub Issues

Alıntı

@misc{turkish-stemmer-2025,
  author = {seyfullah2},
  title = {Turkish Stemmer T5},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/seyfullah2/turkish-stemmer-t5}}
}

Downloads last month: 8

Safetensors

Model size

0.3B params

Tensor type

F32

Model tree for seyfullah2/turkish-stemmer-t5-small

Base model

google/mt5-small

Finetuned

(643)

this model