Transformers documentation
BERTweet
Bu model 2020-05-20 tarihinde HF papers'ta yayımlandı ve 2020-11-16 tarihinde Hugging Face Transformers'a katkıda bulunuldu.
BERTweet
BERTweet
BERTweet, BERT-base ile aynı mimariye sahiptir ancak İngilizce Tweet'ler üzerinde RoBERTa gibi ön eğitilmiştir. Sözcük türü etiketleme, adlandırılmış varlık tanıma ve metin sınıflandırma gibi Tweet ile ilgili görevlerde gerçekten iyi performans gösterir.
Tüm orijinal BERTweet checkpoint'lerini VinAI Research kuruluşu altında bulabilirsiniz.
BERTweet'in farklı dil görevlerine nasıl uygulanacağına dair daha fazla örnek için BERT belgelerine başvurun.
Aşağıdaki örnek, <mask> token'ını Pipeline, AutoModel ve komut satırından nasıl tahmin edeceğinizi göstermektedir.
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="vinai/bertweet-base",
device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"vinai/bertweet-base",
)
model = AutoModelForMaskedLM.from_pretrained(
"vinai/bertweet-base",
device_map="auto"
)
inputs = tokenizer("Plants create <mask> through a process known as photosynthesis.", return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
predictions = outputs.logits
masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print(f"The predicted token is: {predicted_token}")Notlar
- Özel sözlüğü, hashtag (#), bahsetme (@), emojiler ve yaygın kısaltmalar gibi tweet'e özgü jetonlara uyarlanmış olduğu için AutoTokenizer veya BertweetTokenizer kullanın. emoji kütüphanesinin de yüklendiğinden emin olun.
- BERT mutlak konum gömme kullanıldığından girdiler sağda dolgu yapılmalıdır (
padding="max_length").
BertweetTokenizer
sınıf transformers.BertweetTokenizer
< source >( vocab_filemerges_filenormalization = Falsebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'**kwargs )
Parametreler
- vocab_file (
str) — Sözlük dosyasının yolu. - merges_file (
str) — Merges dosyasının yolu. - normalization (
bool, isteğe bağlı, varsayılanFalse) — Normalizasyon ön işleme uygulanıp uygulanmayacağı. - bos_token (
str, isteğe bağlı, varsayılan olarak"<s>") — Ön eğitim sırasında kullanılan dizinin başlangıç token'ı. Bir dizi sınıflandırıcı token'ı olarak kullanılabilir. Özel token'lar kullanılarak bir dizi oluşturulduğunda, dizinin başlangıcı için kullanılan token bu değildir. Kullanılan token, cls_token'dır.Özel jetonlar kullanılarak bir dizi oluşturulduğunda, dizinin başlangıcı için kullanılan jeton bu değildir. Kullanılan jeton
cls_token'dir. - eos_token (
str, isteğe bağlı, varsayılan olarak"</s>") — Dizi sonu belirteci. Özel belirteçler kullanılarak bir dizi oluşturulduğunda, dizi sonu için kullanılan belirteç bu değildir. Kullanılan belirteç sep_token'dir.Özel jetonlar kullanılarak bir dizi oluşturulduğunda, dizinin sonu için kullanılan jeton bu değildir. Kullanılan jeton
sep_token'dir. - sep_token (
str, isteğe bağlı, varsayılan"</s>") — Ayrıştırıcı belirteci; birden fazla diziden bir dizi oluşturulurken kullanılır, örneğin dizi sınıflandırma için iki dizi veya soru cevaplamada bir metin ve bir soru için. Özel belirteçlerle oluşturulan bir dizinin son belirteci olarak da kullanılır. - cls_token (
str, isteğe bağlı, varsayılan"<s>") — Dizilim sınıflandırması yapılırken (token başına sınıflandırma yerine tüm dizilimin sınıflandırılması) kullanılan sınıflandırıcı tokenıdır. Özel tokenlarla oluşturulduğunda dizilimin ilk tokenıdır. - unk_token (
str, isteğe bağlı, varsayılan"<unk>") — Bilinmeyen token. Sözlükte yer almayan bir token, bir kimliğe dönüştürülemez ve bunun yerine bu token olarak ayarlanır. - pad_token (
str, isteğe bağlı, varsayılan"<pad>") — Doldurma için kullanılan jeton, örneğin farklı uzunluklardaki dizileri toplu işleme (batching) sırasında. - mask_token (
str, isteğe bağlı, varsayılan"<mask>") — Değerleri maskelemek için kullanılan belirteç. Bu, modelin maskeli dil modelleme ile eğitildiğinde kullanılan belirteçtir. Modelin tahmin etmeye çalışacağı belirteç budur.
Bayt-Çift-Kodlama (Byte-Pair-Encoding) kullanarak bir BERTweet belirteç oluşturucu (tokenizer) oluşturur.
Bu tokenizer, ana yöntemlerin çoğunu içeren PreTrainedTokenizer sınıfından devralır. Kullanıcıların bu yöntemler hakkında daha fazla bilgi için bu üst sınıfa başvurması gerekir.
Mevcut bir sözlüğü bir metin dosyasından yükler ve sembollerini bu örneğe ekler.
Bir dizi belirteci (dizgi) tek bir dizgide birleştirir.
Bir Tweet'teki token'ları normalize et
Ham bir Tweet'i normalize et
Sözlük ve birleştirme dosyalarını bir dizine kaydedin.