# BERTweet

## BERTweet

[BERTweet](https://huggingface.co/papers/2005.10200) có cùng kiến trúc với [BERT-base](./bert), nhưng được huấn luyện trước theo cách của [RoBERTa](./roberta) trên các Tweet tiếng Anh. Mô hình này hoạt động rất tốt trên các tác vụ liên quan đến Tweet như gán từ loại, nhận thực thể có tên và phân loại văn bản.

Bạn có thể tìm thấy tất cả các checkpoint BERTweet gốc dưới tổ chức [VinAI Research](https://huggingface.co/vinai?search_models=BERTweet).

> [!TIP]
> Tham khảo tài liệu [BERT](./bert) để xem thêm các ví dụ về cách áp dụng BERTweet cho các tác vụ ngôn ngữ khác nhau.

Ví dụ dưới đây minh họa cách dự đoán token `<mask>` bằng [Pipeline](/docs/transformers/v5.23.0/vi/main_classes/pipelines#transformers.Pipeline), [AutoModel](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModel) và từ dòng lệnh.

```python
from transformers import pipeline

pipeline = pipeline(
    task="fill-mask",
    model="vinai/bertweet-base",
    device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")
```

```python
import torch

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
   "vinai/bertweet-base",
)
model = AutoModelForMaskedLM.from_pretrained(
    "vinai/bertweet-base",
    device_map="auto"
)
inputs = tokenizer("Plants create <mask> through a process known as photosynthesis.", return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)
    predictions = outputs.logits

masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)

print(f"The predicted token is: {predicted_token}")
```

## Ghi chú

- Hãy sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer) hoặc [BertweetTokenizer](/docs/transformers/v5.23.0/vi/model_doc/bertweet#transformers.BertweetTokenizer) vì chúng được nạp sẵn từ điển tùy chỉnh, đã được điều chỉnh cho các token đặc thù của tweet như hashtag (#), mention (@), emoji và các từ viết tắt phổ biến. Hãy đảm bảo cài đặt thêm thư viện [emoji](https://pypi.org/project/emoji/).
- Các đầu vào nên được đệm ở phía bên phải (`padding="max_length"`) vì BERT sử dụng nhúng vị trí tuyệt đối.

## BertweetTokenizer[[transformers.BertweetTokenizer]]

#### transformers.BertweetTokenizer[[transformers.BertweetTokenizer]]

```python
transformers.BertweetTokenizer(vocab_file, merges_file, normalization = False, bos_token = '<s>', eos_token = '</s>', sep_token = '</s>', cls_token = '<s>', unk_token = '<unk>', pad_token = '<pad>', mask_token = '<mask>', **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bertweet/tokenization_bertweet.py#L51)

**Tham số:**

vocab_file (`str`) : Đường dẫn đến tệp từ vựng.

merges_file (`str`) : Đường dẫn đến tệp merges.

normalization (`bool`, *tùy chọn*, mặc định là `False`) : Có áp dụng tiền xử lý chuẩn hóa hay không.

bos_token (`str`, *tuỳ chọn*, mặc định là `"<s>"`) : Token bắt đầu chuỗi được sử dụng trong quá trình tiền huấn luyện. Có thể được dùng làm token phân loại chuỗi.    Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho phần bắt đầu của chuỗi. Token được dùng là `cls_token`.

eos_token (`str`, *tùy chọn*, mặc định là `"</s>"`) : Token kết thúc chuỗi. Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho việc kết thúc chuỗi. Token được dùng là `sep_token`.

sep_token (`str`, *tùy chọn*, mặc định là `"</s>"`) : Token phân cách, được sử dụng khi xây dựng một chuỗi từ nhiều chuỗi, ví dụ như hai chuỗi cho phân loại chuỗi hoặc một văn bản và một câu hỏi cho trả lời câu hỏi. Nó cũng được sử dụng làm token cuối cùng của một chuỗi được xây dựng với các token đặc biệt.

cls_token (`str`, *tùy chọn*, mặc định là `"<s>"`) : Token phân loại được sử dụng khi thực hiện phân loại chuỗi (phân loại toàn bộ chuỗi thay vì phân loại theo từng token). Đây là token đầu tiên của chuỗi khi được xây dựng với các token đặc biệt.

unk_token (`str`, *tùy chọn*, mặc định là `"<unk>"`) : Token không xác định. Một token không có trong từ vựng sẽ không thể được chuyển đổi thành ID và sẽ được gán thành token này thay thế.

pad_token (`str`, *tùy chọn*, mặc định là `"<pad>"`) : Token được sử dụng để đệm, chẳng hạn khi xử lý các lô (batch) các chuỗi có độ dài khác nhau.

mask_token (`str`, *tùy chọn*, mặc định là `"<mask>"`) : Token được sử dụng để che các giá trị. Đây là token được dùng khi huấn luyện mô hình này với mô hình hóa ngôn ngữ có che (masked language modeling). Đây là token mà mô hình sẽ cố gắng dự đoán.

Tạo một tokenizer BERTweet, sử dụng Byte-Pair-Encoding.

Tokenizer này kế thừa từ [PreTrainedTokenizer](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.PythonBackend), lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo siêu lớp này để biết thêm thông tin về các phương thức đó.

#### add_from_file[[transformers.BertweetTokenizer.add_from_file]]

```python
add_from_file(f)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bertweet/tokenization_bertweet.py#L332)

Tải một từ điển có sẵn từ tệp văn bản và thêm các ký tự của nó vào phiên bản này.

#### convert_tokens_to_string[[transformers.BertweetTokenizer.convert_tokens_to_string]]

```python
convert_tokens_to_string(tokens)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bertweet/tokenization_bertweet.py#L291)

Chuyển đổi một chuỗi các token (chuỗi ký tự) trong một chuỗi duy nhất.

#### normalizeToken[[transformers.BertweetTokenizer.normalizeToken]]

```python
normalizeToken(token)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bertweet/tokenization_bertweet.py#L264)

Chuẩn hóa các token trong một Tweet

#### normalizeTweet[[transformers.BertweetTokenizer.normalizeTweet]]

```python
normalizeTweet(tweet)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bertweet/tokenization_bertweet.py#L230)

Chuẩn hóa một Tweet thô

#### save_vocabulary[[transformers.BertweetTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bertweet/tokenization_bertweet.py#L302)

Lưu các tệp từ vựng và gộp vào một thư mục.

