# BARThez

[BARThez](https://huggingface.co/papers/2010.12321) adalah model [BART](./bart) yang dirancang untuk tugas bahasa Prancis. Berbeda dengan model BERT Prancis yang ada, BARThez mencakup encoder-decoder yang telah dilatih sebelumnya, sehingga memungkinkan model ini untuk menghasilkan teks. Model ini juga tersedia sebagai varian multibahasa, mBARThez, dengan melanjutkan pra-pelatihan BART multibahasa pada korpus bahasa Prancis.

Anda dapat menemukan semua checkpoint BARThez asli di bawah koleksi [BARThez](https://huggingface.co/collections/dascim/barthez-670920b569a07aa53e3b6887).

> [!TIP]
> Model ini disumbangkan oleh [moussakam](https://huggingface.co/moussakam). Lihat dokumentasi [BART](./bart) untuk contoh penggunaan lainnya.

Contoh di bawah ini menunjukkan cara memprediksi token `<mask>` dengan [Pipeline](/docs/transformers/v5.23.0/id/main_classes/pipelines#transformers.Pipeline), [AutoModel](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoModel), dan dari baris perintah.

```python
from transformers import pipeline

pipeline = pipeline(
    task="fill-mask",
    model="moussaKam/barthez",
    device=0
)
pipeline("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.")
```

```python
import torch

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
    "moussaKam/barthez",
)
model = AutoModelForMaskedLM.from_pretrained(
    "moussaKam/barthez",
    device_map="auto",
)
inputs = tokenizer("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.", return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)
    predictions = outputs.logits

masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)

print(f"The predicted token is: {predicted_token}")
```

## BarthezTokenizer[[transformers.BarthezTokenizer]]

#### transformers.BarthezTokenizer[[transformers.BarthezTokenizer]]

```python
transformers.BarthezTokenizer(vocab: str | dict | list | None = None, bos_token = '<s>', eos_token = '</s>', sep_token = '</s>', cls_token = '<s>', unk_token = '<unk>', pad_token = '<pad>', mask_token = '<mask>', add_prefix_space = True, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/barthez/tokenization_barthez.py#L32)

**Parameter:**

bos_token (`str`, *opsional*, defaultnya `"<s>"`) : Token awal urutan yang digunakan selama pra-pelatihan. Dapat digunakan sebagai token klasifikator urutan. Saat membangun urutan menggunakan token khusus, ini bukan token yang digunakan untuk awal urutan. Token yang digunakan adalah `cls_token`.

eos_token (`str`, *opsional*, defaultnya `"</s>"`) : Token akhir urutan. Saat membangun urutan menggunakan token khusus, ini bukan token yang digunakan untuk akhir urutan. Token yang digunakan adalah `sep_token`.

sep_token (`str`, *opsional*, defaultnya `"</s>"`) : Token pemisah, yang digunakan saat membangun urutan dari beberapa urutan, misalnya dua urutan untuk klasifikasi urutan atau untuk teks dan pertanyaan untuk penjawaban pertanyaan. Token ini juga digunakan sebagai token terakhir dari urutan yang dibangun dengan token khusus.

cls_token (`str`, *opsional*, defaultnya `"<s>"`) : Token klasifikator yang digunakan saat melakukan klasifikasi urutan (klasifikasi seluruh urutan, bukan klasifikasi per-token). Ini adalah token pertama dari urutan saat dibangun dengan token khusus.

unk_token (`str`, *opsional*, defaultnya `"<unk>"`) : Token yang tidak diketahui. Token yang tidak ada dalam kosakata tidak dapat dikonversi menjadi ID dan akan diset sebagai token ini.

pad_token (`str`, *opsional*, defaultnya `"<pad>"`) : Token yang digunakan untuk padding, misalnya saat membatching urutan dengan panjang yang berbeda.

mask_token (`str`, *opsional*, defaultnya `"<mask>"`) : Token yang digunakan untuk memask nilai. Ini adalah token yang digunakan saat melatih model ini dengan pemodelan bahasa ter-mask. Ini adalah token yang akan coba diprediksi oleh model.

vocab_file (`str`, *opsional*) : file [SentencePiece](https://github.com/google/sentencepiece) (umumnya memiliki ekstensi *.spm*) yang berisi kosakata yang diperlukan untuk menginstansiasi tokenizer.

vocab (`str`, `dict` atau `list`, *opsional*) : Kamus kosakata kustom. Jika tidak disediakan, kosakata dimuat dari vocab_file.

add_prefix_space (`bool`, *opsional*, defaultnya `True`) : Apakah akan menambahkan spasi awal ke input. Hal ini memungkinkan kata pembuka diperlakukan sama seperti kata lainnya.

Diadaptasi dari [CamembertTokenizer](/docs/transformers/v5.23.0/id/model_doc/camembert#transformers.CamembertTokenizer) dan [BartTokenizer](/docs/transformers/v5.23.0/id/model_doc/led#transformers.RobertaTokenizer). Membangun tokenizer BARThez "fast". Berbasis pada [SentencePiece](https://github.com/google/sentencepiece).

Tokenizer ini mewarisi dari [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/id/main_classes/tokenizer#transformers.TokenizersBackend) yang berisi sebagian besar metode utama. Pengguna harus merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.

