Use tokenizers from 🤗 Tokenizers

PreTrainedTokenizerFastは🤗 Tokenizersライブラリに依存しています。🤗 Tokenizersライブラリから取得したトークナイザーは、非常に簡単に🤗 Transformersにロードできます。

具体的な内容に入る前に、まずはいくつかの行でダミーのトークナイザーを作成することから始めましょう：

>>> from tokenizers import Tokenizer
>>> from tokenizers.models import BPE
>>> from tokenizers.trainers import BpeTrainer
>>> from tokenizers.pre_tokenizers import Whitespace

>>> tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
>>> trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])

>>> tokenizer.pre_tokenizer = Whitespace()
>>> files = [...]
>>> tokenizer.train(files, trainer)

私たちは今、定義したファイルにトレーニングされたトークナイザーを持っています。これをランタイムで引き続き使用するか、 将来の再利用のためにJSONファイルに保存することができます。

Loading directly from the tokenizer object

🤗 Transformersライブラリでこのトークナイザーオブジェクトをどのように活用できるかを見てみましょう。PreTrainedTokenizerFastクラスは、 tokenizerオブジェクトを引数として受け入れ、簡単にインスタンス化できるようにします。

>>> from transformers import PreTrainedTokenizerFast

>>> fast_tokenizer = PreTrainedTokenizerFast(tokenizer_object=tokenizer)

このオブジェクトは、🤗 Transformers トークナイザーが共有するすべてのメソッドと一緒に使用できます！詳細については、トークナイザーページをご覧ください。

Loading from a JSON file

JSONファイルからトークナイザーを読み込むには、まずトークナイザーを保存することから始めましょう：

>>> tokenizer.save("tokenizer.json")

このファイルを保存したパスは、PreTrainedTokenizerFast の初期化メソッドに tokenizer_file パラメータを使用して渡すことができます：

>>> from transformers import PreTrainedTokenizerFast

>>> fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file="tokenizer.json")

このオブジェクトは、🤗 Transformers トークナイザーが共有するすべてのメソッドと一緒に使用できるようになりました！詳細については、トークナイザーページをご覧ください。