Tokenizers, kiểm tra nào!

Chúc mừng bạn đã hoàn thành chương này!

Sau khi tìm hiểu sâu về tokenizer, bạn nên:

• Có thể huấn luyện một tokenizer mới bằng cách sử dụng một cái cũ làm mẫu
• Hiểu cách sử dụng hiệu số để ánh xạ vị trí của token với khoảng văn bản ban đầu của chúng
• Biết sự khác biệt giữa BPE, WordPiece và Unigram
• Có thể trộn và kết hợp các khối được cung cấp bởi thư viện 🤗 Tokenizers để xây dựng tokenizer của riêng bạn
• Có thể sử dụng tokenizer đó trong thư viện 🤗 Transformers

Update on GitHub