# 章末小测验 [[章末小测验]]

让我们测试一下你在本章中学到了什么！

### 1．在什么时候你应该考虑训练一个新的 tokenizer ？

### 2．当使用 `train_new_from_iterator()` 时，使用文本列表生成器与文本列表相比有什么优点？

### 3．使用“快速” tokenizer 有什么优势？

### 4. `token-classification` 管道如何处理跨越多个 tokens 的实体？

### 5. `question-answering` 管道如何处理长上下文？

### 6．什么是标准化？

### 7．什么是 tokenizer 的预分词？

### 8．选择描述 BPE 算法最准确的句子。

### 9．选择描述 WordPiece 算法最准确的句子。

### 10．选择描述 Unigram 算法最准确的句子。