Transformers documentation
視覚的質問応答
視覚的質問応答
Visual Question Answering (VQA)は、画像に基づいてオープンエンドな質問に答えるタスクです。 このタスクに対応するモデルへの入力としては、通常、画像と質問の組み合わせが使用され、出力は自然言語で表現された回答となります。
VQAの注目すべきユースケースの例には、以下が含まれます。
- 視覚障害者向けのアクセシビリティアプリケーション。
- 教育: 講義や教科書で提示される視覚資料に関する質問を行う。VQAは、インタラクティブな博物館展示や史跡の活用にも利用できます。
- カスタマーサービスとEC: VQAにより、ユーザーが製品に関する質問を行えるようになり、ユーザー体験の向上に貢献します。
- 画像検索: VQAモデルは、特定の特性を持つ画像を検索するために使用できます。例えば、ユーザーは「犬が写っている画像はあるか?」と質問することで、画像セットから犬が写っているすべての画像を見つけることができます。
このガイドでは、次のことを学びます。
- 分類VQAモデル、具体的にはViLTを、
Graphcore/vqaデータセットでファインチューニングします。 - ファインチューニングしたViLTを推論に使用します。
- BLIP-2のような生成モデルを使用して、ゼロショットVQA推論を実行します。
ViLTのファインチューニング
ViLTモデルはテキスト埋め込みをVision Transformer (ViT) に組み込むことで、Vision-and-Language Pre-training (VLP) に対して最小限の設計を実現しています。このモデルは、いくつかの下流タスクに使用できます。VQAタスクでは、分類ヘッドが上部に配置されます([CLS] トークンの最終隠れ状態の上位に線形層を置き、ランダムに初期化します)。したがって、Visual Question Answering は分類問題として扱われます。
BLIP、BLIP-2、InstructBLIPなどのより新しいモデルは、VQAを生成タスクとして扱います。このガイドの後半では、これらを用いたゼロショットVQA推論の使い方を紹介します。
開始前に、必要なライブラリがすべてインストールされていることを確認してください。
pip install -q transformers datasets
モデルをコミュニティと共有することをお勧めします。🤗 Hub にアップロードするには、Hugging Face アカウントにログインしてください。 プロンプトが表示されたら、ログイン用のトークンを入力してください:
>>> from huggingface_hub import notebook_login
>>> notebook_login()モデルのチェックポイントをグローバル変数として定義しましょう。
>>> model_checkpoint = "dandelin/vilt-b32-mlm"データの読み込み
説明のため、本ガイドではアノテーション済みの視覚的質問応答データセットGraphcore/vqaの非常に小さなサンプルを使用します。
完全なデータセットは🤗 Hubで確認できます。
Graphcore/vqa データセットの代わりに、公式のVQA データセットページから同じデータを手動でダウンロードすることもできます。カスタムデータでチュートリアルを進めたい場合は、🤗 Datasets ドキュメントの画像データセットの作成ガイドを参照してください。
検証スプリットから最初の200個の例を読み込み、データセットの特徴を探索してみましょう。
>>> from datasets import load_dataset
>>> dataset = load_dataset("Graphcore/vqa", split="validation[:200]")
>>> dataset
Dataset({
features: ['question', 'question_type', 'question_id', 'image_id', 'answer_type', 'label'],
num_rows: 200
})データセットの機能を理解するために、例を見てみましょう。
>>> dataset[0]
{'question': 'Where is he looking?',
'question_type': 'none of the above',
'question_id': 262148000,
'image_id': '/root/.cache/huggingface/datasets/downloads/extracted/ca733e0e000fb2d7a09fbcc94dbfe7b5a30750681d0e965f8e0a23b1c2f98c75/val2014/COCO_val2014_000000262148.jpg',
'answer_type': 'other',
'label': {'ids': ['at table', 'down', 'skateboard', 'table'],
'weights': [0.30000001192092896,
1.0,
0.30000001192092896,
0.30000001192092896]}}タスクに関連する機能には、以下が含まれます。
question: 画像から回答する質問image_id: 質問が参照している画像へのパスlabel: アノテーション
残りの特徴量は不要であるため、削除できます:
>>> dataset = dataset.remove_columns(['question_type', 'question_id', 'answer_type'])ご覧のとおり、label 特徴には、異なる人間のアノテーターによって収集された、同じ質問に対する複数の回答(ここでは ids と呼ばれます)が含まれています。
これは、質問への回答が主観的になり得るためです。この場合、質問は「彼はどこを見ているのか?」です。ある人は「下」とアノテーションし、別の人は「テーブル」とアノテーションし、さらに別の人は「スケートボード」とアノテーションするなど、回答は様々です。
画像を確認し、どの回答を選ぶか考えてみてください:
>>> from PIL import Image
>>> image = Image.open(dataset[0]['image_id'])
>>> image
質問と回答の曖昧さのため、このようなデータセットはマルチラベル分類問題として扱われます(複数の回答が有効な可能性があるため)。さらに、ワンホットエンコードベクトルを作成するのではなく、アノテーション内で特定の回答が出現した回数に基づいたソフトエンコードを作成します。
例えば、上記の例では、回答「down」が他の回答よりもはるかに多く選択されるため、スコア(データセットではweightと呼ばれます)が1.0となり、その他の回答のスコアは< 1.0となります。
後で適切な分類ヘッドを付けてモデルをインスタンス化できるように、ラベル名を整数に、その逆も対応させる2つの辞書を作成します。
>>> import itertools
>>> labels = [item['ids'] for item in dataset['label']]
>>> flattened_labels = list(itertools.chain(*labels))
>>> unique_labels = list(set(flattened_labels))
>>> label2id = {label: idx for idx, label in enumerate(unique_labels)}
>>> id2label = {idx: label for label, idx in label2id.items()}マッピングが用意できたので、文字列の回答をその id に置き換え、さらに前処理を円滑に行えるようデータセットをフラット化できます。
>>> def replace_ids(inputs):
... inputs["label"]["ids"] = [label2id[x] for x in inputs["label"]["ids"]]
... return inputs
>>> dataset = dataset.map(replace_ids)
>>> flat_dataset = dataset.flatten()
>>> flat_dataset.features
{'question': Value(dtype='string', id=None),
'image_id': Value(dtype='string', id=None),
'label.ids': Sequence(feature=Value(dtype='int64', id=None), length=-1, id=None),
'label.weights': Sequence(feature=Value(dtype='float64', id=None), length=-1, id=None)}データの前処理
次のステップは、ViLTプロセッサを読み込み、モデル用の画像データとテキストデータを準備することです。ViltProcessorは、BERTトークナイザーとViLT画像プロセッサを便利な単一のプロセッサとしてラップします:
>>> from transformers import ViltProcessor
>>> processor = ViltProcessor.from_pretrained(model_checkpoint)前処理を行うには、ViltProcessorを使用して画像と質問をエンコードする必要があります。プロセッサはBertTokenizerFastを使用してテキストをトークン化し、テキストデータ用のinput_ids、attention_mask、token_type_idsを生成します。画像については、プロセッサはViltImageProcessorを利用して画像のリサイズと正規化を行い、pixel_valuesとpixel_maskを生成します。
これらの前処理ステップはすべて内部で実行されるため、processorを呼び出すだけで済みます。ただし、ターゲットラベルの準備は依然として必要です。この表現では、各要素が可能な答え(ラベル)に対応します。正解の要素にはそれぞれのスコア(重み)が格納され、残りの要素はゼロに設定されます。
以下の関数は、processorを画像と質問に適用し、上記で説明したようにラベルを整形します。
>>> import torch
>>> def preprocess_data(examples):
... image_paths = examples['image_id']
... images = [Image.open(image_path) for image_path in image_paths]
... texts = examples['question']
... encoding = processor(images, texts, padding="max_length", truncation=True, return_tensors="pt")
... for k, v in encoding.items():
... encoding[k] = v.squeeze()
... targets = []
... for labels, scores in zip(examples['label.ids'], examples['label.weights']):
... target = torch.zeros(len(id2label))
... for label, score in zip(labels, scores):
... target[label] = score
... targets.append(target)
... encoding["labels"] = targets
... return encodingデータセット全体に前処理関数を適用するには、🤗 Datasets の map 関数を使用します。map は、batched=True を設定してデータセットの複数の要素を一度に処理することで高速化できます。この時点で、不要な列を削除しても構いません。
>>> processed_dataset = flat_dataset.map(preprocess_data, batched=True, remove_columns=['question','question_type', 'question_id', 'image_id', 'answer_type', 'label.ids', 'label.weights'])
>>> processed_dataset
Dataset({
features: ['input_ids', 'token_type_ids', 'attention_mask', 'pixel_values', 'pixel_mask', 'labels'],
num_rows: 200
})最後のステップとして、DefaultDataCollatorを使用してサンプルのバッチを作成します:
>>> from transformers import DefaultDataCollator
>>> data_collator = DefaultDataCollator()モデルを学習
いよいよモデルの学習を開始できます!ViltForQuestionAnsweringでViVTを読み込み、ラベル数とラベルのマッピングを指定します:
>>> from transformers import ViltForQuestionAnswering
>>> model = ViltForQuestionAnswering.from_pretrained(model_checkpoint, num_labels=len(id2label), id2label=id2label, label2id=label2id)この時点で、残りのステップは3つだけです:
- TrainingArguments で、学習ハイパーパラメータを定義します:
>>> from transformers import TrainingArguments
>>> repo_id = "MariaK/vilt_finetuned_200"
>>> training_args = TrainingArguments(
... output_dir=repo_id,
... per_device_train_batch_size=4,
... num_train_epochs=20,
... save_steps=200,
... logging_steps=50,
... learning_rate=5e-5,
... save_total_limit=2,
... remove_unused_columns=False,
... push_to_hub=True,
... )- モデル、データセット、プロセッサー、データコラテーターとともに、学習引数をTrainerに渡します。
>>> from transformers import Trainer
>>> trainer = Trainer(
... model=model,
... args=training_args,
... data_collator=data_collator,
... train_dataset=processed_dataset,
... processing_class=processor,
... )- train()を呼び出して、モデルをファインチューニングします。
>>> trainer.train()トレーニングが完了したら、push_to_hub() メソッドを使用してモデルを Hub に共有し、最終モデルを 🤗 Hub に公開します:
>>> trainer.push_to_hub()推論
ViLTモデルのファインチューニングが完了し、🤗 Hubにアップロードしたことで、推論に使用できます。
- 画像と質問を受け取り、モデルのを使ってモデルへの入力として準備します。
- 結果または前処理をモデルに渡します。
- logits から最も可能性の高い回答の id を取得し、
id2labelで実際の回答を探します。
>>> processor = ViltProcessor.from_pretrained("MariaK/vilt_finetuned_200")
>>> image = Image.open(example['image_id'])
>>> question = example['question']
>>> # prepare inputs
>>> inputs = processor(image, question, return_tensors="pt")
>>> model = ViltForQuestionAnswering.from_pretrained("MariaK/vilt_finetuned_200")
>>> # forward pass
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> logits = outputs.logits
>>> idx = logits.argmax(-1).item()
>>> print("Predicted answer:", model.config.id2label[idx])
Predicted answer: downゼロショットVQA
以前のモデルはVQAを分類タスクとして扱っていました。BLIP、BLIP-2、InstructBLIPなどの最近のモデルは、VQAを生成タスクとしてアプローチしています。BLIP-2を例に見てみましょう。BLIP-2は、事前学習済みのビジョンエンコーダーとLLMの任意の組み合わせを使用できる新しいビジョン言語事前学習のパラダイムを導入しました(詳細はBLIP-2のブログ記事を参照してください)。これにより、視覚的質問応答を含む複数のビジョン言語タスクで最先端の結果を達成することが可能になりました。
このモデルをVQAにどのように使用できるかを示しましょう。まず、モデルを読み込みます。ここでは、利用可能な場合、モデルを明示的にGPUに送信します。これは、Trainerが自動的に処理するため、以前の学習時には必要ありませんでした。
>>> from transformers import AutoProcessor, Blip2ForConditionalGeneration
from accelerate import Accelerator
>>> import torch
>>> processor = AutoProcessor.from_pretrained("Salesforce/blip2-opt-2.7b")
>>> model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b", dtype=torch.float16)
>>> device = Accelerator().device
>>> model.to(device)モデルは画像とテキストを入力として受け取るため、VQAデータセットの最初の例と同じ画像と質問のペアを使用しましょう。
>>> example = dataset[0]
>>> image = Image.open(example['image_id'])
>>> question = example['question']BLIP-2 を視覚的質問応答タスクに使用するには、テキストプロンプトが特定の形式に従う必要があります: Question: {} Answer:。
>>> prompt = f"Question: {question} Answer:"次に、モデルのprocessorで画像/プロンプトを前処理し、処理済みの入力をモデルに渡し、出力をデコードする必要があります:
>>> inputs = processor(image, text=prompt, return_tensors="pt").to(device, torch.float16)
>>> generated_ids = model.generate(**inputs, max_new_tokens=10)
>>> generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0].strip()
>>> print(generated_text)
"He is looking at the crowd"ご覧のとおり、モデルは群衆と顔の向き(下を向いていること)を認識していますが、群衆がスケートボーダーの後ろにあるという事実は見逃しているようです。それでも、人間によるアノテーション付きデータセットの取得が困難な場合、このアプローチは有用な結果を迅速に得ることができます。
Update on GitHub