Эта модель была опубликована в HF papers 05.04.2021 и добавлена в Hugging Face Transformers 21.11.2022.

Audio Spectrogram Transformer

Обзор

Модель Audio Spectrogram Transformer была предложена в работе AST: Audio Spectrogram Transformer авторами Yuan Gong, Yu-An Chung, James Glass. Модель Audio Spectrogram Transformer применяет Vision Transformer к аудио, преобразуя звук в изображение (спектрограмму). Модель демонстрирует наилучшие результаты для классификации аудио.

Аннотация из статьи следующая:

За последнее десятилетие свёрточные нейронные сети (CNN) получили широкое распространение в качестве основного строительного блока для моделей классификации аудио, обученных end-to-end, которые стремятся выучить прямое отображение из спектрограмм аудио на соответствующие метки. Чтобы лучше улавливать глобальный контекст на больших расстояниях, в последнее время стало модным добавлять механизм self-attention поверх CNN, формируя гибридную модель CNN-attention. Однако неясно, является ли опора на CNN необходимой и достаточно ли нейронных сетей, основанных исключительно на attention, для достижения хороших результатов в классификации аудио. В данной статье мы отвечаем на этот вопрос, представляя Audio Spectrogram Transformer (AST) — первую модель для классификации аудио, не содержащую свёрток и основанную исключительно на attention. Мы оцениваем AST на различных бенчмарках классификации аудио, где он достигает новых рекордных результатов: 0.485 mAP на AudioSet, 95.6% точности на ESC-50 и 98.1% точности на Speech Commands V2.

Эта модель была предоставлена пользователем nielsr. Исходный код можно найти здесь.

Советы по использованию

• При дообучении Audio Spectrogram Transformer (AST) на собственном наборе данных рекомендуется позаботиться о нормализации входных данных (чтобы среднее значение входных данных было равно 0, а стандартное отклонение — 0.5). ASTFeatureExtractor выполняет эту нормализацию. Обратите внимание, что по умолчанию используются среднее и стандартное отклонение из AudioSet. Вы можете посмотреть ast/src/get_norm_stats.py, чтобы узнать, как авторы вычисляют статистику для целевого набора данных.
• Обратите внимание, что для AST требуется низкая скорость обучения (авторы используют скорость обучения в 10 раз меньшую по сравнению с их моделью CNN, предложенной в статье PSLA), и модель сходится быстро, поэтому подберите подходящую скорость обучения и планировщик скорости обучения для вашей задачи.

Использование масштабированного внимания на основе скалярного произведения (SDPA)

PyTorch включает в себя нативный оператор масштабированного внимания по скалярному произведению (SDPA) в составе torch.nn.functional. Эта функция объединяет несколько реализаций, выбор которых зависит от входных данных и используемого оборудования. Подробнее см. в официальной документации или на странице GPU Inference.

SDPA используется по умолчанию для torch>=2.1.1, когда доступна соответствующая реализация, но вы также можете установить attn_implementation="sdpa" в from_pretrained(), чтобы явно запросить использование SDPA.

from transformers import ASTForAudioClassification


model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", device_map="auto")
...

Для достижения максимального ускорения мы рекомендуем загружать модель в половинной точности (например, torch.float16 или torch.bfloat16).

На локальном бенчмарке (A100-40GB, PyTorch 2.3.0, ОС Ubuntu 22.04) с float32 и моделью MIT/ast-finetuned-audioset-10-10-0.4593 мы наблюдали следующие ускорения при инференсе.

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с Audio Spectrogram Transformer.

• Ноутбук с примером инференса с использованием AST для классификации аудио можно найти здесь.
• ASTForAudioClassification поддерживается в этом ноутбуке.
• См. также: Классификация аудио.

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

ASTConfig

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

ASTModel

ASTForAudioClassification

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
...

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...