Transformers documentation
MusicGen
Mô hình này được công bố trên HF papers vào ngày 08-06-2023 và được đóng góp cho Hugging Face Transformers vào ngày 29-06-2023.
MusicGen
Tổng quan
Mô hình MusicGen được đề xuất trong bài báo Simple and Controllable Music Generation của Jade Copet, Felix Kreuk, Itai Gat, Tal Remez, David Kant, Gabriel Synnaeve, Yossi Adi và Alexandre Défossez.
MusicGen là một mô hình Transformer tự hồi quy một giai đoạn, có khả năng tạo ra các mẫu âm nhạc chất lượng cao dựa trên mô tả bằng văn bản hoặc các gợi ý âm thanh. Các mô tả văn bản được đưa qua một mô hình mã hóa văn bản đóng băng để thu được một chuỗi các biểu diễn trạng thái ẩn. Sau đó, MusicGen được huấn luyện để dự đoán các token âm thanh rời rạc, hay mã âm thanh, dựa trên các trạng thái ẩn này. Các token âm thanh này sau đó được giải mã bằng một mô hình nén âm thanh, chẳng hạn như EnCodec, để khôi phục dạng sóng âm thanh.
Thông qua một mẫu xen kẽ token hiệu quả, MusicGen không yêu cầu biểu diễn ngữ nghĩa tự giám sát của các prompt văn bản/âm thanh, do đó loại bỏ nhu cầu kết nối nhiều mô hình để dự đoán một tập hợp các codebook (ví dụ: theo cấp bậc hoặc upsampling). Thay vào đó, nó có thể tạo ra tất cả các codebook trong một lần forward pass duy nhất.
Tóm tắt từ bài báo như sau:
Chúng tôi giải quyết bài toán tạo nhạc có điều kiện. Chúng tôi giới thiệu MusicGen, một mô hình ngôn ngữ (LM) đơn lẻ hoạt động trên nhiều luồng của biểu diễn nhạc rời rạc đã nén, tức là các token. Khác với các công trình trước, MusicGen bao gồm một LM transformer một giai đoạn cùng với các mẫu xen kẽ token hiệu quả, loại bỏ nhu cầu kết nối nhiều mô hình, chẳng hạn theo cấp bậc hoặc lấy mẫu lên. Theo cách tiếp cận này, chúng tôi chứng minh cách MusicGen có thể tạo ra các mẫu chất lượng cao, trong khi được điều kiện bởi mô tả văn bản hoặc các đặc trưng giai điệu, cho phép kiểm soát tốt hơn đối với đầu ra được tạo. Chúng tôi tiến hành đánh giá thực nghiệm rộng rãi, xem xét cả các nghiên cứu tự động và của con người, cho thấy cách tiếp cận đề xuất vượt trội hơn so với các baseline được đánh giá trên một benchmark chuẩn từ văn bản sang nhạc. Thông qua các nghiên cứu ablation, chúng tôi làm sáng tỏ tầm quan trọng của từng thành phần cấu thành MusicGen.
Mô hình này được đóng góp bởi sanchit-gandhi. Mã gốc có thể được tìm thấy tại đây. Các checkpoint được huấn luyện trước có thể được tìm thấy trên Hugging Face Hub.
Mẹo sử dụng
- Sau khi tải xuống các checkpoint gốc từ đây , bạn có thể chuyển đổi chúng bằng script chuyển đổi có sẵn tại
src/transformers/models/musicgen/convert_musicgen_transformers.pyvới lệnh sau:
python src/transformers/models/musicgen/convert_musicgen_transformers.py \
--checkpoint small --pytorch_dump_folder /output/pathSinh
MusicGen tương thích với hai chế độ sinh: greedy và sampling. Trên thực tế, sampling cho kết quả tốt hơn đáng kể so với greedy, do đó chúng tôi khuyến khích sử dụng chế độ sampling khi có thể. Sampling được bật theo mặc định và có thể được chỉ định rõ bằng cách đặt do_sample=True trong lời gọi MusicgenForConditionalGeneration.generate(), hoặc bằng cách ghi đè cấu hình sinh của model (xem bên dưới).
Việc tạo ra âm thanh bị giới hạn bởi các nhúng vị trí hình sin ở mức đầu vào 30 giây. Điều này có nghĩa là MusicGen không thể tạo ra nhiều hơn 30 giây âm thanh (1503 token), và âm thanh đầu vào được truyền qua Audio-Prompted Generation cũng đóng góp vào giới hạn này, do đó, với đầu vào là 20 giây âm thanh, MusicGen không thể tạo ra thêm nhiều hơn 10 giây âm thanh.
Transformers hỗ trợ cả các biến thể mono (1 kênh) và stereo (2 kênh) của MusicGen. Các phiên bản kênh mono tạo ra một bộ codebook duy nhất. Các phiên bản stereo tạo ra 2 bộ codebook, 1 cho mỗi kênh (trái/phải), và mỗi bộ codebook được giải mã độc lập thông qua mô hình nén âm thanh. Các luồng âm thanh cho mỗi kênh được kết hợp để tạo ra đầu ra stereo cuối cùng.
Tạo không điều kiện
Các đầu vào cho việc tạo không điều kiện (hoặc ‘null’) có thể được lấy thông qua phương thức MusicgenForConditionalGeneration.get_unconditional_inputs():
from transformers import MusicgenForConditionalGeneration
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small", device_map="auto")
unconditional_inputs = model.get_unconditional_inputs(num_samples=1)
audio_values = model.generate(**unconditional_inputs, do_sample=True, max_new_tokens=256)Đầu ra âm thanh là một tensor Torch ba chiều có hình dạng (batch_size, num_channels, sequence_length). Để nghe các mẫu âm thanh được tạo ra, bạn có thể phát chúng trong một notebook ipynb:
from IPython.display import Audio
sampling_rate = model.config.audio_encoder.sampling_rate
Audio(audio_values[0].numpy(), rate=sampling_rate)Hoặc lưu chúng dưới dạng tệp .wav bằng thư viện bên thứ ba, ví dụ scipy:
import scipy
sampling_rate = model.config.audio_encoder.sampling_rate
scipy.io.wavfile.write("musicgen_out.wav", rate=sampling_rate, data=audio_values[0, 0].numpy())Tạo có điều kiện theo văn bản
Mô hình có thể tạo ra một mẫu âm thanh có điều kiện dựa trên một câu lệnh văn bản thông qua việc sử dụng MusicgenProcessor để tiền xử lý các đầu vào:
from transformers import AutoProcessor, MusicgenForConditionalGeneration
processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small", device_map="auto")
inputs = processor(
text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
padding=True,
return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)guidance_scale được sử dụng trong classifier free guidance (CFG), thiết lập trọng số giữa các logits có điều kiện (được dự đoán từ các prompt văn bản) và các logits không điều kiện (được dự đoán từ một prompt không điều kiện hoặc prompt ‘null’). Giá trị guidance scale cao hơn khuyến khích mô hình tạo ra các mẫu liên kết chặt chẽ hơn với prompt đầu vào, thường phải đánh đổi bằng chất lượng âm thanh kém hơn. CFG được bật bằng cách đặt guidance_scale > 1. Để đạt kết quả tốt nhất, hãy sử dụng guidance_scale=3 (mặc định).
Tạo theo lời nhắc âm thanh
Cùng một MusicgenProcessor có thể được sử dụng để tiền xử lý một prompt âm thanh dùng cho việc tiếp nối âm thanh. Trong ví dụ dưới đây, chúng ta tải một tệp âm thanh bằng thư viện 🤗 Datasets, có thể cài đặt qua pip bằng lệnh bên dưới:
pip install --upgrade pip pip install datasets[audio]
from datasets import load_dataset
from transformers import AutoProcessor, MusicgenForConditionalGeneration
processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small", device_map="auto")
dataset = load_dataset("sanchit-gandhi/gtzan", split="train", streaming=True)
sample = next(iter(dataset))["audio"]
# take the first half of the audio sample
sample["array"] = sample["array"][: len(sample["array"]) // 2]
inputs = processor(
audio=sample["array"],
sampling_rate=sample["sampling_rate"],
text=["80s blues track with groovy saxophone"],
padding=True,
return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)Đối với tạo mẫu có âm thanh theo lô, audio_values được tạo ra có thể được xử lý hậu kỳ để loại bỏ phần đệm bằng cách sử dụng lớp MusicgenProcessor:
from datasets import load_dataset
from transformers import AutoProcessor, MusicgenForConditionalGeneration
processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small", device_map="auto")
dataset = load_dataset("sanchit-gandhi/gtzan", split="train", streaming=True)
sample = next(iter(dataset))["audio"]
# take the first quarter of the audio sample
sample_1 = sample["array"][: len(sample["array"]) // 4]
# take the first half of the audio sample
sample_2 = sample["array"][: len(sample["array"]) // 2]
inputs = processor(
audio=[sample_1, sample_2],
sampling_rate=sample["sampling_rate"],
text=["80s blues track with groovy saxophone", "90s rock song with loud guitars and heavy drums"],
padding=True,
return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)
# post-process to remove padding from the batched audio
audio_values = processor.batch_decode(audio_values, padding_mask=inputs.padding_mask)Cấu hình sinh
Các tham số mặc định kiểm soát quá trình sinh, chẳng hạn như lấy mẫu, thang độ dẫn hướng và số lượng token được sinh, có thể được tìm thấy trong cấu hình sinh của mô hình và được cập nhật theo mong muốn:
from transformers import MusicgenForConditionalGeneration
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small", device_map="auto")
# inspect the default generation config
model.generation_config
# increase the guidance scale to 4.0
model.generation_config.guidance_scale = 4.0
# decrease the max length to 256 tokens
model.generation_config.max_length = 256Lưu ý rằng bất kỳ đối số nào được truyền vào phương thức generate sẽ thay thế các đối số trong cấu hình sinh, do đó việc đặt do_sample=False trong lời gọi generate sẽ thay thế cài đặt model.generation_config.do_sample trong cấu hình sinh.
Cấu trúc Mô hình
Mô hình MusicGen có thể được tách thành ba giai đoạn riêng biệt:
- Text encoder: ánh xạ các đầu vào văn bản thành một chuỗi các biểu diễn trạng thái ẩn. Các mô hình MusicGen được huấn luyện trước sử dụng một text encoder đóng băng từ T5 hoặc Flan-T5
- MusicGen decoder: một mô hình ngôn ngữ (LM) tạo ra các token âm thanh (hoặc mã) theo cách tự hồi quy, có điều kiện dựa trên các biểu diễn trạng thái ẩn của bộ mã hóa
- Bộ mã hóa/giải mã âm thanh: được sử dụng để mã hóa một prompt âm thanh nhằm dùng làm các token prompt, và khôi phục dạng sóng âm thanh từ các token âm thanh do bộ giải mã dự đoán
Do đó, mô hình MusicGen có thể được sử dụng như một mô hình decoder độc lập, tương ứng với lớp MusicgenForCausalLM,
hoặc như một mô hình tổng hợp bao gồm text encoder và audio encoder/decoder, tương ứng với lớp MusicgenForConditionalGeneration. Nếu chỉ cần nạp decoder từ checkpoint đã huấn luyện trước, nó có thể được nạp bằng cách đầu tiên
chỉ định đúng config, hoặc được truy cập thông qua thuộc tính .decoder của mô hình tổng hợp:
from transformers import AutoConfig, MusicgenForCausalLM, MusicgenForConditionalGeneration
# Option 1: get decoder config and pass to `.from_pretrained`
decoder_config = AutoConfig.from_pretrained("facebook/musicgen-small").decoder
decoder = MusicgenForCausalLM.from_pretrained("facebook/musicgen-small", **decoder_config, device_map="auto")
# Option 2: load the entire composite model, but only return the decoder
decoder = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small", device_map="auto").decoderVì các mô hình text encoder và audio encoder/decoder được đóng băng trong quá trình huấn luyện, mô hình MusicGen decoder MusicgenForCausalLM có thể được huấn luyện độc lập trên một tập dữ liệu gồm encoder hidden-states và audio codes. Khi suy luận, decoder đã được huấn luyện có thể được kết hợp với text encoder và audio encoder/decoder đã đóng băng để khôi phục mô hình tổng hợp MusicgenForConditionalGeneration.
Mẹo:
- MusicGen được huấn luyện trên checkpoint 32kHz của Encodec. Bạn nên đảm bảo sử dụng phiên bản Encodec tương thích.
- Chế độ Sampling thường cho kết quả tốt hơn so với greedy - bạn có thể bật/tắt sampling bằng biến
do_sampletrong lời gọiMusicgenForConditionalGeneration.generate()
MusicgenDecoderConfig
lớp transformers.MusicgenDecoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 2048max_position_embeddings: int = 2048num_hidden_layers: int = 24ffn_dim: int = 4096num_attention_heads: int = 16layerdrop: float | int = 0.0use_cache: bool = Trueactivation_function: str = 'gelu'hidden_size: int = 1024dropout: float | int = 0.1attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0initializer_factor: float = 0.02scale_embedding: bool = Falsenum_codebooks: int = 4audio_channels: int = 1pad_token_id: int | None = 2048bos_token_id: int | None = 2048eos_token_id: int | list[int] | None = Nonetie_word_embeddings: bool = Falseis_decoder: bool = Falseadd_cross_attention: bool = Falsecross_attention_hidden_size: int | None = None )
Tham số
- vocab_size (
int, tùy chọn, mặc định là2048) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởiinput_ids. - max_position_embeddings (
int, tùy chọn, mặc định là2048) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng. - num_hidden_layers (
int, tùy chọn, mặc định là24) — Số lượng lớp ẩn trong bộ giải mã Transformer. - ffn_dim (
int, tùy chọn, mặc định là4096) — Kích thước của các biểu diễn MLP. - num_attention_heads (
int, tùy chọn, mặc định là16) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - layerdrop (
Union[float, int], tùy chọn, mặc định là0.0) — Xác suất LayerDrop. Xem [bài báo LayerDrop](xem https://huggingface.co/papers/1909.11556) để biết thêm chi tiết. - use_cache (
bool, tùy chọn, mặc định làTrue) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếuconfig.is_decoder=Truehoặc khi mô hình là mô hình sinh chỉ có decoder. - activation_function (
str, tùy chọn, mặc định làgelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - hidden_size (
int, tùy chọn, mặc định là1024) — Kích thước của các biểu diễn ẩn. - dropout (
Union[float, int], tùy chọn, mặc định là0.1) — Tỷ lệ cho tất cả các lớp dropout. - attention_dropout (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các xác suất chú ý. - activation_dropout (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ. - initializer_factor (
float, tùy chọn, mặc định là0.02) — Hệ số để khởi tạo tất cả các ma trận trọng số (nên giữ ở mức 1, được sử dụng bên trong cho việc kiểm tra khởi tạo). - scale_embedding (
bool, tùy chọn, mặc định làFalse) — Có nên chia embedding cho sqrt(d_model) để chuẩn hóa hay không. - num_codebooks (
int, tùy chọn, mặc định là4) — Số lượng codebook song song được mô hình sử dụng. - audio_channels (
int, tùy chọn, mặc định là1) — Số lượng kênh đầu vào. - pad_token_id (
int, tùy chọn, mặc định là2048) — Token id được sử dụng để đệm (padding) trong từ vựng. - bos_token_id (
int, tùy chọn, mặc định là2048) — Token id được sử dụng cho đầu luồng (beginning-of-stream) trong từ vựng. - eos_token_id (
Union[int, list[int]], tùy chọn) — Token id được sử dụng cho end-of-stream trong bảng từ vựng. - tie_word_embeddings (
bool, tùy chọn, mặc định làFalse) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không. - is_decoder (
bool, tùy chọn, mặc định làFalse) — Xác định xem mô hình có được sử dụng như một bộ giải mã hay không. NếuFalse, mô hình sẽ được sử dụng như một bộ mã hóa. - add_cross_attention (
bool, tùy chọn, mặc định làFalse) — Xác định xem có nên thêm các lớp cross-attention vào mô hình hay không. - cross_attention_hidden_size (
int, tùy chọn) — Kích thước ẩn của đầu ra encoder được chiếu vào không gian key/value của cross-attention trong decoder. Được sử dụng khi encoder và decoder có kích thước ẩn khác nhau.
Đây là lớp cấu hình để lưu trữ cấu hình của MusicgenModel. Nó được sử dụng để khởi tạo một mô hình Musicgen theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của facebook/musicgen-small
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
MusicgenConfig
lớp transformers.MusicgenConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonedecoder: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneinitializer_factor: float = 0.02 )
Tham số
- text_encoder (
Union[dict,PretrainedConfig]) — Một instance của đối tượng cấu hình định nghĩa cấu hình text encoder. - audio_encoder (
Union[dict,PretrainedConfig]) — Một instance của đối tượng cấu hình định nghĩa cấu hình audio encoder. - decoder (
Union[dict,PretrainedConfig]) — Một instance của đối tượng cấu hình định nghĩa cấu hình decoder. - initializer_factor (
float, tùy chọn, mặc định là0.02) — Hệ số để khởi tạo tất cả các ma trận trọng số (nên giữ ở mức 1, được sử dụng bên trong cho việc kiểm tra khởi tạo).
Đây là lớp cấu hình để lưu trữ cấu hình của MusicgenModel. Nó được sử dụng để khởi tạo một mô hình Musicgen theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của facebook/musicgen-small
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import (
... MusicgenConfig,
... MusicgenDecoderConfig,
... T5Config,
... EncodecConfig,
... MusicgenForConditionalGeneration,
... )
>>> # Initializing text encoder, audio encoder, and decoder model configurations
>>> text_encoder_config = T5Config()
>>> audio_encoder_config = EncodecConfig()
>>> decoder_config = MusicgenDecoderConfig()
>>> configuration = MusicgenConfig(
... text_encoder=text_encoder_config,
... audio_encoder=audio_encoder_config,
... decoder=decoder_config,
... )
>>> # Initializing a MusicgenForConditionalGeneration (with random weights) from the facebook/musicgen-small style configuration
>>> model = MusicgenForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
>>> config_text_encoder = model.config.text_encoder
>>> config_audio_encoder = model.config.audio_encoder
>>> config_decoder = model.config.decoder
>>> # Saving the model, including its configuration
>>> model.save_pretrained("musicgen-model")
>>> # loading model and config from pretrained folder
>>> musicgen_config = MusicgenConfig.from_pretrained("musicgen-model")
>>> model = MusicgenForConditionalGeneration.from_pretrained("musicgen-model", config=musicgen_config)MusicgenProcessor
lớp transformers.MusicgenProcessor
< source >( feature_extractortokenizer )
Tạo một MusicgenProcessor đóng gói một bộ trích xuất đặc trưng và một bộ phân từ thành một bộ xử lý duy nhất.
MusicgenProcessor cung cấp đầy đủ các chức năng của EncodecFeatureExtractor và T5Tokenizer. Xem ~EncodecFeatureExtractor và ~T5Tokenizer để biết thêm thông tin.
__call__
< source >( *args**kwargs )
Tham số
- return_tensors (
strhoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:'pt': Trả về các đối tượngtorch.Tensorcủa PyTorch.'np': Trả về các đối tượngnp.ndarraycủa NumPy.
MusicgenModel
lớp transformers.MusicgenModel
< source >( config: MusicgenDecoderConfig )
Tham số
- config (MusicgenDecoderConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Mô hình Musicgen cơ bản, tạo ra các hidden-state thô mà không có bất kỳ head cụ thể nào ở phía trên.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPastAndCrossAttentions or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size * num_codebooks, sequence_length)) — Chỉ số của các token trong chuỗi đầu vào của từ vựng, tương ứng với chuỗi mã âm thanh. Các chỉ số này có thể được lấy bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với EncodecModel. Xem EncodecModel.encode() để biết thêm chi tiết. input IDs là gì? input_ids sẽ tự động được chuyển đổi từ dạng (batch_size * num_codebooks, target_sequence_length) sang (batch_size, num_codebooks, target_sequence_length) trong quá trình forward. Nếu bạn lấy các mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như EncodecModel, hãy đảm bảo rằng số lượng khung (frames) bằng 1 và bạn đã thay đổi dạng (reshape) các mã âm thanh từ (frames, batch_size, num_codebooks, target_sequence_length) sang (batch_size * num_codebooks, target_sequence_length) trước khi truyền chúng dưới dạng input_ids.Các chỉ số có thể được thu được bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với EncodecModel. Xem EncodecModel.encode() để biết thêm chi tiết.
input_idssẽ được tự động chuyển đổi từ shape(batch_size * num_codebooks, target_sequence_length)sang(batch_size, num_codebooks, target_sequence_length)trong bước forward. Nếu bạn lấy audio codes từ một mô hình mã hóa âm thanh, chẳng hạn như EncodecModel, hãy đảm bảo rằng số lượng frames bằng 1 và bạn reshape audio codes từ(frames, batch_size, num_codebooks, target_sequence_length)sang(batch_size * num_codebooks, target_sequence_length)trước khi truyền chúng dưới dạnginput_ids. - attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- encoder_hidden_states (
torch.Tensorcó hình dạng(batch_size, encoder_sequence_length, hidden_size), tùy chọn) — Chuỗi hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder. - encoder_attention_mask (
torch.LongTensorcó hình dạng(batch_size, encoder_sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện cross-attention trên các chỉ số token padding của encoder input_ids. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values).
Trả về
BaseModelOutputWithPastAndCrossAttentions hoặc tuple(torch.Tensor)
Một BaseModelOutputWithPastAndCrossAttentions hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (MusicgenConfig) và đầu vào.
Phương thức forward của MusicgenModel ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.Nếu
past_key_valuesđược sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape(batch_size, 1, hidden_size)được xuất ra.past_key_values (
Cache, tùy chọn, được trả về khiuse_cache=Trueđược truyền vào hoặc khiconfig.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu
config.is_encoder_decoder=Truetrong các khối cross-attention) có thể được sử dụng (xem đầu vàopast_key_values) để tăng tốc độ giải mã tuần tự.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
cross_attentions (
tuple(torch.Tensor), tùy chọn, được trả về khioutput_attentions=Truevàconfig.add_cross_attention=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Bộ tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.
MusicgenForCausalLM
lớp transformers.MusicgenForCausalLM
< source >( config: MusicgenDecoderConfig )
Tham số
- config (MusicgenDecoderConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Mô hình giải mã MusicGen có đầu mô hình hóa ngôn ngữ phía trên.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithCrossAttentions or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size * num_codebooks, sequence_length)) — Chỉ số của các token trong chuỗi đầu vào của từ vựng, tương ứng với chuỗi mã âm thanh. Các chỉ số này có thể được lấy bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với EncodecModel. Xem EncodecModel.encode() để biết thêm chi tiết. input IDs là gì? input_ids sẽ tự động được chuyển đổi từ dạng (batch_size * num_codebooks, target_sequence_length) sang (batch_size, num_codebooks, target_sequence_length) trong quá trình forward. Nếu bạn lấy các mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như EncodecModel, hãy đảm bảo rằng số lượng khung (frames) bằng 1 và bạn đã thay đổi dạng (reshape) các mã âm thanh từ (frames, batch_size, num_codebooks, target_sequence_length) sang (batch_size * num_codebooks, target_sequence_length) trước khi truyền chúng dưới dạng input_ids.Các chỉ số có thể được thu được bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với EncodecModel. Xem EncodecModel.encode() để biết thêm chi tiết.
input_idssẽ được tự động chuyển đổi từ shape(batch_size * num_codebooks, target_sequence_length)sang(batch_size, num_codebooks, target_sequence_length)trong bước forward. Nếu bạn lấy audio codes từ một mô hình mã hóa âm thanh, chẳng hạn như EncodecModel, hãy đảm bảo rằng số lượng frames bằng 1 và bạn reshape audio codes từ(frames, batch_size, num_codebooks, target_sequence_length)sang(batch_size * num_codebooks, target_sequence_length)trước khi truyền chúng dưới dạnginput_ids. - attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- encoder_hidden_states (
torch.Tensorcó hình dạng(batch_size, encoder_sequence_length, hidden_size), tùy chọn) — Chuỗi hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder. - encoder_attention_mask (
torch.LongTensorcó hình dạng(batch_size, encoder_sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện cross-attention trên các chỉ số token padding của encoder input_ids. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - labels (
torch.LongTensorcó shape(batch_size, sequence_length, num_codebooks), tùy chọn) — Nhãn cho mô hình hóa ngôn ngữ. Lưu ý rằng các nhãn được dịch chuyển bên trong mô hình, tức là bạn có thể đặtlabels = input_idsCác chỉ số được chọn trong[-100, 0, ..., config.vocab_size]Tất cả các nhãn được đặt thành-100sẽ bị bỏ qua (che), loss chỉ được tính cho các nhãn trong[0, ..., config.vocab_size] - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values).
Trả về
CausalLMOutputWithCrossAttentions hoặc tuple(torch.Tensor)
Một CausalLMOutputWithCrossAttentions hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (MusicgenConfig) và đầu vào.
Phương thức forward của MusicgenForCausalLM ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó shape(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Loss của language modeling (cho next-token prediction).logits (
torch.Tensorcó hình dạng(batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
cross_attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Bộ tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số của cross attention sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu cross-attention.
past_key_values (
Cache, tùy chọn, được trả về khiuse_cache=Trueđược truyền vào hoặc khiconfig.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.Chứa các hidden-states đã được tính trước (key và values trong các khối attention) có thể được sử dụng (xem đầu vào
past_key_values) để tăng tốc độ giải mã tuần tự.
MusicgenForConditionalGeneration
lớp transformers.MusicgenForConditionalGeneration
< source >( config: transformers.models.musicgen.configuration_musicgen.MusicgenConfig | None = Nonetext_encoder: transformers.modeling_utils.PreTrainedModel | None = Noneaudio_encoder: transformers.modeling_utils.PreTrainedModel | None = Nonedecoder: transformers.models.musicgen.modeling_musicgen.MusicgenForCausalLM | None = None )
Tham số
- config (MusicgenConfig, tùy chọn) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
- text_encoder (
PreTrainedModel, tùy chọn) — Mô hình text encoder mã hóa văn bản thành hidden states để điều kiện hóa. - audio_encoder (
PreTrainedModel, tùy chọn) — Mô hình mã hóa âm thanh, mã hóa âm thanh thành các trạng thái ẩn để điều kiện hóa. - decoder (
MusicgenForCausalLM, tùy chọn) — Mô hình decoder tạo ra các token âm thanh dựa trên các tín hiệu điều kiện.
Mô hình MusicGen tổng hợp với bộ mã hóa văn bản, bộ mã hóa âm thanh và bộ giải mã Musicgen,
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.BoolTensor] = Noneinput_values: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.BoolTensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.BoolTensor] = Noneencoder_outputs: tuple[torch.Tensor] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqLMOutput or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- attention_mask (
torch.BoolTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện attention trên các chỉ số token padding. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- input_values (
torch.Tensorcó shape(batch_size, sequence_length), tùy chọn) — Các giá trị float của dạng sóng âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh.flachoặc.wavvào một mảng có kiểulist[float], mộtnumpy.ndarrayhoặc mộttorch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thànhinput_values, cần sử dụng AutoProcessor để đệm (padding) và chuyển đổi thành tensor có kiểutorch.Tensor. Xem MusicgenProcessor.call() để biết thêm chi tiết. - padding_mask (
torch.BoolTensorcó shape(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện attention trên các chỉ số token padding. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- decoder_input_ids (
torch.LongTensorcó dạng(batch_size * num_codebooks, target_sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào của decoder trong bảng từ vựng, tương ứng với chuỗi mã âm thanh. Các chỉ số này có thể được lấy bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với EncodecModel. Xem EncodecModel.encode() để biết thêm chi tiết. decoder_input_ids là gì? decoder_input_ids sẽ tự động được chuyển đổi từ dạng (batch_size * num_codebooks, target_sequence_length) sang (batch_size, num_codebooks, target_sequence_length) trong quá trình forward. Nếu bạn lấy các mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như EncodecModel, hãy đảm bảo rằng số lượng khung (frames) bằng 1 và bạn đã thay đổi dạng (reshape) các mã âm thanh từ (frames, batch_size, num_codebooks, target_sequence_length) sang (batch_size * num_codebooks, target_sequence_length) trước khi truyền chúng dưới dạng decoder_input_ids.Các chỉ số có thể được thu được bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với EncodecModel. Xem EncodecModel.encode() để biết thêm chi tiết.
ID đầu vào của bộ giải mã là gì?
decoder_input_idssẽ được tự động chuyển đổi từ hình dạng(batch_size * num_codebooks, target_sequence_length)sang(batch_size, num_codebooks, target_sequence_length)trong bước forward. Nếu bạn lấy mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như EncodecModel, hãy đảm bảo rằng số lượng khung bằng 1 và bạn định dạng lại mã âm thanh từ(frames, batch_size, num_codebooks, target_sequence_length)sang(batch_size * num_codebooks, target_sequence_length)trước khi truyền chúng dưới dạngdecoder_input_ids. - decoder_attention_mask (
torch.LongTensorcó hình dạng(batch_size, target_sequence_length), tùy chọn) — Hành vi mặc định: tạo một tensor bỏ qua các token pad trongdecoder_input_ids. Causal mask cũng sẽ được sử dụng theo mặc định. - encoder_outputs (
tuple[torch.Tensor], tùy chọn) — Tuple gồm (last_hidden_state, tùy chọn:hidden_states, tùy chọn:attentions)last_hidden_statecó shape(batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder. - past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - decoder_inputs_embeds (
torch.Tensorcó hình dạng(batch_size, target_sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềndecoder_input_idsbạn có thể chọn trực tiếp truyền một biểu diễn nhúng. Nếupast_key_valuesđược sử dụng, tùy chọn chỉ cầndecoder_inputs_embedscuối cùng phải được nhập (xempast_key_values). Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổidecoder_input_idschỉ số thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.Nếu cả
decoder_input_idsvàdecoder_inputs_embedsđều không được đặt,decoder_inputs_embedssẽ nhận giá trị củainputs_embeds. - labels (
torch.LongTensorcó shape(batch_size, sequence_length, num_codebooks), tùy chọn) — Nhãn cho mô hình hóa ngôn ngữ. Lưu ý rằng các nhãn được dịch chuyển bên trong mô hình, tức là bạn có thể đặtlabels = input_idsCác chỉ số được chọn trong[-100, 0, ..., config.vocab_size]Tất cả các nhãn được đặt thành-100sẽ bị bỏ qua (che), loss chỉ được tính cho các nhãn trong[0, ..., config.vocab_size] - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values).
Trả về
Seq2SeqLMOutput hoặc tuple(torch.Tensor)
Một Seq2SeqLMOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (MusicgenConfig) và đầu vào.
Phương thức forward của MusicgenForConditionalGeneration ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó shape(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Loss của language modeling.logits (
torch.Tensorcó hình dạng(batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).past_key_values (
EncoderDecoderCache, tùy chọn, được trả về khiuse_cache=Trueđược truyền vào hoặc khiconfig.use_cache=True) — Đây là một instance của EncoderDecoderCache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào
past_key_values) để tăng tốc độ giải mã tuần tự.decoder_hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
decoder_attentions (
tuple(torch.Tensor), tùy chọn, được trả về khi truyềnoutput_attentions=Truehoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).
cross_attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Bộ tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.
encoder_last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.encoder_hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
encoder_attentions (
tuple(torch.Tensor), tùy chọn, được trả về khi truyềnoutput_attentions=Truehoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).
Ví dụ:
>>> from transformers import AutoProcessor, MusicgenForConditionalGeneration
>>> import torch
>>> processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
>>> model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small")
>>> inputs = processor(
... text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
... padding=True,
... return_tensors="pt",
... )
>>> pad_token_id = model.generation_config.pad_token_id
>>> decoder_input_ids = (
... torch.ones((inputs.input_ids.shape[0] * model.decoder.num_codebooks, 1), dtype=torch.long)
... * pad_token_id
... )
>>> logits = model(**inputs, decoder_input_ids=decoder_input_ids).logits
>>> logits.shape # (bsz * num_codebooks, tgt_len, vocab_size)
torch.Size([8, 1, 2048])