Diffusers documentation
StableAudioDiTModel
StableAudioDiTModel
Um modelo Transformer para formas de onda de áudio do Stable Audio Open.
StableAudioDiTModel
classe diffusers.StableAudioDiTModel
< source >( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )
Parâmetros
- sample_size (
int, opcional, padrão 1024) — O tamanho da amostra de entrada. - in_channels (
int, opcional, padrão 64) — O número de canais na entrada. - num_layers (
int, opcional, padrão 24) — O número de blocos de camadas de Transformer a serem usados. - attention_head_dim (
int, opcional, padrão 64) — O número de canais em cada cabeça. - num_attention_heads (
int, opcional, padrão 24) — O número de cabeças a serem usadas para os estados de consulta. - num_key_value_attention_heads (
int, opcional, padrão 12) — O número de cabeças a serem usadas para os estados de chave e valor. - out_channels (
int, padrão 64) — Número de canais de saída. - cross_attention_dim (
int, opcional, padrão 768) — Dimensão da projeção de atenção cruzada. - time_proj_dim (
int, opcional, padrão 256) — Dimensão da projeção interna do timestep. - global_states_input_dim (
int, opcional, padrão 1536) — Dimensão de entrada da projeção dos estados ocultos globais. - cross_attention_input_dim (
int, opcional, padrão 768) — Dimensão de entrada da projeção de atenção cruzada
O modelo Diffusion Transformer introduzido no Stable Audio.
Referência: https://github.com/Stability-AI/stable-audio-tools
forward
< source >( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )
Parâmetros
- hidden_states (
torch.FloatTensorde forma(batch size, in_channels, sequence_len)) —hidden_statesde entrada. - timestep (
torch.LongTensor) — Usado para indicar o passo de desruido. - encoder_hidden_states (
torch.FloatTensorde forma(batch size, encoder_sequence_len, cross_attention_input_dim)) — Incorporações condicionais (incorporações calculadas a partir das condições de entrada, como prompts) a serem usadas. - global_hidden_states (
torch.FloatTensorde forma(batch size, global_sequence_len, global_states_input_dim)) — Incorporações globais que serão adicionadas antes dos estados ocultos. - rotary_embedding (
torch.Tensor) — Os embeddings rotacionais a serem aplicados nos tensores de consulta e chave durante o cálculo da atenção. - return_dict (
bool, opcional, padrãoTrue) — Se deve ou não retornar um~models.transformer_2d.Transformer2DModelOutputem vez de uma tupla simples. - attention_mask (
torch.Tensorde forma(batch_size, sequence_len), opcional) — Máscara para evitar a execução de atenção nos índices de tokens de preenchimento, formada pela concatenação das máscaras de atenção dos dois codificadores de texto. Valores de máscara selecionados em[0, 1]:- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
- encoder_attention_mask (
torch.Tensorde forma(batch_size, sequence_len), opcional) — Máscara para evitar a execução de atenção nos índices de atenção cruzada dos tokens de preenchimento, formada pela concatenação das máscaras de atenção dos dois codificadores de texto. Valores da máscara selecionados em[0, 1]:- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
O método forward do StableAudioDiTModel.
Desativa os processadores de atenção personalizados e define a implementação padrão de atenção.