Diffusers documentation
MiniMaxMusic3Transformer1DModel
MiniMaxMusic3Transformer1DModel
El Diffusion Transformer de flow-matching de 2.4B de MiniMax Music 3. Desruidiza los latentes de audio Flow-VAE de 128 canales condicionados en los estados ocultos por marco de la etapa de modelo de lenguaje autoregresivo del modelo, añadiendo el paso temporal de flow-matching como un token de secuencia adicional (un transformer continuo de linaje Stable-Audio con atención rotatoria parcial y feedforwards GLU).
MiniMaxMusic3Transformer1DModel
clase diffusers.MiniMaxMusic3Transformer1DModel
< source >( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )
El transformer de difusión de flow-matching de MiniMax Music 3. Desruidiza los latentes de audio de Flow-VAE condicionados en los estados ocultos por cuadro producidos por la etapa de modelo de lenguaje autoregresivo.
Las entradas son secuencias latentes 1D de forma (batch, in_channels, length). La señal de condicionamiento
(encoder_hidden_states, forma (batch, length, condition_dim)) debe estar ya alineada con la línea temporal latente;
consulte MiniMaxMusic3ConditionEncoder. El timestep de flow-matching va de 0 (ruido) a 1 (datos).
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )
Parámetros
- hidden_states (
torch.Tensorde forma(batch, in_channels, length)) — Latentes ruidosos de Flow-VAE. - timestep (
torch.Tensorde forma(batch,)) — Tiempo de flow-matching en[0, 1], donde 0 es ruido puro y 1 es datos. - encoder_hidden_states (
torch.Tensorde forma(batch, length, condition_dim)) — Condicional alineado por fotogramas deMiniMaxMusic3ConditionEncoder. Pasa ceros para la rama incondicional de la guía libre de clasificador. - return_dict (
bool, por defectoTrue) — Si se debe devolver un Transformer2DModelOutput en lugar de una tupla simple.