Diffusers documentation
AceStepTransformer1DModel
AceStepTransformer1DModel
Un Diffusion Transformer 1D para la generación de música a partir de ACE-Step 1.5. El modelo opera sobre los latentes estéreo de 25 Hz producidos por AutoencoderOobleck utilizando flow matching, y se entrena con un backbone derivado de Qwen3 (atención de consulta agrupada, incrustación de posición rotativa, RMSNorm, condicionamiento de paso temporal AdaLN-Zero) más atención cruzada con las condiciones de texto / letra / timbre construidas por AceStepConditionEncoder.
AceStepTransformer1DModel
clase diffusers.AceStepTransformer1DModel
< source >( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )
Diffusion Transformer para la generación de música con ACE-Step 1.5.
Genera latentes de audio condicionados por texto, letra y timbre. Utiliza un incrustado de parches 1D (Conv1d con paso patch_size) seguido de una pila de AceStepTransformerBlocks con atención deslizante por ventana / atención completa alternada en la rama de autoatención. La atención cruzada consume los encoder_hidden_states empaquetados producidos por AceStepConditionEncoder.
forward
< source >( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
Parámetros
- hidden_states (
torch.Tensorde forma(batch_size, seq_len, channels)) — Entrada latente con ruido para el proceso de difusión. - timestep (
torch.Tensorde forma(batch_size,)) — Paso de difusión actualt. - timestep_r (
torch.Tensorde forma(batch_size,)) — Paso de tiempo de referenciar(establecido igual atpara la inferencia estándar). - encoder_hidden_states (
torch.Tensorde forma(batch_size, encoder_seq_len, hidden_size)) — Incrustaciones de condicionamiento del codificador de condición (texto + letra + timbre). - context_latents (
torch.Tensorde forma(batch_size, seq_len, context_dim)) — Latentes de contexto (latentes de origen concatenados con máscaras de fragmentos) — se introducen en la convolución de parcheo junto conhidden_states. - attention_kwargs (
dict, opcional) — Un diccionario de kwargs que se pasa alAttentionProcessor. Se utiliza para pasar la escala de LoRA mediante{"scale": float}. - return_dict (
bool, por defectoTrue) — Si se devuelve unTransformer2DModelOutputo una tupla simple.
Devuelve
Transformer2DModelOutput o tuple
El campo de velocidad predicho.
El método forward de AceStepTransformer1DModel.