Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

AceStepTransformer1DModel

Diffusion Transformer 1D untuk generasi musik dari ACE-Step 1.5. Model ini beroperasi pada latens stereo 25 Hz yang dihasilkan oleh AutoencoderOobleck menggunakan flow matching, dan dilatih dengan backbone yang diturunkan dari Qwen3 (grouped-query attention, rotary position embedding, RMSNorm, kondisioning timestep AdaLN-Zero) ditambah cross-attention ke kondisi teks / lirik / timbre yang dibangun oleh AceStepConditionEncoder.

AceStepTransformer1DModel

kelas diffusers.AceStepTransformer1DModel

< source >

( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )

Diffusion Transformer untuk generasi musik ACE-Step 1.5.

Membuat latens audio yang dikondisikan oleh teks, lirik, dan timbre. Menggunakan patch embedding 1D (Conv1d dengan stride patch_size) yang diikuti oleh tumpukan AceStepTransformerBlock dengan sliding-window / full attention yang berselang-seling pada cabang self-attention. Cross-attention mengonsumsi encoder_hidden_states yang dikemas, yang dihasilkan oleh AceStepConditionEncoder.

forward

< source >

( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

Parameter

hidden_states (torch.Tensor dengan bentuk (batch_size, seq_len, channels)) — Input laten berisik untuk proses difusi.
timestep (torch.Tensor dengan bentuk (batch_size,)) — Langkah difusi saat ini t.
timestep_r (torch.Tensor dengan bentuk (batch_size,)) — Timestep referensi r (diset sama dengan t untuk inferensi standar).
encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, encoder_seq_len, hidden_size)) — Embedding kondisioning dari encoder kondisi (teks + lirik + timbre).
context_latents (torch.Tensor dengan bentuk (batch_size, seq_len, context_dim)) — Latent konteks (latent sumber yang digabungkan dengan mask chunk) — diberikan ke konvolusi patchify bersama dengan hidden_states.
attention_kwargs (dict, opsional) — Kamus kwargs yang diteruskan ke AttentionProcessor. Digunakan untuk meneruskan skala LoRA melalui {"scale": float}.
return_dict (bool, defaultnya True) — Apakah akan mengembalikan Transformer2DModelOutput atau tuple biasa.

Mengembalikan

Transformer2DModelOutput atau tuple

Medan kecepatan yang diprediksi.

Metode forward dari AceStepTransformer1DModel.

Update on GitHub

←SparseControlNetModel AllegroTransformer3DModel→