Diffusers documentation
AceStepTransformer1DModel
AceStepTransformer1DModel
Một Diffusion Transformer 1D cho việc tạo nhạc từ ACE-Step 1.5. Mô hình hoạt động trên các latents stereo 25 Hz do AutoencoderOobleck tạo ra, sử dụng flow matching, và được huấn luyện với một backbone có nguồn gốc từ Qwen3 (grouped-query attention, rotary position embedding, RMSNorm, điều kiện hóa bước thời gian AdaLN-Zero) cùng với cross-attention đến các điều kiện văn bản / lời bài hát / âm sắc được xây dựng bởi AceStepConditionEncoder.
AceStepTransformer1DModel
lớp diffusers.AceStepTransformer1DModel
< source >( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )
Diffusion Transformer cho tạo nhạc ACE-Step 1.5.
Tạo ra các ẩn âm thanh có điều kiện dựa trên văn bản, lời bài hát và âm sắc. Sử dụng nhúng patch 1 chiều (Conv1d với bước nhảy patch_size) tiếp theo là một chồng các AceStepTransformerBlock với chú ý trượt cửa sổ / chú ý toàn phần xen kẽ trên nhánh tự chú ý. Chú ý chéo tiêu thụ encoder_hidden_states đã đóng gói do AceStepConditionEncoder tạo ra.
forward
< source >( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
Tham số
- hidden_states (
torch.Tensorcó hình dạng(batch_size, seq_len, channels)) — Đầu vào ẩn nhiễu cho quá trình khuếch tán. - timestep (
torch.Tensorcó hình dạng(batch_size,)) — Bước thời gian khuếch tán hiện tạit. - timestep_r (
torch.Tensorcó shape(batch_size,)) — Timestep tham chiếur(được đặt bằngtcho suy luận tiêu chuẩn). - encoder_hidden_states (
torch.Tensorcó hình dạng(batch_size, encoder_seq_len, hidden_size)) — Các embedding điều kiện từ bộ mã hóa điều kiện (văn bản + lời bài hát + âm sắc). - context_latents (
torch.Tensorcó hình dạng(batch_size, seq_len, context_dim)) — Các latents ngữ cảnh (các latents nguồn được nối với các mask chunk) — được đưa vào conv patchify cùng vớihidden_states. - attention_kwargs (
dict, tùy chọn) — Một từ điển kwargs được truyền đếnAttentionProcessor. Được dùng để truyền thang đo LoRA thông qua{"scale": float}. - return_dict (
bool, mặc định làTrue) — Có nên trả về mộtTransformer2DModelOutputhay một tuple thông thường.
Trả về
Transformer2DModelOutput hoặc tuple
Trường vận tốc dự đoán.
Phương thức forward của AceStepTransformer1DModel.