Hugging Face's logo

Diffusers documentation

LuminaNextDiT2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LuminaNextDiT2DModel

Versi berikutnya dari model Diffusion Transformer untuk data 2D dari Lumina-T2X.

LuminaNextDiT2DModel

kelas diffusers.LuminaNextDiT2DModel

< >

( sample_size: int = 128patch_size: int | None = 2in_channels: int | None = 4hidden_size: int | None = 2304num_layers: int | None = 32num_attention_heads: int | None = 32num_kv_heads: int | None = Nonemultiple_of: int | None = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float | None = 1e-05learn_sigma: bool | None = Trueqk_norm: bool | None = Truecross_attention_dim: int | None = 2048scaling_factor: float | None = 1.0 )

Parameter

  • sample_size (int) — Lebar dari gambar laten. Ini tetap selama pelatihan karena digunakan untuk mempelajari sejumlah position embeddings.
  • patch_size (int, opsional, (int, opsional, defaultnya 2) — Ukuran setiap patch dalam gambar. Parameter ini mendefinisikan resolusi patch yang dimasukkan ke dalam model.
  • in_channels (int, opsional, default 4) — Jumlah channel input untuk model. Biasanya, ini sesuai dengan jumlah channel pada gambar input.
  • hidden_size (int, opsional, default 4096) — Dimensi dari lapisan tersembunyi dalam model. Parameter ini menentukan lebar representasi tersembunyi model.
  • num_layers (int, opsional, default 32) — Jumlah lapisan dalam model. Ini mendefinisikan kedalaman jaringan saraf.
  • num_attention_heads (int, opsional, default 32) — Jumlah attention heads di setiap lapisan attention. Parameter ini menentukan berapa banyak mekanisme attention terpisah yang digunakan.
  • num_kv_heads (int, opsional, default 8) — Jumlah kepala key-value dalam mekanisme perhatian, jika berbeda dari jumlah kepala perhatian. Jika None, defaultnya adalah num_attention_heads.
  • multiple_of (int, opsional, default 256) — Faktor yang ukuran tersembunyi harus menjadi kelipatannya. Hal ini dapat membantu mengoptimalkan konfigurasi perangkat keras tertentu.
  • ffn_dim_multiplier (float, opsional) — Pengali untuk dimensi jaringan feed-forward. Jika None, ia menggunakan nilai default berdasarkan konfigurasi model.
  • norm_eps (float, opsional, default 1e-5) — Nilai kecil yang ditambahkan ke penyebut untuk stabilitas numerik pada lapisan normalisasi.
  • learn_sigma (bool, opsional, default True) — Apakah model harus mempelajari parameter sigma, yang mungkin berkaitan dengan ketidakpastian atau varians dalam prediksi.
  • qk_norm (bool, opsional, default True) — Menunjukkan apakah query dan key dalam mekanisme attention harus dinormalisasi.
  • cross_attention_dim (int, opsional, default 2048) — Dimensi dari text embeddings. Parameter ini mendefinisikan ukuran representasi teks yang digunakan dalam model.
  • scaling_factor (float, opsional, default 1.0) — Faktor penskalaan yang diterapkan pada parameter atau lapisan tertentu dalam model. Hal ini dapat digunakan untuk menyesuaikan skala keseluruhan operasi model.

LuminaNextDiT: Model difusi dengan tulang punggung Transformer.

Warisi ModelMixin dan ConfigMixin agar kompatibel dengan sampler StableDiffusionPipeline dari diffusers.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_mask: Tensorimage_rotary_emb: Tensorcross_attention_kwargs: dict[str, typing.Any] = Nonereturn_dict = True ) → ~models.transformer_2d.Transformer2DModelOutput or tuple

Parameter

  • hidden_states (torch.Tensor) — Tensor input dengan bentuk (N, C, H, W).
  • timestep (torch.Tensor) — Tensor dari timestep difusi dengan bentuk (N,).
  • encoder_hidden_states (torch.Tensor) — Tensor fitur caption dengan bentuk (N, D).
  • encoder_mask (torch.Tensor) — Tensor dari caption masks dengan bentuk (N, L).
  • image_rotary_emb (torch.Tensor) — Embedding posisi rotasi yang telah dihitung sebelumnya.
  • cross_attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Mengembalikan

~models.transformer_2d.Transformer2DModelOutput atau tuple

Jika return_dict bernilai True, sebuah ~models.transformer_2d.Transformer2DModelOutput akan dikembalikan, selain itu sebuah tuple biasa akan dikembalikan.

Forward pass dari LuminaNextDiT.

Update on GitHub

←Lumina2Transformer2DModel MiniMaxH3ImageTransformer2DModel→