Hugging Face's logo

Diffusers documentation

HunyuanVideoTransformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideoTransformer3DModel

Tencent tarafından HunyuanVideo: A Systematic Framework For Large Video Generative Models makalesinde, 3D video benzeri veriler için bir Diffusion Transformer modeli tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import HunyuanVideoTransformer3DModel

transformer = HunyuanVideoTransformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideoTransformer3DModel

sınıf diffusers.HunyuanVideoTransformer3DModel

< >

( in_channels: int = 16out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'guidance_embeds: bool = Truetext_embed_dim: int = 4096pooled_projection_dim: int = 768rope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (16, 56, 56)image_condition_type: str | None = None )

Parametreler

  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • num_attention_heads (int, varsayılan 24) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • num_layers (int, varsayılan 20) — Kullanılacak çift akışlı blokların katman sayısı.
  • num_single_layers (int, varsayılan 40) — Kullanılacak tek akışlı blok katmanlarının sayısı.
  • num_refiner_layers (int, varsayılan 2) — Kullanılacak refiner bloklarının katman sayısı.
  • mlp_ratio (float, varsayılan 4.0) — İleri beslemeli ağda gizli katman boyutunun giriş boyutuna oranı.
  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak uzamsal yamaların boyutu.
  • patch_size_t (int, varsayılan 1) — Yama gömme katmanında kullanılacak zamansal yamaların boyutu.
  • qk_norm (str, varsayılan rms_norm) — Dikkat katmanlarında sorgu ve anahtar projeksiyonları için kullanılacak normalizasyon.
  • guidance_embeds (bool, varsayılan True) — Modelde rehberlik gömme (embedding) kullanılıp kullanılmayacağı.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • pooled_projection_dim (int, varsayılan 768) — Metin gömme vektörlerinin havuzlanmış yansımalarının boyutu.
  • rope_theta (float, varsayılan 256.0) — RoPE katmanında kullanılacak theta değeri.
  • rope_axes_dim (tuple[int], varsayılan (16, 56, 56)) — RoPE katmanında kullanılacak eksenlerin boyutları.
  • image_condition_type (str, isteğe bağlı, varsayılan None) — Kullanılacak görüntü koşullandırma türü. None ise görüntü koşullandırması kullanılmaz. latent_concat ise görüntü, latent akışa eklenir. token_replace ise görüntü, latent akıştaki ilk kare token'larını değiştirmek ve koşullandırmayı uygulamak için kullanılır.

HunyuanVideo'da kullanılan video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorpooled_projections: Tensorguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, num_channels, num_frames, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • pooled_projections (torch.Tensor, şekli (batch_size, projection_dim)) — Girdi koşullarının gömülme değerlerinden yansıtılan gömülme değerleri.
  • guidance (torch.Tensor, isteğe bağlı) — Modelin guidance-distilled varyantları için kullanılan guidance ölçek gömme değeri.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

HunyuanVideoTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←HunyuanVideo15Transformer3DModel Ideogram4Transformer2DModel→