Diffusers documentation
HunyuanVideo15Transformer3DModel
HunyuanVideo15Transformer3DModel
نموذج Diffusion Transformer لبيانات الفيديو ثلاثية الأبعاد يُستخدم في HunyuanVideo1.5.
يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.
from diffusers import HunyuanVideo15Transformer3DModel
transformer = HunyuanVideo15Transformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo-1.5-Diffusers-480p_t2v" subfolder="transformer", dtype=torch.bfloat16)HunyuanVideo15Transformer3DModel
فئة diffusers.HunyuanVideo15Transformer3DModel
< source >( in_channels: int = 65out_channels: int = 32num_attention_heads: int = 16attention_head_dim: int = 128num_layers: int = 54num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 1patch_size_t: int = 1qk_norm: str = 'rms_norm'text_embed_dim: int = 3584text_embed_2_dim: int = 1472image_embed_dim: int = 1152rope_theta: float = 256.0rope_axes_dim: tuple = (16, 56, 56)target_size: int = 640task_type: str = 'i2v'use_meanflow: bool = False )
المعاملات
- in_channels (
int)، القيمة الافتراضية16— عدد القنوات في المدخلات. - out_channels (
int، القيمة الافتراضية16) — عدد القنوات في المخرجات. - num_attention_heads (
int، القيمة الافتراضية24) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس. - attention_head_dim (
int، القيمة الافتراضية128) — عدد القنوات في كل رأس. - num_layers (
int، القيمة الافتراضية20) — عدد طبقات كتل التدفق المزدوج المستخدمة. - num_refiner_layers (
int، القيمة الافتراضية2) — عدد طبقات كتل التصفية (refiner) المستخدمة. - mlp_ratio (
float، القيمة الافتراضية4.0) — نسبة حجم الطبقة المخفية إلى حجم الإدخال في الشبكة الأمامية. - patch_size (
int، القيمة الافتراضية2) — حجم البقع المكانية المستخدمة في طبقة تضمين البقع. - patch_size_t (
int، القيمة الافتراضية1) — حجم البقع الزمنية (temporal patches) المستخدمة في طبقة تضمين البقع (patch embedding layer). - qk_norm (
str، القيمة الافتراضيةrms_norm) — طريقة التطبيع المستخدمة لإسقاطات الاستعلام والمفتاح في طبقات الانتباه. - guidance_embeds (
bool، القيمة الافتراضيةTrue) — ما إذا كان سيتم استخدام تضمينات التوجيه في النموذج. - text_embed_dim (
int، القيمة الافتراضية4096) — البُعد المدخل لتضمينات النص من مُشفِّر النص. - pooled_projection_dim (
int، القيمة الافتراضية768) — البُعد الإسقاطي المجمّع لتضمينات النص. - rope_theta (
float، القيمة الافتراضية256.0) — قيمة ثيتا المستخدمة في طبقة RoPE. - rope_axes_dim (
tuple[int]، القيمة الافتراضية(16, 56, 56)) — أبعاد المحاور المستخدمة في طبقة RoPE.
نموذج Transformer لبيانات تشبه الفيديو يُستخدم في HunyuanVideo1.5.
forward
< source >( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )
المعاملات
- hidden_states (
torch.Tensorمن الشكل(batch_size, num_channels, num_frames, height, width)) — مدخلاتhidden_states. - timestep (
torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء. - encoder_hidden_states (
torch.Tensorمن الشكل(batch_size, sequence_len, embed_dims)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام. - encoder_attention_mask (
torch.Tensor) — قناع يُطبَّق علىencoder_hidden_statesأثناء الانتباه. - timestep_r (
torch.LongTensor، اختياري) — شرط خطوة التوقيت للمُحسِّن. - encoder_hidden_states_2 (
torch.Tensor، اختياري) — تضمينات شرطية إضافية محسوبة من مُشفِّر نصي ثانٍ (ByT5). - encoder_attention_mask_2 (
torch.Tensor، اختياري) — قناع يُطبَّق علىencoder_hidden_states_2أثناء الانتباه. - image_embeds (
torch.Tensor، اختياري) — تضمينات الصور للتوليد المشروط بالصور. - attention_kwargs (
dict، اختياري) — قاموس kwargs يُمرَّر إلىAttentionProcessorإذا تم تحديده، كما هو معرَّف تحتself.processorفي diffusers.models.attention_processor. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع~models.transformer_2d.Transformer2DModelOutputبدلاً من tuple عادي.
طريقة HunyuanVideo15Transformer3DModel الأمامية.
Transformer2DModelOutput
فئة diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
المعاملات
- sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)أو(batch size, num_vector_embeds - 1, num_latent_pixels)إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخلencoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.
مخرجات Transformer2DModel.