Hugging Face's logo

Diffusers documentation

Motif-Video

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Motif-Video

Teknik Rapor

Motif-Video, metinden videoya ve görüntüden videoya üretim için tasarlanmış, 2B parametreli bir difüzyon dönüştürücüsüdür. Uzun video dizileri altında kararlı metin-video hizalaması için 12 çift akış + 16 tek akış + 8 DDT kodlayıcı katmanına sahip üç aşamalı bir mimari, T5Gemma2 metin kodlayıcısı ve hız tahmini için düzeltilmiş akış eşleştirmesi (rectified flow matching) özelliklerine sahiptir.

Motif-Video architecture

Metinden Video Üretimi

Metinden video üretimi için MotifVideoPipeline kullanın:

import torch
from diffusers import MotifVideoPipeline
from diffusers.utils import export_to_video


pipe = MotifVideoPipeline.from_pretrained(
    "Motif-Technologies/Motif-Video-2B",
    dtype=torch.bfloat16,
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair."
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=1280,
    height=736,
    num_frames=121,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)

Görüntüden Video Üretimi

Görselden video üretimi için MotifVideoImage2VideoPipeline kullanın:

import torch
from diffusers import MotifVideoImage2VideoPipeline
from diffusers.utils import export_to_video, load_image


pipe = MotifVideoImage2VideoPipeline.from_pretrained(
    "Motif-Technologies/Motif-Video-2B",
    dtype=torch.bfloat16,
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = load_image("input_image.png")
prompt = "A cinematic scene with vivid colors."
negative_prompt = "worst quality, blurry, jittery, distorted"

video = pipe(
    image=image,
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=1280,
    height=736,
    num_frames=121,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "i2v_output.mp4", fps=24)

Hafıza-verimli Çıkarım

30 GB VRAM'dan az belleğe sahip GPU'lar (ör. RTX 4090) için model CPU offloading kullanın:

export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
import torch
from diffusers import MotifVideoPipeline
from diffusers.utils import export_to_video


pipe = MotifVideoPipeline.from_pretrained(
    "Motif-Technologies/Motif-Video-2B",
    dtype=torch.bfloat16,
)
pipe.enable_model_cpu_offload()

prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair."
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=1280,
    height=736,
    num_frames=121,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)

MotifVideoPipeline

sınıf diffusers.MotifVideoPipeline

< >

( scheduler: SchedulerMixinvae: AutoencoderKLWantext_encoder: T5Gemma2Encodertokenizer: PreTrainedTokenizerBasetransformer: MotifVideoTransformer3DModelguider: BaseGuidancefeature_extractor: typing.Optional[transformers.models.siglip.image_processing_pil_siglip.SiglipImageProcessorPil] = None )

Parametreler

  • transformer (MotifVideoTransformer3DModel) — Kodlanmış video latentlerini gürültüden arındırmak için kullanılan koşullu Transformer mimarisi.
  • scheduler (SchedulerMixin) — Kodlanmış video latentlerini gürültüden arındırmak için transformer ile birlikte kullanılacak bir zamanlayıcı. SchedulerMixin'den türeyen bir sınıfın örneği olmalıdır, örneğin DPMSolverMultistepScheduler. Sağlanmazsa, önceden eğitilmiş modele bağlı zamanlayıcı kullanılır.
  • vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
  • text_encoder (T5Gemma2Encoder) — Metin istemlerini gömülü (embedding) olarak kodlamak için kullanılan birincil metin kodlayıcı.
  • tokenizer (PreTrainedTokenizerBase) — Birincil metin kodlayıcıya karşılık gelen tokenizer.
  • guider (BaseGuidance) — Kullanılacak rehberlik yöntemi. BaseGuidance sınıfından türeyen bir sınıfın örneği olmalıdır, örneğin ClassifierFreeGuidance, AdaptiveProjectedGuidance veya SkipLayerGuidance. Verilmezse, varsayılan olarak ClassifierFreeGuidance kullanılır.

Motif-Video kullanarak metinden videoya üretim için Pipeline.

Bu model DiffusionPipeline sınıfından devralır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.

__call__

< >

( prompt: typing.Union[str, typing.List[str], NoneType] = Nonenegative_prompt: typing.Union[str, typing.List[str], NoneType] = Noneheight: int = 736width: int = 1280num_frames: int = 121num_inference_steps: int = 50timesteps: typing.Optional[typing.List[int]] = Nonenum_videos_per_prompt: typing.Optional[int] = 1generator: typing.Union[torch.Generator, typing.List[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Noneoutput_type: typing.Optional[str] = 'pil'return_dict: bool = Trueattention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: typing.List[str] = ['latents']max_sequence_length: int = 512vae_batch_size: int | None = None ) → ~MotifVideoPipelineOutput or tuple

Parametreler

  • prompt (str veya List[str], isteğe bağlı) — Video üretimini yönlendirmek için istem veya istemler. Tanımlanmadıysa, prompt_embeds parametresinin geçirilmesi gerekir.
  • negative_prompt (str veya List[str], isteğe bağlı) — Video üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmazsa, bunun yerine negative_prompt_embeds parametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında yok sayılır.
  • height (int, varsayılan 736) — Oluşturulan videonun piksel cinsinden yüksekliği.
  • width (int, varsayılan 1280) — Oluşturulan videonun piksel cinsinden genişliği.
  • num_frames (int, varsayılan 121) — Üretilecek video kare sayısı.
  • num_inference_steps (int, isteğe bağlı, varsayılan 50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir videoya yol açar.
  • timesteps (List[int], isteğe bağlı) — Gürültü azaltma süreci için kullanılacak özel zaman adımları.
  • num_videos_per_prompt (int, isteğe bağlı, varsayılan 1) — Her prompt için üretilecek video sayısı.
  • generator (torch.Generator veya List[torch.Generator], isteğe bağlı) — Belirleyici üretim için PyTorch Generator nesneleri.
  • latents (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş gürültülü latentler.
  • prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri.
  • prompt_attention_mask (torch.Tensor, isteğe bağlı) — Metin gömme (embedding) için önceden oluşturulmuş dikkat maskesi.
  • negative_prompt_embeds (torch.FloatTensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri.
  • negative_prompt_attention_mask (torch.FloatTensor, isteğe bağlı) — Negatif metin gömme vektörleri için önceden oluşturulmuş dikkat maskesi.
  • output_type (str, isteğe bağlı, varsayılan "pil") — Oluşturulan videonun çıktı biçimi. "pil", "np" veya "latent" arasında seçim yapın.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~MotifVideoPipelineOutput döndürülüp döndürülmemesi.
  • attention_kwargs (dict, isteğe bağlı) — Dikkat işlemcisine aktarılan argümanlar.
  • callback_on_step_end (Callable, isteğe bağlı) — Her gürültü azaltma adımının sonunda çağrılan bir fonksiyon veya PipelineCallback ya da MultiPipelineCallbacks alt sınıfı.
  • callback_on_step_end_tensor_inputs (List, isteğe bağlı) — callback_on_step_end işlevi için girdi tensörlerinin listesi.
  • max_sequence_length (int, varsayılan 512) — Tokenizör için maksimum dizi uzunluğu.
  • vae_batch_size (int, isteğe bağlı) — VAE çözme işlemi için parti boyutu. Verilirse ve latents parti boyutu daha büyükse, VAE çözme işlemi parçalar halinde yapılır.

Dönüş değeri

~MotifVideoPipelineOutput veya tuple

return_dict True ise ~MotifVideoPipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu durumda ilk öğe, üretilen video karelerinin bir listesidir.

Metinden video üretimi için pipeline'ın çağrı fonksiyonu.

Örnekler:

>>> import torch
>>> from diffusers import MotifVideoPipeline
>>> from diffusers.utils import export_to_video

>>> # Load the Motif-Video pipeline
>>> motif_video_model_id = "Motif-Technologies/Motif-Video-2B"
>>> pipe = MotifVideoPipeline.from_pretrained(motif_video_model_id, torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")

>>> prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage"
>>> negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

>>> video = pipe(
...     prompt=prompt,
...     negative_prompt=negative_prompt,
...     width=1280,
...     height=736,
...     num_frames=121,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(video, "output.mp4", fps=24)

encode_prompt

< >

( prompt: typing.Union[str, typing.List[str]]negative_prompt: typing.Union[str, typing.List[str], NoneType] = Nonenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 512device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None ) → tuple[torch.Tensor, torch.Tensor, torch.Tensor, torch.Tensor]

Parametreler

  • prompt (str veya List[str], isteğe bağlı) — Kodlanacak istem veya istemler.
  • negative_prompt (str veya List[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerine negative_prompt_embeds parametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yani guidance_scale değeri 1'den küçükse) yok sayılır.
  • num_videos_per_prompt (int, isteğe bağlı, varsayılan 1) — Her istem için üretilecek video sayısı.
  • prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri.
  • negative_prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds, negative_prompt girdi argümanından oluşturulur.
  • prompt_attention_mask (torch.Tensor, isteğe bağlı) — Metin gömme (embedding) için önceden oluşturulmuş dikkat maskesi.
  • negative_prompt_attention_mask (torch.Tensor, isteğe bağlı) — Negatif metin gömme verileri için önceden oluşturulmuş dikkat maskesi.
  • max_sequence_length (int, varsayılan 512) — Tokenizör için maksimum dizi uzunluğu.
  • device (torch.device, isteğe bağlı) — Tensörlerin yerleştirileceği cihaz.
  • dtype (torch.dtype, isteğe bağlı) — Tensörler için veri türü.

Dönüş değeri

tuple[torch.Tensor, torch.Tensor, torch.Tensor, torch.Tensor]

Şu içeriği içeren bir demet:

  • prompt_embeds: Olumlu istem için metin gömme değerleri
  • negative_prompt_embeds: Negatif istem için metin gömme değerleri (yönlendirme kullanılmıyorsa None)
  • prompt_attention_mask: Olumlu istem için dikkat maskesi
  • negative_prompt_attention_mask: Negatif istem için dikkat maskesi (yönlendirme kullanılmıyorsa None)

İsteği metin kodlayıcı gizli durumlarına kodlar.

MotifVideoImage2VideoPipeline

sınıf diffusers.MotifVideoImage2VideoPipeline

< >

( scheduler: SchedulerMixinvae: AutoencoderKLWantext_encoder: T5Gemma2Encodertokenizer: PreTrainedTokenizerBasetransformer: MotifVideoTransformer3DModelguider: BaseGuidancefeature_extractor: SiglipImageProcessorPil )

Parametreler

  • transformer (MotifVideoTransformer3DModel) — Kodlanmış video latentlerini gürültüden arındırmak için kullanılan koşullu Transformer mimarisi.
  • scheduler (SchedulerMixin) — Kodlanmış video latentlerini gürültüden arındırmak için transformer ile birlikte kullanılacak bir zamanlayıcı. SchedulerMixin'den türeyen bir sınıfın örneği olmalıdır, örneğin DPMSolverMultistepScheduler. Sağlanmazsa, önceden eğitilmiş modele bağlı zamanlayıcı kullanılır.
  • vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
  • text_encoder (T5Gemma2Encoder) — Metin istemlerini gömülü (embedding) olarak kodlamak için kullanılan birincil metin kodlayıcı.
  • tokenizer (PreTrainedTokenizerBase) — Birincil metin kodlayıcıya karşılık gelen tokenizer.
  • feature_extractor (SiglipImageProcessor) — SigLIP görme kodlayıcısı için görüntü işleyici.
  • guider (BaseGuidance) — Kullanılacak rehberlik yöntemi. BaseGuidance sınıfından türeyen bir sınıfın örneği olmalıdır, örneğin ClassifierFreeGuidance, AdaptiveProjectedGuidance veya SkipLayerGuidance. Verilmezse, varsayılan olarak ClassifierFreeGuidance kullanılır.

İlk kare koşullandırması kullanılarak Motif-Video ile görüntüden videoya üretim için pipeline.

Bu model DiffusionPipeline sınıfından devralır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.

__call__

< >

( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]prompt: typing.Union[str, typing.List[str]]negative_prompt: typing.Union[str, typing.List[str], NoneType] = Noneheight: int = 736width: int = 1280num_frames: int = 121num_inference_steps: int = 50timesteps: typing.Optional[typing.List[int]] = Nonenum_videos_per_prompt: typing.Optional[int] = 1generator: typing.Union[torch.Generator, typing.List[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Noneoutput_type: typing.Optional[str] = 'pil'return_dict: bool = Trueattention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: typing.List[str] = ['latents']max_sequence_length: int = 512 ) → ~MotifVideoPipelineOutput or tuple

Parametreler

  • image (PipelineImageInput) — Video üretimi için ilk kare olarak kullanılacak girdi görüntüsü.
  • prompt (str veya List[str]) — Video üretimini yönlendirmek için istem veya istemler.
  • negative_prompt (str veya List[str], isteğe bağlı) — Video üretimini yönlendirmemek için kullanılan istem veya istemler.
  • height (int, varsayılan 736) — Oluşturulan videonun piksel cinsinden yüksekliği.
  • width (int, varsayılan 1280) — Oluşturulan videonun piksel cinsinden genişliği.
  • num_frames (int, varsayılan 121) — Üretilecek video kare sayısı.
  • num_inference_steps (int, isteğe bağlı, varsayılan 50) — Gürültü azaltma adım sayısı.
  • timesteps (List[int], isteğe bağlı) — Gürültü azaltma süreci için kullanılacak özel zaman adımları.
  • num_videos_per_prompt (int, isteğe bağlı, varsayılan 1) — Her prompt için üretilecek video sayısı.
  • generator (torch.Generator veya List[torch.Generator], isteğe bağlı) — Belirleyici üretim için PyTorch Generator nesneleri.
  • latents (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş gürültülü latentler.
  • prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri.
  • prompt_attention_mask (torch.Tensor, isteğe bağlı) — Metin gömme (embedding) için önceden oluşturulmuş dikkat maskesi.
  • negative_prompt_embeds (torch.FloatTensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri.
  • negative_prompt_attention_mask (torch.FloatTensor, isteğe bağlı) — Negatif metin gömme vektörleri için önceden oluşturulmuş dikkat maskesi.
  • output_type (str, isteğe bağlı, varsayılan "pil") — Oluşturulan videonun çıktı biçimi.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~MotifVideoPipelineOutput döndürülüp döndürülmemesi.
  • attention_kwargs (dict, isteğe bağlı) — Dikkat işlemcisine aktarılan argümanlar.
  • callback_on_step_end (Callable, isteğe bağlı) — Her gürültü azaltma adımının sonunda çağrılan bir fonksiyon veya PipelineCallback alt sınıfı.
  • callback_on_step_end_tensor_inputs (List, isteğe bağlı) — callback_on_step_end işlevi için girdi tensörlerinin listesi.
  • max_sequence_length (int, varsayılan 512) — Tokenizör için maksimum dizi uzunluğu.

Dönüş değeri

~MotifVideoPipelineOutput veya tuple

return_dict True ise ~MotifVideoPipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu durumda ilk öğe, üretilen video karelerinin bir listesidir.

Görselden video üretimi için pipeline'ın çağrı fonksiyonu.

Örnekler:

>>> import torch
>>> from PIL import Image
>>> from diffusers import MotifVideoImage2VideoPipeline
>>> from diffusers.utils import export_to_video, load_image

>>> # Load the Motif-Video image-to-video pipeline
>>> motif_video_model_id = "Motif-Technologies/Motif-Video-2B"
>>> pipe = MotifVideoImage2VideoPipeline.from_pretrained(motif_video_model_id, torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")

>>> # Load an image
>>> image = load_image(
...     "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/astronaut.png"
... )

>>> prompt = "An astronaut is walking on the moon surface, kicking up dust with each step"
>>> negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

>>> video = pipe(
...     image=image,
...     prompt=prompt,
...     negative_prompt=negative_prompt,
...     width=1280,
...     height=736,
...     num_frames=121,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(video, "output.mp4", fps=24)

encode_prompt

< >

( prompt: typing.Union[str, typing.List[str]]negative_prompt: typing.Union[str, typing.List[str], NoneType] = Nonenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 512device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None ) → tuple[torch.Tensor, torch.Tensor, torch.Tensor, torch.Tensor]

Parametreler

  • prompt (str veya List[str], isteğe bağlı) — Kodlanacak istem veya istemler.
  • negative_prompt (str veya List[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerine negative_prompt_embeds parametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yani guidance_scale değeri 1'den küçükse) yok sayılır.
  • num_videos_per_prompt (int, isteğe bağlı, varsayılan 1) — Her istem için üretilecek video sayısı.
  • prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri.
  • negative_prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds, negative_prompt girdi argümanından oluşturulur.
  • prompt_attention_mask (torch.Tensor, isteğe bağlı) — Metin gömme (embedding) için önceden oluşturulmuş dikkat maskesi.
  • negative_prompt_attention_mask (torch.Tensor, isteğe bağlı) — Negatif metin gömme verileri için önceden oluşturulmuş dikkat maskesi.
  • max_sequence_length (int, varsayılan 512) — Tokenizör için maksimum dizi uzunluğu.
  • device (torch.device, isteğe bağlı) — Tensörlerin yerleştirileceği cihaz.
  • dtype (torch.dtype, isteğe bağlı) — Tensörler için veri türü.

Dönüş değeri

tuple[torch.Tensor, torch.Tensor, torch.Tensor, torch.Tensor]

Şu içeriği içeren bir demet:

  • prompt_embeds: Olumlu istem için metin gömme değerleri
  • negative_prompt_embeds: Negatif istem için metin gömme değerleri (yönlendirme kullanılmıyorsa None)
  • prompt_attention_mask: Olumlu istem için dikkat maskesi
  • negative_prompt_attention_mask: Negatif istem için dikkat maskesi (yönlendirme kullanılmıyorsa None)

İsteği metin kodlayıcı gizli durumlarına kodlar.

MotifVideoPipelineOutput

sınıf diffusers.MotifVideoPipelineOutput

< >

( frames: Tensor )

Parametreler

  • frames (torch.Tensor, np.ndarray veya List[List[PIL.Image.Image]]) — Video çıktıları listesi - batch_size, uzunluğunda iç içe geçmiş bir liste olabilir; her alt liste, num_frames. uzunluğunda gürültüsü azaltılmış PIL görüntü dizileri içerir. Ayrıca (batch_size, num_frames, channels, height, width) biçiminde bir NumPy dizisi veya Torch tensörü de olabilir.

Motif-Video iş akışları için çıktı sınıfı.

Update on GitHub

←Mochi PAN 2→