Diffusers documentation
Anima
Anima
Anima هو نموذج لتحويل النص إلى صورة يعيد استخدام CosmosTransformer3DModel مع مشفر نصي Qwen3، ومشروط نصي T5-token، ووحدة الترميز/فك الترميز AutoencoderKLQwenImage.
import torch
from diffusers import ModularPipeline
pipe = ModularPipeline.from_pretrained("circlestone-labs/Anima-Base-v1.0-Diffusers")
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda") # or "mps", "xpu", "cpu"
image = pipe(prompt="masterpiece, best quality, 1girl, solo, city lights").images[0]AnimaModularPipeline
فئة diffusers.AnimaModularPipeline
< source >( blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = Nonepretrained_model_name_or_path: str | os.PathLike | None = Nonecomponents_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = Nonecollection: str | None = Noneworkflow: str | None = Nonemodular_config_dict: dict[str, typing.Any] | None = Noneconfig_dict: dict[str, typing.Any] | None = None**kwargs )
ModularPipeline لـ Anima.
AnimaAutoBlocks
خط أنابيب Auto Modular لتوليد الصور من النص وتحويل الصور إلى صور باستخدام Anima.
سير العمل المدعومة:
text2image: يتطلبpromptimg2img: يتطلبimage،prompt
المكوّنات:
text_encoder (Qwen3Model) tokenizer (Qwen2Tokenizer) t5_tokenizer (T5Tokenizer) guider
(ClassifierFreeGuidance) vae (AutoencoderKLQwenImage) image_processor (VaeImageProcessor)
text_conditioner (AnimaTextConditioner) transformer (CosmosTransformer3DModel) scheduler
(FlowMatchEulerDiscreteScheduler)
المدخلات:
prompt (str):
الموجّه أو الموجّهات لتوجيه توليد الصورة.
negative_prompt (str, اختياري):
الموجّه أو الموجّهات التي لا يجب استخدامها لتوجيه توليد الصورة.
max_sequence_length (int, اختياري, القيمة الافتراضية 512):
الحد الأقصى لطول التسلسل لتشفير الموجّه.
image (Image | list, اختياري):
صورة مرجعية أو صور مرجعية لإزالة الضوضاء. يمكن أن تكون صورة واحدة أو قائمة من الصور.
height (int, اختياري):
ارتفاع الصورة المولّدة بالبكسل.
width (int, اختياري):
عرض الصورة المولّدة بالبكسل.
generator (Generator, اختياري):
مولّد Torch لتوليد حتمي.
num_images_per_prompt (int, اختياري, القيمة الافتراضية 1):
عدد الصور المراد توليدها لكل موجّه.
image_latents (Tensor, اختياري):
القيم الكامنة للصور المستخدمة لتوجيه توليد الصورة. يمكن توليدها من خطوة vae_encoder.
num_inference_steps (int):
عدد خطوات إزالة الضوضاء.
sigmas (list, اختياري):
قيم sigmas مخصصة لعملية إزالة الضوضاء.
strength (float, اختياري, القيمة الافتراضية 0.9):
قوة img2img/التلوين.
latents (Tensor):
قيم كامنة ضوضائية مولّدة مسبقًا لتوليد الصورة.
*denoiser_input_fields (None,اختياري):
مدخلات النموذج الشرطي لمزيل ضوضاء Anima.
output_type (str,اختياري*، القيمة الافتراضية pil):
صيغة الإخراج: ‘pil’، ‘np’، ‘pt’.
المخرجات:
صور (list):
الصور المولّدة.
AnimaTextConditioner
فئة diffusers.AnimaTextConditioner
< source >( source_dim: int = 1024target_dim: int = 1024model_dim: int = 1024num_layers: int = 6num_attention_heads: int = 16mlp_ratio: float = 4.0target_vocab_size: int = 32128use_self_attention: bool = Trueuse_layer_norm: bool = Falsemin_sequence_length: int = 512 )
مُعدِّل النص المستخدم في Anima لتحويل الحالات المخفية لـ Qwen3 ومعرفات الرموز لـ T5 إلى تمثيلات نصية لـ Cosmos.
يعيد Anima استخدام Cosmos Predict2 DiT. الوحدة الشرطية الوحيدة الخاصة بالنموذج هي هذا المحوّل LLM، الذي يقوم بالانتباه المتقاطع من تضمينات رموز T5 المتعلمة إلى حالات المخفية لمشفّر النص Qwen3 قبل حلقة الانتشار. target_dim هو بُعد مخرج المُشَرِّط ويجب أن يطابق text_embed_dim الخاص بالمحوّل.
forward
< source >( source_hidden_states: Tensortarget_input_ids: Tensortarget_attention_mask: typing.Optional[torch.Tensor] = Nonesource_attention_mask: typing.Optional[torch.Tensor] = None ) → torch.Tensor
المعاملات
- source_hidden_states (
torch.Tensorمن الشكل(batch_size, source_sequence_length, source_dim)) — حالات المخفية لمشفّر النص في Qwen3 التي يُشترط عليها. - target_input_ids (
torch.Tensorمن الشكل(batch_size, target_sequence_length)) — معرّفات رموز T5 المستخدمة كرموز استعلام متعلّمة. - target_attention_mask (
torch.Tensor، اختياري) — قناع الانتباه لمعرّفات رموز T5 المستهدفة. - source_attention_mask (
torch.Tensor، اختياري) — قناع الانتباه لحالات Qwen3 المخفية للمصدر.
يعيد
torch.Tensor
تضمينات تكييف النص لمحوّل Cosmos.