Hugging Face's logo

Diffusers documentation

QwenImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

QwenImageTransformer2DModel

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import QwenImageTransformer2DModel

transformer = QwenImageTransformer2DModel.from_pretrained("Qwen/QwenImage-20B", subfolder="transformer", dtype=torch.bfloat16)

QwenImageTransformer2DModel

класс diffusers.QwenImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 64out_channels: int | None = 16num_layers: int = 60attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 3584guidance_embeds: bool = Falseaxes_dims_rope: tuple[int, int, int] = (16, 56, 56)zero_cond_t: bool = Falseuse_additional_t_cond: bool = Falseuse_layer3d_rope: bool = False )

Параметры

  • patch_size (int, по умолчанию 2) — Размер патча для разбиения входных данных на небольшие патчи.
  • in_channels (int, по умолчанию 64) — Количество каналов на входе.
  • out_channels (int, необязательный, по умолчанию None) — Количество каналов на выходе. Если не указано, по умолчанию равно in_channels.
  • num_layers (int, по умолчанию 60) — Количество используемых блоков dual stream DiT.
  • attention_head_dim (int, по умолчанию 128) — Количество измерений, используемых для каждой головы внимания.
  • num_attention_heads (int, по умолчанию 24) — Количество используемых голок внимания.
  • joint_attention_dim (int, по умолчанию 3584) — Количество измерений, используемых для совместного внимания (размерность встраивания/канала для encoder_hidden_states).
  • guidance_embeds (bool, по умолчанию False) — Использовать ли guidance embeddings для варианта модели, дистиллированного с помощью guidance.
  • axes_dims_rope (tuple[int], по умолчанию (16, 56, 56)) — Размерности, используемые для вращательных позиционных эмбеддингов.

Модель Transformer, представленная в Qwen.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Noneencoder_hidden_states_mask: Tensor = Nonetimestep: LongTensor = Noneimg_shapes: list[tuple[int, int, int]] | None = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonecontrolnet_block_samples = Noneadditional_t_cond = Nonereturn_dict: bool = True )

Параметры

  • hidden_states (torch.Tensor формы (batch_size, image_sequence_length, in_channels)) — Входные hidden_states.
  • encoder_hidden_states (torch.Tensor формы (batch_size, text_sequence_length, joint_attention_dim)) — Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать.
  • encoder_hidden_states_mask (torch.Tensor формы (batch_size, text_sequence_length), необязательный) — Маска для скрытых состояний энкодера. Ожидается, что для валидных токенов значение будет 1.0, а для токенов отступов — 0.0. Используется в процессоре внимания, чтобы предотвратить внимание к токенам отступов. Маска может иметь любой паттерн (не только непрерывные валидные токены, за которыми следуют отступы), поскольку она применяется поэлементно во внимании.
  • timestep ( torch.LongTensor) — Используется для указания шага денойзинга.
  • img_shapes (list[tuple[int, int, int]], необязательный) — Формы изображений для вычисления RoPE.
  • guidance (torch.Tensor, необязательный) — Тензор для условной генерации.
  • attention_kwargs (dict, необязательный) — Словарь kwargs, который при указании передается в AttentionProcessor, определенный в self.processor в diffusers.models.attention_processor.
  • controlnet_block_samples (необязательный) — Образцы блоков ControlNet для добавления к блокам трансформера.
  • additional_t_cond (torch.Tensor, необязательный) — Дополнительное условие по шагу времени, добавляемое к эмбеддингу шага времени.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.transformer_2d.Transformer2DModelOutput вместо обычного кортежа.

Метод forward модели QwenTransformer2DModel.

Transformer2DModelOutput

класс diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Параметры

  • sample (torch.Tensor формы (batch_size, num_channels, height, width) или (batch size, num_vector_embeds - 1, num_latent_pixels), если Transformer2DModel дискретный) — Выходные скрытые состояния, обусловленные входом encoder_hidden_states. Если модель дискретная, возвращает распределения вероятностей для латентных пикселей без шума.

Вывод Transformer2DModel.

Update on GitHub

←QwenImage21Transformer2DModel RFD4ProteinaAutoencoder→