Diffusers documentation
HiDreamImageTransformer2DModel
HiDreamImageTransformer2DModel
HiDream-I1の画像類似データ向けのTransformerモデル。
モデルは、以下のコードスニペットで読み込むことができます。
from diffusers import HiDreamImageTransformer2DModel
transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)HiDream-I1用のGGUF量子化チェックポイントの読み込み
HiDreamImageTransformer2DModel の GGUF チェックポイントは、~FromOriginalModelMixin.from_single_file を使用して読み込むことができます。
import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel
ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
ckpt_path,
quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
dtype=torch.bfloat16
)HiDreamImageTransformer2DModel
class diffusers.HiDreamImageTransformer2DModel
< source >( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list[int] = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple[int, int] = (32, 32)max_resolution: tuple[int, int] = (128, 128)llama_layers: list[int] = Noneforce_inference_output: bool = False )
forward
< source >( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )
パラメータ
- hidden_states (
torch.Tensor、形状(batch_size, in_channels, height, width)または(batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — 入力となるhidden_states。 - timesteps (
torch.LongTensor) — デノイジングステップを示すために使用されます。 - encoder_hidden_states_t5 (
torch.Tensor) — T5 テキストエンコーダーから計算される条件付き埋め込み。 - encoder_hidden_states_llama3 (
torch.Tensor) — Llama3 テキストエンコーダーから計算される条件付き埋め込み。 - pooled_embeds (
torch.Tensor) — 追加の条件付けに使用されるプーリング済みテキスト埋め込み。 - img_ids (
torch.Tensor, 任意) — パッチ化された隠れ状態の画像位置 ID。 - img_sizes (
listoftupleofint, 省略可) — 出力をアンパッチファイする際に使用する、サンプルごとのパッチグリッドサイズ。 - hidden_states_masks (
torch.Tensor, 任意) — パッチ化されたhidden_statesに対するマスク。 - attention_kwargs (
dict, 省略可) — 指定された場合、diffusers.models.attention_processor で定義されているself.processor内のAttentionProcessorに渡される kwargs 辞書です。 - return_dict (
bool、任意、デフォルトはTrue) — プレーンなタプルではなく~models.transformer_2d.Transformer2DModelOutputを返すかどうか。
HiDreamImageTransformer2DModelのforwardメソッドです。
Transformer2DModelOutput
クラス diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
パラメータ
- sample (
torch.Tensor、形状(batch_size, num_channels, height, width)、または Transformer2DModel が離散型の場合(batch size, num_vector_embeds - 1, num_latent_pixels)) —encoder_hidden_states入力を条件とする隠れ状態の出力です。離散型の場合、ノイズ除去されていない潜在ピクセルの確率分布を返します。
Transformer2DModelの出力です。