Diffusers documentation

ZImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Z-Imageからの画像類似データ向けのTransformerモデル。

ZImageTransformer2DModel

class diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

パラメータ

  • x (list of torch.Tensor or nested list of torch.Tensor) — 入力潜変数。標準モードで実行する場合はフラットなリスト、omni モードで実行する場合はネストされたリストになります。
  • t (torch.Tensor) — デノイジングステップを示すために使用されます。
  • cap_feats (list of torch.Tensor or nested list of torch.Tensor) — 使用する条件付きキャプションの埋め込み(プロンプトなどの入力条件から計算された埋め込み)です。
  • return_dict (bool、任意、デフォルトは True) — プレーンなタプルではなく ~models.transformer_2d.Transformer2DModelOutput を返すかどうか。
  • controlnet_block_samples (dict of int to torch.Tensor, 任意) — ブロックインデックスからテンソルへのマッピングです。指定された場合、transformer ブロックの残差に追加されます。
  • siglip_feats (list of list of torch.Tensor, 任意) — 追加の条件付けとして使用される、任意の SigLIP 画像特徴量です。
  • image_noise_mask (list of list of int, 省略可) — omni モードにおいて、各画像のノイズ付きトークンとクリーンなトークンを示すノイズマスクです。
  • patch_size (int、任意、デフォルトは 2) — 入力潜在変数をパッチ化するために使用される空間パッチサイズ。
  • f_patch_size (int、任意、デフォルトは 1) — 入力潜在変数をパッチ化するために使用される時間方向のパッチサイズ。
  • joint_attention_kwargs (dict、省略可) — kwargs の辞書です。LoRA レイヤーをスケーリングするために、scale エントリのみが使用されます。

ZImageTransformer2DModelのforwardメソッドです。

Flow: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )

基本モードでのPatchify: バッチアイテムごとに1枚の画像。

patchify_and_embed_omni

< >

( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )

omniモード向けのPatchify: 1つのバッチアイテムにノイズマスク付きの複数画像。

Update on GitHub