Diffusers documentation
ZImageTransformer2DModel
ZImageTransformer2DModel
Z-Imageからの画像類似データ向けのTransformerモデル。
ZImageTransformer2DModel
class diffusers.ZImageTransformer2DModel
< source >( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )
forward
< source >( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )
パラメータ
- x (
listoftorch.Tensoror nestedlistoftorch.Tensor) — 入力潜変数。標準モードで実行する場合はフラットなリスト、omni モードで実行する場合はネストされたリストになります。 - t (
torch.Tensor) — デノイジングステップを示すために使用されます。 - cap_feats (
listoftorch.Tensoror nestedlistoftorch.Tensor) — 使用する条件付きキャプションの埋め込み(プロンプトなどの入力条件から計算された埋め込み)です。 - return_dict (
bool、任意、デフォルトはTrue) — プレーンなタプルではなく~models.transformer_2d.Transformer2DModelOutputを返すかどうか。 - controlnet_block_samples (
dictofinttotorch.Tensor, 任意) — ブロックインデックスからテンソルへのマッピングです。指定された場合、transformer ブロックの残差に追加されます。 - siglip_feats (
listoflistoftorch.Tensor, 任意) — 追加の条件付けとして使用される、任意の SigLIP 画像特徴量です。 - image_noise_mask (
listoflistofint, 省略可) — omni モードにおいて、各画像のノイズ付きトークンとクリーンなトークンを示すノイズマスクです。 - patch_size (
int、任意、デフォルトは 2) — 入力潜在変数をパッチ化するために使用される空間パッチサイズ。 - f_patch_size (
int、任意、デフォルトは 1) — 入力潜在変数をパッチ化するために使用される時間方向のパッチサイズ。 - joint_attention_kwargs (
dict、省略可) — kwargs の辞書です。LoRA レイヤーをスケーリングするために、scaleエントリのみが使用されます。
ZImageTransformer2DModelのforwardメソッドです。
Flow: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify
patchify_and_embed
< source >( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )
基本モードでのPatchify: バッチアイテムごとに1枚の画像。
patchify_and_embed_omni
< source >( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )
omniモード向けのPatchify: 1つのバッチアイテムにノイズマスク付きの複数画像。