Diffusers documentation
LatteTransformer3DModel
LatteTransformer3DModel
Latteの3Dデータ向けのDiffusion Transformerモデルです。
LatteTransformer3DModel
class diffusers.LatteTransformer3DModel
< source >( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int = 64patch_size: int | None = Noneactivation_fn: str = 'geglu'num_embeds_ada_norm: int | None = Nonenorm_type: str = 'layer_norm'norm_elementwise_affine: bool = Truenorm_eps: float = 1e-05caption_channels: int = Nonevideo_length: int = 16 )
forward
< source >( hidden_states: Tensortimestep: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneenable_temporal_attentions: bool = Truereturn_dict: bool = True )
パラメータ
- hidden_states (
torch.Tensor、形状(batch size, channel, num_frame, height, width)) — 入力となるhidden_states。 - timestep (
torch.LongTensor, 任意) — デノイジングステップを示すために使用します。AdaLayerNorm内で埋め込みとして適用される任意のタイムステップです。 - encoder_hidden_states (
torch.FloatTensor、形状(batch size, sequence len, embed dims)、任意) — クロスアテンション層用の条件付きエンベディングです。指定されない場合、クロスアテンションはデフォルトでセルフアテンションになります。 - encoder_attention_mask (
torch.Tensor, 省略可) — に適用されるクロスアテンションマスクencoder_hidden_states. サポートされる形式は2つです:(batcheight, sequence_length)のマスク。True = 保持、False = 破棄。- Bias
(batcheight, 1, sequence_length)0 = 保持、-10000 = 破棄。
ndim == 2の場合: マスクとして解釈され、上記の形式に一致するバイアスに変換されます。このバイアスはクロスアテンションスコアに追加されます。 - enable_temporal_attentions —
(
bool、任意、デフォルトはTrue): 時間方向の注意機構を有効にするかどうか。 - return_dict (
bool、任意、デフォルトはTrue) — プレーンなタプルではなく~models.unet_2d_condition.UNet2DConditionOutputを返すかどうか。
LatteTransformer3DModel の forward メソッドです。