归一化层

用于支持 🤗 Diffusers 中各种模型的自定义归一化层。

AdaLayerNorm

class diffusers.models.normalization.AdaLayerNorm

( embedding_dim: intnum_embeddings: int | None = Noneoutput_dim: int | None = Nonenorm_elementwise_affine: bool = Falsenorm_eps: float = 1e-05chunk_dim: int = 0 )

参数

embedding_dim (int) — 每个嵌入向量的维度。
num_embeddings (int，可选) — 嵌入字典的大小。
output_dim (int，可选) —
norm_elementwise_affine (bool，默认为 `False) —
norm_eps (bool，默认为 False) —
chunk_dim (int，默认为 0) —

修改了 Norm 层以纳入时间步嵌入。

AdaLayerNormZero

class diffusers.models.normalization.AdaLayerNormZero

< source >

( embedding_dim: intnum_embeddings: int | None = Nonenorm_type = 'layer_norm'bias = True )

参数

embedding_dim (int) — 每个嵌入向量的维度。
num_embeddings (int) — 嵌入字典的大小。

Norm 层自适应层归一化零（adaLN-Zero）。

AdaLayerNormSingle

class diffusers.models.normalization.AdaLayerNormSingle

< source >

( embedding_dim: intuse_additional_conditions: bool = False )

参数

embedding_dim (int) — 每个嵌入向量的维度。
use_additional_conditions (bool) — 是否使用附加条件进行归一化。

归一化层自适应层归一化单（adaLN-single）。

如 PixArt-Alpha 中所述（参见：https://huggingface.co/papers/2310.00426；第 2.3 节）。

AdaGroupNorm

class diffusers.models.normalization.AdaGroupNorm

< source >

( embedding_dim: intout_dim: intnum_groups: intact_fn: str | None = Noneeps: float = 1e-05 )

参数

embedding_dim (int) — 每个嵌入向量的维度。
num_embeddings (int) — 嵌入字典的大小。
num_groups (int) — 将通道分组的数量。
act_fn (str，可选，默认为 None) — 要使用的激活函数。
eps (float，可选，默认为 1e-5) — 用于数值稳定性的 epsilon 值。

修改后的 GroupNorm 层，用于整合时间步嵌入。

AdaLayerNormContinuous

类 diffusers.models.normalization.AdaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm' )

参数

embedding_dim (int) — 投影过程中使用的嵌入维度。
conditioning_embedding_dim (int) — 输入条件的维度。
elementwise_affine (bool，默认为 True) — 布尔标志，用于指示是否应应用仿射变换。
eps (float，默认为 1e-5) — epsilon 因子。
bias (bias，默认为 True) — 布尔标志，用于指示是否使用偏置。
norm_type (str，默认为 "layer_norm") — 要使用的归一化层。支持的取值：“layer_norm”、“rms_norm”。

带有归一化层（layer_norm 或 rms_norm）的自适应归一化层。

RMSNorm

class diffusers.models.normalization.RMSNorm

< source >

( dimeps: floatelementwise_affine: bool = Truebias: bool = False )

参数

dim (int) — 用于 weights 的维度数量。仅在 elementwise_affine 为 True 时生效。
eps (float) — 在计算平方根的倒数时使用的较小值。
elementwise_affine (bool，默认为 True) — 布尔标志，用于指示是否应应用仿射变换。
bias（bool，默认为 False）—— 是否同时训练 bias 参数。

Zhang 等人提出的 RMS Norm，详见 https://huggingface.co/papers/1910.07467。

GlobalResponseNorm

class diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

参数

dim (int) — gamma 和 beta 使用的维度数。

ConvNeXt-v2 中引入的全局响应归一化（https://huggingface.co/papers/2301.00808）。

LuminaLayerNormContinuous

类 diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm'out_dim: int | None = None )