Paramètres

• num_attention_heads (int, facultatif, par défaut 16) — Le nombre de têtes à utiliser pour l'attention multi-têtes.
• attention_head_dim (int, facultatif, par défaut 72) — Le nombre de canaux dans chaque tête.
• in_channels (int, par défaut 4) — Le nombre de canaux de l'entrée.
• out_channels (int, optionnel) — Le nombre de canaux dans la sortie. Spécifiez ce paramètre si le nombre de canaux de sortie diffère de celui de l'entrée.
• num_layers (int, facultatif, par défaut 28) — Le nombre de blocs Transformer à utiliser.
• dropout (float, facultatif, valeur par défaut 0.0) — La probabilité de dropout à utiliser dans les blocs Transformer.
• norm_num_groups (int, facultatif, valeur par défaut 32) — Nombre de groupes pour la normalisation par groupe au sein des blocs Transformer.
• attention_bias (bool, facultatif, par défaut True) — Configure si l'attention des blocs Transformer doit contenir un paramètre de biais.
• sample_size (int, par défaut 32) — La largeur des images latentes. Ce paramètre est fixe pendant l'entraînement.
• patch_size (int, par défaut 2) — Taille des patches traités par le modèle, pertinente pour les architectures fonctionnant sur des données non séquentielles.
• activation_fn (str, facultatif, par défaut “gelu-approximate”) — Fonction d'activation à utiliser dans les réseaux feed-forward au sein des blocs Transformer.
• num_embeds_ada_norm (int, optionnel, par défaut 1000) — Nombre d'embeddings pour AdaLayerNorm, fixé pendant l'entraînement et qui affecte le nombre maximal d'étapes de débruitage pendant l'inférence.
• upcast_attention (bool, facultatif, par défaut False) — Si true, augmente la précision des dimensions du mécanisme d'attention pour une performance potentiellement améliorée.
• norm_type (str, optionnel, par défaut “ada_norm_zero”) — Spécifie le type de normalisation utilisé, peut être ‘ada_norm_zero’.
• norm_elementwise_affine (bool, facultatif, par défaut False) — Si true, active les paramètres affines élément par élément dans les couches de normalisation.
• norm_eps (float, facultatif, par défaut 1e-5) — Une petite constante ajoutée au dénominateur des couches de normalisation pour éviter la division par zéro.