Paramètres

• model (str | nn.Module | PreTrainedModel) — Modèle à entraîner. Peut être soit :
  • Une chaîne de caractères, correspondant à l'identifiant du modèle d'un modèle pré-entraîné hébergé dans un dépôt de modèles sur huggingface.co, ou à un chemin vers un dossier contenant les poids du modèle enregistrés à l'aide de save_pretrained, par exemple './my_model_directory/'. Le modèle est chargé à l'aide de from_pretrained avec les arguments par mot-clé de args.model_init_kwargs.
  • Un objet PreTrainedModel. Seuls les modèles de langage causaux sont pris en charge.
• ref_model (PreTrainedModel ou torch.nn.Module ou None) — Le modèle de référence à utiliser pour l’entraînement. Si None est spécifié, le modèle de référence sera créé à partir du modèle.
• reward_funcs (RewardFunc | list[RewardFunc]) — Fonctions de récompense à utiliser pour le calcul des récompenses. Pour calculer les récompenses, nous appelons toutes les fonctions de récompense avec les prompts et les complétions, puis nous additionnons les récompenses. Peut être soit :
  • Une fonction de récompense unique : peut être une chaîne de caractères (chemin vers le modèle), un PreTrainedModel ou une fonction callable personnalisée.
  • Une liste de fonctions de récompense : toutes doivent être de types compatibles.
• args (experimental.online_dpo.OnlineDPOConfig) — Les arguments de configuration DPO en ligne à utiliser pour l’entraînement.
• data_collator (DataCollator) — Le collateur de données à utiliser pour l’entraînement. Si None est spécifié, le collateur de données par défaut (experimental.utils.DPODataCollatorWithPadding) sera utilisé, ce qui rembourra les séquences jusqu’à la longueur maximale des séquences du lot, étant donné un jeu de données de séquences appariées.
• train_dataset (Dataset ou IterableDataset) — Le jeu de données à utiliser pour l’entraînement.
• eval_dataset (Dataset, IterableDataset ou dict[str, Dataset | IterableDataset]) — Le jeu de données à utiliser pour l'évaluation.
• processing_class (PreTrainedTokenizerBase ou ProcessorMixin, facultatif) — Classe de traitement utilisée pour traiter les données. Si fournie, elle sera utilisée pour traiter automatiquement les entrées du modèle et sera enregistrée avec le modèle afin de faciliter la reprise d'une formation interrompue ou la réutilisation du modèle affiné.
• reward_processing_classes (PreTrainedTokenizerBase ou list[PreTrainedTokenizerBase], facultatif) — Classes de traitement correspondant aux fonctions de récompense spécifiées dans reward_funcs. Peut être soit :
  • Une seule classe de traitement : utilisée lorsque reward_funcs ne contient qu'une seule fonction de récompense.
  • Une liste de classes de traitement : doit correspondre à l'ordre et à la longueur des fonctions de récompense dans reward_funcs.

  Si défini sur None, le tokenizer de chaque fonction de récompense basée sur un modèle est chargé automatiquement à l’aide de from_pretrained.

• peft_config (PeftConfig, facultatif) — Configuration PEFT utilisée pour envelopper le modèle. Si None, le modèle n'est pas enveloppé.
• compute_metrics (Callable[[EvalPrediction], dict], facultatif) — La fonction à utiliser pour calculer les métriques. Elle doit prendre un EvalPrediction et renvoyer un dictionnaire de chaînes vers les valeurs des métriques.
• callbacks (list[transformers.TrainerCallback]) — Les callbacks à utiliser pour l'entraînement.
• optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — L’optimiseur et le planificateur à utiliser pour l’entraînement.
• preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — La fonction à utiliser pour prétraiter les logits avant de calculer les métriques.

Paramètres

• reward_model_path (str, facultatif) — Chemin vers le modèle de récompense.
• max_new_tokens (int, facultatif, par défaut 64) — Nombre maximal de jetons à générer par complétion.
• max_length (int, facultatif, par défaut 512) — Longueur totale maximale de la séquence (invite + complétion) utilisée pour calculer les log-probabilités. Si la séquence dépasse cette limite, les jetons les plus à gauche seront tronqués afin de conserver le maximum de la complétion. Non appliqué lorsque les entrées contiennent des images, car la troncature supprimerait les jetons d’image.
• temperature (float, facultatif, par défaut 0.9) — Température pour l'échantillonnage. Plus la température est élevée, plus les complétions sont aléatoires.
• missing_eos_penalty (float, facultatif) — Pénalité appliquée au score lorsque le modèle ne génère pas de jeton EOS. Cela est utile pour encourager la génération de complétions plus courtes que la longueur maximale (max_new_tokens). La pénalité doit être une valeur positive.
• beta (float ou list[float], facultatif, par défaut 0.1) — Paramètre contrôlant l'écart par rapport au modèle de référence. Plus β est élevé, moins l'écart par rapport au modèle de référence est important. Pour la perte IPO (loss_type="ipo"), β est le paramètre de régularisation noté τ dans l'article. Si une liste de flottants est fournie, β est sélectionné pour chaque nouvel epoch et le dernier β est utilisé pour le reste des epochs.
• loss_type (str, facultatif, par défaut "sigmoid") — Type de perte à utiliser. Les valeurs possibles sont :
  • "sigmoid" : perte sigmoïde issue de l’article original DPO.
  • "ipo" : perte IPO issue de l’article IPO.
• disable_dropout (bool, facultatif, valeur par défaut True) — Indique s'il faut désactiver le dropout dans le modèle et le modèle de référence.

Paramètres qui contrôlent la génération

• top_p (float, facultatif, par défaut 1.0) — Flottant qui contrôle la probabilité cumulée des jetons de tête à prendre en compte. Doit être dans (0, 1]. Définissez-le à 1.0 pour prendre en compte tous les jetons.
• top_k (int, facultatif, par défaut 0) — Nombre de jetons du vocabulaire ayant la plus haute probabilité à conserver pour le filtrage top-k. Si la valeur est 0, le filtrage top-k est désactivé et tous les jetons sont pris en compte.
• min_p (float, facultatif) — Probabilité minimale du jeton, qui sera mise à l'échelle par la probabilité du jeton le plus probable. Elle doit être une valeur comprise entre 0.0 et 1.0. Les valeurs typiques se situent dans la plage 0.01-0.2.
• repetition_penalty (float, facultatif, par défaut 1.0) — Flottant qui pénalise les nouveaux jetons en fonction de leur présence dans le prompt et dans le texte généré jusqu’à présent. Les valeurs > 1.0 encouragent le modèle à utiliser de nouveaux jetons, tandis que les valeurs < 1.0 encouragent le modèle à répéter les jetons.
• cache_implementation (str, facultatif) — Implémentation de la méthode de cache pour une génération plus rapide lorsque use_vllm est défini sur False.
• generation_kwargs (dict[str, Any], facultatif) — Arguments supplémentaires à passer à GenerationConfig (si vous utilisez transformers) ou SamplingParams (si vous utilisez vLLM) lors de l'échantillonnage des complétions. Cela permet de personnaliser davantage le comportement de la génération, par exemple en définissant suppress_tokens, num_beams, etc. S'il contient des clés qui entrent en conflit avec les autres paramètres de génération (comme min_p, top_p, etc.), ils les remplaceront.

Paramètres qui contrôlent l'accélération de la génération propulsée par vLLM

• use_vllm (bool, facultatif, valeur par défaut False) — Indique s'il faut utiliser vLLM pour générer des complétions. Si défini sur True, l'entraîneur utilisera vLLM pour la génération au lieu de model.generate() par défaut. Nécessite l'installation de vllm.
• vllm_model_impl (str, facultatif, par défaut "vllm") — Implémentation du modèle à utiliser pour vLLM. Doit être l'une des valeurs "transformers" ou "vllm". "transformers" : utiliser le backend transformers pour l'implémentation du modèle. "vllm" : utiliser la bibliothèque vllm pour l'implémentation du modèle.
• vllm_mode (str, facultatif, valeur par défaut "colocate") — Mode à utiliser pour l'intégration vLLM lorsque use_vllm est défini sur True. Doit être l'un des "server" ou "colocate".
  • "server" : le formateur enverra les requêtes de génération à un serveur vLLM distinct. Assurez-vous qu’un serveur vLLM est en cours d’exécution (à démarrer avec vllm serve).
  • "colocate" : vLLM s’exécute dans le même processus et partage les GPU d’entraînement. Cela évite d’avoir besoin d’un serveur séparé, mais peut provoquer une concurrence pour les ressources avec l’entraînement.
• vllm_structured_outputs_regex (str, facultatif) — Expression régulière pour les sorties structurées de vLLM. Si None (par défaut), les sorties structurées sont désactivées.

Paramètres qui contrôlent le serveur vLLM (utilisés uniquement lorsque `vllm_mode` est `"server"`)

• vllm_server_base_url (str, facultatif) — URL de base du serveur vLLM (par exemple, "http://localhost:8000"). Si fournie, vllm_server_host et vllm_server_port sont ignorés.
• vllm_server_host (str, facultatif, par défaut "0.0.0.0") — Hôte du serveur vLLM auquel se connecter. Ignoré si vllm_server_base_url est fourni.
• vllm_server_port (int, facultatif, par défaut 8000) — Port du serveur vLLM auquel se connecter. Ignoré si vllm_server_base_url est fourni.
• vllm_server_timeout (float, facultatif, valeur par défaut 240.0) — Durée totale de temporisation, en secondes, à attendre pour que le serveur vLLM soit opérationnel. Si le serveur n'est pas opérationnel après le dépassement de ce délai, une ConnectionError est levée.
• vllm_group_port (int, facultatif, valeur par défaut 51216) — Numéro de port du groupe de mise à jour des poids. Il est utilisé pour communiquer avec le serveur vLLM. Sauf si le port est occupé, il n'est pas nécessaire de le modifier.

Paramètres qui contrôlent l'exécution de vLLM co-localisée (utilisés uniquement lorsque `vllm_mode` est `"colocate"`)

• vllm_gpu_memory_utilization (float, facultatif, valeur par défaut 0.55) — Contrôle l'utilisation de la mémoire GPU pour vLLM. Ce paramètre ne s'applique que lorsque vllm_mode est défini sur "colocate". Si vous utilisez vllm_mode="server", ce paramètre doit être transmis séparément lors du démarrage du serveur vLLM via le drapeau --vllm_gpu_memory_utilization.
• vllm_tensor_parallel_size (int, facultatif, valeur par défaut 1) — Contrôle la taille du parallélisme de tenseurs pour vLLM. Ce paramètre ne s’applique que lorsque vllm_mode est défini sur "colocate". Si vous utilisez vllm_mode="server", ce paramètre doit être transmis séparément lors du démarrage du serveur vLLM via le drapeau --vllm_tensor_parallel_size.
• vllm_enable_sleep_mode (bool, facultatif, valeur par défaut False) — Active le mode veille de vLLM pour décharger les poids et le cache pendant l'étape d'optimisation. Cela maintient l'utilisation de la mémoire GPU au plus bas, mais le réveil du moteur ajoute une latence de transfert hôte-appareil.

Autres paramètres

• ds3_gather_for_generation (bool, facultatif, valeur par défaut True) — Ce paramètre s’applique à DeepSpeed ZeRO-3. S’il est activé, les poids du modèle de politique sont regroupés pour la génération, ce qui améliore la vitesse de génération. Toutefois, désactiver cette option permet d’entraîner des modèles dont la taille dépasse la capacité VRAM d’une seule GPU, au prix d’une génération plus lente. La désactivation de cette option n’est pas compatible avec la génération vLLM.
• model_init_kwargs (dict[str, Any], facultatif) — Arguments par mot-clé à passer à AutoModelForCausalLM.from_pretrained lors de l’instanciation du modèle à partir d’une chaîne de caractères. La valeur de revision est également utilisée lors du chargement des classes de traitement des récompenses.
• trust_remote_code (bool, facultatif, valeur par défaut False) — Indique s'il faut autoriser le chargement de modèles qui incluent du code Python personnalisé depuis le Hub. Transmis à from_pretrained. S'applique également au chargement des modèles de récompense et des tokenizers de récompense.
• reward_weights (list[float], facultatif) — Poids pour combiner plusieurs fonctions de récompense. Doit correspondre au nombre de fonctions de récompense. Si None, toutes les fonctions de récompense sont pondérées de manière égale.