Parámetros

• model (str | nn.Module | PreTrainedModel) — Modelo que se va a entrenar. Puede ser:
  • Una cadena, que es el model id de un modelo preentrenado alojado en un repositorio de modelos en huggingface.co, o una ruta a un directorio que contiene los pesos del modelo guardados con save_pretrained, por ejemplo, './my_model_directory/'. El modelo se carga con from_pretrained utilizando los argumentos de palabra clave en args.model_init_kwargs.
  • Un objeto PreTrainedModel. Solo se admiten modelos de lenguaje causales.
• ref_model (PreTrainedModel o torch.nn.Module o None) — El modelo de referencia que se usará para el entrenamiento. Si se especifica None, el modelo de referencia se creará a partir del modelo.
• reward_funcs (RewardFunc | list[RewardFunc]) — Funciones de recompensa que se utilizarán para calcular las recompensas. Para calcular las recompensas, se llaman a todas las funciones de recompensa con los prompts y las completions y se suman las recompensas. Puede ser:
  • Una única función de recompensa: puede ser una cadena (ruta al modelo), un PreTrainedModel o una función de llamada personalizada.
  • Una lista de funciones de recompensa: todas deben ser de tipos compatibles.
• args (experimental.online_dpo.OnlineDPOConfig) — Los argumentos de configuración de DPO en línea para usar en el entrenamiento.
• data_collator (DataCollator) — El data collator a utilizar para el entrenamiento. Si se especifica None, se utilizará el data collator por defecto (experimental.utils.DPODataCollatorWithPadding) que rellenará las secuencias hasta la longitud máxima de las secuencias del batch, dado un conjunto de datos de secuencias emparejadas.
• train_dataset (Dataset o IterableDataset) — El conjunto de datos que se utilizará para el entrenamiento.
• eval_dataset (Dataset, IterableDataset o dict[str, Dataset | IterableDataset]) — El conjunto de datos que se utilizará para la evaluación.
• processing_class (PreTrainedTokenizerBase o ProcessorMixin, opcional) — Clase de procesamiento utilizada para procesar los datos. Si se proporciona, se usará para procesar automáticamente las entradas del modelo y se guardará junto con el modelo para facilitar la reanudación de un entrenamiento interrumpido o la reutilización del modelo afinado.
• reward_processing_classes (PreTrainedTokenizerBase o list[PreTrainedTokenizerBase], opcional) — Clases de procesamiento correspondientes a las funciones de recompensa especificadas en reward_funcs. Puede ser:
  • Una única clase de procesamiento: se utiliza cuando reward_funcs contiene solo una función de recompensa.
  • Una lista de clases de procesamiento: debe coincidir con el orden y la longitud de las funciones de recompensa en reward_funcs.

  Si se establece en None, el tokenizador para cada función de recompensa basada en un modelo se carga automáticamente usando from_pretrained.

• peft_config (PeftConfig, opcional) — Configuración de PEFT utilizada para envolver el modelo. Si es None, el modelo no se envuelve.
• compute_metrics (Callable[[EvalPrediction], dict], opcional) — La función que se utilizará para calcular las métricas. Debe recibir un EvalPrediction y devolver un diccionario de cadenas a valores de métricas.
• callbacks (list[transformers.TrainerCallback]) — Los callbacks a utilizar para el entrenamiento.
• optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — El optimizador y el programador de tasa de aprendizaje a utilizar para el entrenamiento.
• preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — La función que se utilizará para preprocesar los logits antes de calcular las métricas.

Parámetros

• reward_model_path (str, opcional) — Ruta al modelo de recompensa.
• max_new_tokens (int, opcional, valor predeterminado 64) — Número máximo de tokens que se generarán por cada finalización.
• max_length (int, opcional, valor predeterminado 512) — Longitud total máxima de la secuencia (prompt + completion) utilizada para calcular las probabilidades logarítmicas. Si la secuencia supera este límite, se recortarán los tokens más a la izquierda para conservar la mayor parte posible de la completion. No se aplica cuando las entradas contienen imágenes, ya que el recorte eliminaría los tokens de imagen.
• temperature (float, opcional, valor predeterminado 0.9) — Temperatura para el muestreo. A mayor temperatura, más aleatorias son las finalizaciones.
• missing_eos_penalty (float, opcional) — Penalización aplicada a la puntuación cuando el modelo no genera un token EOS. Esto es útil para alentar la generación de completados más cortos que la longitud máxima (max_new_tokens). La penalización debe ser un valor positivo.
• beta (float o list[float], opcional, valor predeterminado 0.1) — Parámetro que controla la desviación respecto al modelo de referencia. Un β más alto implica una menor desviación del modelo de referencia. Para la pérdida IPO (loss_type="ipo"), β es el parámetro de regularización denotado por τ en el artículo. Si se proporciona una lista de flotantes, el β se selecciona para cada nueva época y el último β se utiliza para el resto de las épocas.
• loss_type (str, opcional, por defecto "sigmoid") — Tipo de pérdida a utilizar. Los valores posibles son:
  • "sigmoid": pérdida sigmoid de el artículo original de DPO.
  • "ipo": pérdida IPO del artículo IPO.
• disable_dropout (bool, opcional, valor predeterminado True) — Si se desactiva el dropout en el modelo y el modelo de referencia.

Parámetros que controlan la generación

• top_p (float, opcional, valor predeterminado 1.0) — Flotante que controla la probabilidad acumulada de los tokens superiores a considerar. Debe estar en (0, 1]. Establecerlo en 1.0 para considerar todos los tokens.
• top_k (int, opcional, valor predeterminado 0) — Número de tokens del vocabulario con mayor probabilidad que se conservan para el filtrado top-k. Si es 0, el filtrado top-k se desactiva y se consideran todos los tokens.
• min_p (float, opcional) — Probabilidad mínima del token, que se escala por la probabilidad del token más probable. Debe ser un valor entre 0.0 y 1.0. Los valores típicos están en el rango 0.01-0.2.
• repetition_penalty (float, opcional, valor predeterminado 1.0) — Flotante que penaliza los nuevos tokens en función de si aparecen en el prompt y en el texto generado hasta el momento. Los valores > 1.0 animan al modelo a usar tokens nuevos, mientras que los valores < 1.0 animan al modelo a repetir tokens.
• cache_implementation (str, opcional) — Implementación del método de caché para una generación más rápida cuando use_vllm está establecido en False.
• generation_kwargs (dict[str, Any], opcional) — Argumentos de palabra clave adicionales para pasar a GenerationConfig (si se usa transformers) o a SamplingParams (si se usa vLLM) al muestrear las completaciones. Esto se puede usar para personalizar aún más el comportamiento de la generación, como establecer suppress_tokens, num_beams, etc. Si contiene claves que entran en conflicto con los otros parámetros de generación (como min_p, top_p, etc.), los sobrescribirán.

Parámetros que controlan la aceleración de la generación impulsada por vLLM

• use_vllm (bool, opcional, valor predeterminado False) — Si se usa vLLM para generar completions. Si se establece en True, el trainer usará vLLM para la generación en lugar del método predeterminado model.generate(). Requiere que vllm esté instalado.
• vllm_model_impl (str, opcional, valor predeterminado "vllm") — Implementación del modelo a usar para vLLM. Debe ser "transformers" o "vllm". "transformers": usa el backend transformers para la implementación del modelo. "vllm": usa la biblioteca vllm para la implementación del modelo.
• vllm_mode (str, opcional, por defecto "colocate") — Modo a usar para la integración de vLLM cuando use_vllm está establecido en True. Debe ser uno de "server" o "colocate".
  • "server": El trainer enviará solicitudes de generación a un servidor vLLM separado. Asegúrate de que un servidor vLLM esté en ejecución (inícialo con vllm serve).
  • "colocate": vLLM se ejecutará en el mismo proceso y compartirá las GPU de entrenamiento. Esto evita la necesidad de un servidor separado, pero puede provocar una contención de recursos con el entrenamiento.
• vllm_structured_outputs_regex (str, opcional) — Expresión regular para las salidas estructuradas de vLLM. Si es None (valor predeterminado), las salidas estructuradas están deshabilitadas.

Parámetros que controlan el servidor de vLLM (solo se usan cuando `vllm_mode` es `"server"`)

• vllm_server_base_url (str, opcional) — URL base del servidor vLLM (p. ej., "http://localhost:8000"). Si se proporciona, vllm_server_host y vllm_server_port se ignoran.
• vllm_server_host (str, opcional, valor predeterminado "0.0.0.0") — Host del servidor de vLLM al que conectarse. Se ignora si se proporciona vllm_server_base_url.
• vllm_server_port (int, opcional, valor predeterminado 8000) — Puerto del servidor vLLM al que conectarse. Se ignora si se proporciona vllm_server_base_url.
• vllm_server_timeout (float, opcional, valor predeterminado 240.0) — Duración total del tiempo de espera, en segundos, para que el servidor vLLM esté en funcionamiento. Si el servidor no está en funcionamiento después del tiempo de espera, se lanza un ConnectionError.
• vllm_group_port (int, opcional, valor predeterminado 51216) — Número de puerto para el grupo de actualización de pesos. Se utiliza para comunicarse con el servidor de vLLM. A menos que el puerto esté ocupado, no es necesario cambiarlo.

Parámetros que controlan la ejecución de vLLM colocada (solo se usan cuando `vllm_mode` es `"colocate"`)

• vllm_gpu_memory_utilization (float, opcional, valor predeterminado 0.55) — Controla la utilización de la memoria de GPU para vLLM. Esta configuración solo se aplica cuando vllm_mode está establecido en "colocate". Si estás usando vllm_mode="server", este parámetro debe pasarse por separado al iniciar el servidor de vLLM mediante la bandera --vllm_gpu_memory_utilization.
• vllm_tensor_parallel_size (int, opcional, valor predeterminado 1) — Controla el tamaño de paralelismo de tensores para vLLM. Esta configuración solo se aplica cuando vllm_mode está establecido en "colocate". Si está utilizando vllm_mode="server", este parámetro debe pasarse por separado al iniciar el servidor de vLLM mediante la bandera --vllm_tensor_parallel_size.
• vllm_enable_sleep_mode (bool, opcional, valor predeterminado False) — Activa el modo de suspensión de vLLM para descargar los pesos y la caché durante el paso del optimizador. Mantiene bajo el uso de memoria de GPU, pero despertar el motor añade latencia de transferencia entre el host y el dispositivo.

Otros parámetros

• ds3_gather_for_generation (bool, opcional, valor predeterminado True) — Esta configuración se aplica a DeepSpeed ZeRO-3. Si está habilitada, los pesos del modelo de política se recogen para la generación, mejorando la velocidad de generación. Sin embargo, deshabilitar esta opción permite entrenar modelos que superan la capacidad de VRAM de una sola GPU, aunque a costa de una generación más lenta. Deshabilitar esta opción no es compatible con la generación de vLLM.
• model_init_kwargs (dict[str, Any], opcional) — Argumentos de palabra clave para pasar a AutoModelForCausalLM.from_pretrained al instanciar el modelo desde una cadena. El valor de revision también se utiliza al cargar las clases de procesamiento de recompensas.
• trust_remote_code (bool, opcional, valor predeterminado False) — Si se permite cargar modelos que incluyen código Python personalizado desde el Hub. Se reenvía a from_pretrained. También se aplica a las cargas de modelos de recompensa y tokenizadores de recompensa.
• reward_weights (list[float], opcional) — Pesos para combinar múltiples funciones de recompensa. Debe coincidir con el número de funciones de recompensa. Si es None, todas las funciones de recompensa tienen el mismo peso.