Hugging Face's logo

Transformers documentation

Utilidades para pipelines

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilidades para pipelines

Esta página enumera todas las funciones de utilidad que la biblioteca proporciona para las tuberías.

La mayoría de ellas solo son útiles si estás estudiando el código de los modelos de la biblioteca.

Gestión de argumentos

clase transformers.pipelines.ArgumentHandler

< >

( )

Interfaz base para manejar los argumentos de cada Pipeline.

clase transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

Gestiona los argumentos para la clasificación de texto en cero disparos convirtiendo cada etiqueta posible en un par premisa/hipótesis de NLI.

Formato de datos

clase transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Parámetros

  • output_path (str) — Dónde guardar los datos de salida.
  • input_path (str) — Dónde buscar los datos de entrada.
  • column (str) — La columna que se debe leer.
  • overwrite (bool, opcional, valor predeterminado False) — Indica si se debe sobrescribir output_path.

Clase base para todos los formatos de datos admitidos por la tubería, tanto para lectura como para escritura. Los formatos de datos admitidos actualmente incluyen:

  • JSON
  • CSV
  • stdin/stdout (tubería)

PipelineDataFormat también incluye algunas utilidades para trabajar con múltiples columnas, como el mapeo de columnas de conjuntos de datos a argumentos de palabras clave de pipelines a través del formato dataset_kwarg_1=dataset_column_1.

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

Parámetros

  • format (str) — El formato del pipeline deseado. Los valores aceptables son "json", "csv" o "pipe".
  • output_path (str, opcional) — Dónde guardar los datos de salida.
  • input_path (str, opcional) — Dónde buscar los datos de entrada.
  • column (str, opcional) — La columna que se debe leer.
  • overwrite (bool, opcional, valor predeterminado False) — Indica si se debe sobrescribir output_path.

Devuelve

PipelineDataFormat

El formato de datos adecuado.

Crea una instancia del subclase correcto de PipelineDataFormat en función de format.

save

< >

( data: dict | list[dict] )

Parámetros

  • data (dict o lista de dict) — Los datos que se van a almacenar.

Guarde el objeto de datos proporcionado con la representación para el PipelineDataFormat actual.

save_binary

< >

( data: dict | list[dict] ) → str

Parámetros

  • data (dict o lista de dict) — Los datos que se van a almacenar.

Devuelve

str

Ruta donde se ha guardado los datos.

Guarde el objeto de datos proporcionado como datos binarios en formato pickle en el disco.

clase transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Parámetros

  • output_path (str) — Dónde guardar los datos de salida.
  • input_path (str) — Dónde buscar los datos de entrada.
  • column (str) — La columna que se debe leer.
  • overwrite (bool, opcional, valor predeterminado False) — Indica si se debe sobrescribir output_path.

Soporte para pipelines que utilizan el formato de datos CSV.

save

< >

( data: list[dict] )

Parámetros

  • data (list[dict]) — Los datos que se van a almacenar.

Guarde el objeto de datos proporcionado con la representación para el PipelineDataFormat actual.

clase transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Parámetros

  • output_path (str) — Dónde guardar los datos de salida.
  • input_path (str) — Dónde buscar los datos de entrada.
  • column (str) — La columna que se debe leer.
  • overwrite (bool, opcional, valor predeterminado False) — Indica si se debe sobrescribir output_path.

Soporte para pipelines que utilizan el formato de archivo JSON.

save

< >

( data: dict )

Parámetros

  • data (dict) — Los datos que se van a almacenar.

Guarde el objeto de datos proporcionado en un archivo json.

clase transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Parámetros

  • output_path (str) — Dónde guardar los datos de salida.
  • input_path (str) — Dónde buscar los datos de entrada.
  • column (str) — La columna que se debe leer.
  • overwrite (bool, opcional, valor predeterminado False) — Indica si se debe sobrescribir output_path.

Lee datos de la entrada por tubería del proceso de python. Para datos de varias columnas, las columnas deben estar separadas por

Si se proporcionan columnas, la salida será un diccionario con {column_x: value_x}

save

< >

( data: dict )

Parámetros

  • data (dict) — Los datos que se van a almacenar.

Imprime los datos.

Utilidades

clase transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

Parámetros

  • task (str) — La tarea del pipeline.
  • model (str) — El modelo utilizado por la pipeline.
  • reason (str) — El mensaje de error que se mostrará.

Lanzada por un Pipeline al manejar call.

Update on GitHub

←Utilidades para depurar modelos Utilidades para tokenizadores→