Hugging Face's logo

Transformers documentation

Utilitas untuk pipeline

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitas untuk pipeline

Halaman ini mencantumkan semua fungsi utilitas yang disediakan pustaka untuk pipeline.

Sebagian besar dari hal tersebut hanya berguna jika Anda sedang mempelajari kode model-model di dalam pustaka.

Penanganan argumen

kelas transformers.pipelines.ArgumentHandler

< >

( )

Antarmuka dasar untuk menangani argumen untuk setiap Pipeline.

kelas transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

Menangani argumen untuk zero-shot pada klasifikasi teks dengan mengubah setiap label yang mungkin menjadi pasangan premise/hypothesis NLI.

Format data

kelas transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Parameter

  • output_path (str) — Lokasi untuk menyimpan data keluaran.
  • input_path (str) — Lokasi untuk mencari data input.
  • column (str) — Kolom yang akan dibaca.
  • overwrite (bool, opsional, defaultnya False) — Apakah akan menimpa output_path atau tidak.

Kelas dasar untuk semua format data yang didukung oleh pipeline, baik untuk membaca maupun menulis. Format data yang didukung saat ini meliputi:

  • JSON
  • CSV
  • stdin/stdout (pipa)

PipelineDataFormat juga mencakup beberapa utilitas untuk bekerja dengan multi-kolom, seperti pemetaan dari kolom dataset ke argumen kata kunci pipeline melalui format dataset_kwarg_1=dataset_column_1.

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

Parameter

  • format (str) — Format pipeline yang diinginkan. Nilai yang dapat diterima adalah "json", "csv" atau "pipe".
  • output_path (str, opsional) — Di mana data keluaran disimpan.
  • input_path (str, opsional) — Di mana mencari data input.
  • column (str, opsional) — Kolom yang akan dibaca.
  • overwrite (bool, opsional, defaultnya False) — Apakah akan menimpa output_path atau tidak.

Mengembalikan

PipelineDataFormat

Format data yang tepat.

Membuat instance dari subkelas PipelineDataFormat yang tepat berdasarkan format.

simpan

< >

( data: dict | list[dict] )

Parameter

  • data (dict atau list of dict) — Data yang akan disimpan.

Simpan objek data yang disediakan dengan representasi untuk PipelineDataFormat saat ini.

save_binary

< >

( data: dict | list[dict] ) → str

Parameter

  • data (dict atau list of dict) — Data yang akan disimpan.

Mengembalikan

str

Lokasi di mana data telah disimpan.

Simpan objek data yang disediakan sebagai data biner berformat pickle di disk.

kelas transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Parameter

  • output_path (str) — Lokasi untuk menyimpan data keluaran.
  • input_path (str) — Lokasi untuk mencari data input.
  • column (str) — Kolom yang akan dibaca.
  • overwrite (bool, opsional, defaultnya False) — Apakah akan menimpa output_path atau tidak.

Dukungan untuk pipeline yang menggunakan format data CSV.

simpan

< >

( data: list[dict] )

Parameter

  • data (list[dict]) — Data yang akan disimpan.

Simpan objek data yang disediakan dengan representasi untuk PipelineDataFormat saat ini.

kelas transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Parameter

  • output_path (str) — Lokasi untuk menyimpan data keluaran.
  • input_path (str) — Lokasi untuk mencari data input.
  • column (str) — Kolom yang akan dibaca.
  • overwrite (bool, opsional, defaultnya False) — Apakah akan menimpa output_path atau tidak.

Dukungan untuk pipeline yang menggunakan format file JSON.

simpan

< >

( data: dict )

Parameter

  • data (dict) — Data yang akan disimpan.

Simpan objek data yang disediakan dalam file json.

kelas transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Parameter

  • output_path (str) — Lokasi untuk menyimpan data keluaran.
  • input_path (str) — Lokasi untuk mencari data input.
  • column (str) — Kolom yang akan dibaca.
  • overwrite (bool, opsional, defaultnya False) — Apakah akan menimpa output_path atau tidak.

Baca data dari input berpipa ke proses python. Untuk data multi kolom, kolom harus dipisahkan oleh

Jika kolom disediakan, maka output akan berupa kamus dengan {column_x: value_x}

simpan

< >

( data: dict )

Parameter

  • data (dict) — Data yang akan disimpan.

Cetak data.

Utilitas

kelas transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

Parameter

  • task (str) — Tugas dari pipeline.
  • model (str) — Model yang digunakan oleh pipeline.
  • reason (str) — Pesan kesalahan yang akan ditampilkan.

Dibangkitkan oleh Pipeline saat menangani call.

Update on GitHub

←Utilitas untuk debugging model Utilitas untuk tokenizer→