Hugging Face's logo

Diffusers documentation

DPMSolverMultistepInverse

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DPMSolverMultistepInverse

DPMSolverMultistepInverse adalah scheduler terbalik dari DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps dan DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models oleh Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, dan Jun Zhu.

Implementasi ini sebagian besar didasarkan pada definisi inversi DDIM dari Null-text Inversion for Editing Real Images using Guided Diffusion Models dan implementasi notebook inversi laten DiffEdit dari Xiang-cd/DiffEdit-stable-diffusion.

Tips

Thresholding dinamis dari Imagen didukung, dan untuk model difusi ruang piksel, Anda dapat mengatur algorithm_type="dpmsolver++" dan thresholding=True untuk menggunakan thresholding dinamis. Metode thresholding ini tidak cocok untuk model difusi ruang laten seperti Stable Diffusion.

DPMSolverMultistepInverseScheduler

kelas diffusers.DPMSolverMultistepInverseScheduler

< >

( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0 )

Parameter

  • num_train_timesteps (int, defaultnya 1000) — Jumlah langkah difusi untuk melatih model.
  • beta_start (float, defaultnya 0.0001) — Nilai beta awal untuk inferensi.
  • beta_end (float, defaultnya 0.02) — Nilai beta akhir.
  • beta_schedule (str, defaultnya "linear") — Jadwal beta, pemetaan dari rentang beta ke urutan beta untuk melangkahkan model. Pilih dari linear, scaled_linear, atau squaredcos_cap_v2.
  • trained_betas (np.ndarray, opsional) — Lewati beta_start dan beta_end dengan meneruskan array betas langsung ke konstruktor.
  • solver_order (int, defaultnya 2) — Urutan DPMSolver yang dapat berupa 1 atau 2 atau 3. Disarankan untuk menggunakan solver_order=2 untuk sampling terpandu, dan solver_order=3 untuk sampling tanpa syarat.
  • prediction_type (str, defaults to epsilon, optional) — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample) or v_prediction` (see section 2.4 of Imagen Video paper).
  • thresholding (bool, defaultnya False) — Apakah akan menggunakan metode “dynamic thresholding”. Metode ini tidak cocok untuk model difusi ruang laten seperti Stable Diffusion.
  • dynamic_thresholding_ratio (float, default 0.995) — Rasio untuk metode thresholding dinamis. Hanya valid ketika thresholding=True.
  • sample_max_value (float, defaultnya 1.0) — Nilai ambang untuk pengambangan dinamis. Hanya valid ketika thresholding=True dan algorithm_type="dpmsolver++".
  • algorithm_type (str, defaultnya dpmsolver++) — Jenis algoritma untuk solver; bisa berupa dpmsolver, dpmsolver++, sde-dpmsolver atau sde-dpmsolver++. Jenis dpmsolver mengimplementasikan algoritma dalam paper DPMSolver, dan jenis dpmsolver++ mengimplementasikan algoritma dalam paper DPMSolver++. Disarankan untuk menggunakan dpmsolver++ atau sde-dpmsolver++ dengan solver_order=2 untuk guided sampling seperti pada Stable Diffusion.
  • solver_type (str, defaultnya midpoint) — Jenis solver untuk solver orde kedua; bisa berupa midpoint atau heun. Jenis solver sedikit memengaruhi kualitas sampel, terutama untuk jumlah langkah yang kecil. Disarankan untuk menggunakan solver midpoint.
  • lower_order_final (bool, defaultnya True) — Apakah akan menggunakan solver orde rendah pada langkah-langkah akhir. Hanya valid untuk < 15 langkah inferensi. Hal ini dapat menstabilkan sampling DPMSolver untuk langkah < 15, terutama untuk langkah <= 10.
  • euler_at_final (bool, defaultnya False) — Apakah akan menggunakan metode Euler pada langkah terakhir. Ini adalah pertukaran antara stabilitas numerik dan kekayaan detail. Hal ini dapat menstabilkan sampling dari varian SDE dari DPMSolver untuk jumlah langkah inferensi yang kecil, tetapi terkadang dapat menyebabkan hasil yang buram.
  • use_karras_sigmas (bool, opsional, default False) — Apakah akan menggunakan Karras sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling. Jika True, sigma ditentukan berdasarkan urutan tingkat noise {σi}.
  • use_exponential_sigmas (bool, opsional, default False) — Apakah akan menggunakan sigma eksponensial untuk ukuran langkah dalam jadwal noise selama proses sampling.
  • use_beta_sigmas (bool, opsional, default False) — Apakah akan menggunakan beta sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling. Lihat Beta Sampling is All You Need untuk informasi lebih lanjut.
  • use_flow_sigmas (bool, opsional, default False) — Apakah akan menggunakan flow sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling.
  • flow_shift (float, opsional, default 1.0) — Faktor pergeseran aliran. Hanya valid ketika use_flow_sigmas=True.
  • lambda_min_clipped (float, defaultnya -inf) — Ambang pemotongan untuk nilai minimum dari lambda(t) demi stabilitas numerik. Hal ini sangat penting untuk jadwal noise cosine (squaredcos_cap_v2).
  • variance_type (str, opsional) — Atur ke “learned” atau “learned_range” untuk model difusi yang memprediksi varians. Jika diatur, output model mengandung varians Gaussian yang diprediksi.
  • timestep_spacing (str, defaultnya "linspace") — Cara timestep harus diskalakan. Lihat Tabel 2 dari Common Diffusion Noise Schedules and Sample Steps are Flawed untuk informasi lebih lanjut.
  • steps_offset (int, defaultnya 0) — Offset yang ditambahkan ke langkah inferensi, sesuai kebutuhan beberapa keluarga model.

DPMSolverMultistepInverseScheduler adalah scheduler terbalik dari DPMSolverMultistepScheduler.

Model ini mewarisi dari SchedulerMixin dan ConfigMixin. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan pustaka ini untuk semua scheduler, seperti pemuatan dan penyimpanan.

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Parameter

  • original_samples (torch.Tensor) — Sampel asli untuk ditambahkan noise.
  • noise (torch.Tensor) — Tensor noise.
  • timesteps (torch.IntTensor) — Langkah-langkah waktu di mana noise akan ditambahkan.

Mengembalikan

torch.Tensor

Sampel yang bising.

Tambahkan noise ke original_samples yang bersih menggunakan fungsi ekuivalen dari scheduler.

convert_model_output

< >

( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

Parameter

  • model_output (torch.Tensor) — Output langsung dari model difusi yang dipelajari.
  • sample (torch.Tensor, opsional) — Instans saat ini dari sampel yang dibuat oleh proses difusi.

Mengembalikan

torch.Tensor

Output model yang telah dikonversi.

Konversi keluaran model ke tipe yang sesuai dengan kebutuhan algoritma DPMSolver/DPMSolver++. DPM-Solver dirancang untuk mendiskritisasi integral dari model prediksi noise, dan DPM-Solver++ dirancang untuk mendiskritisasi integral dari model prediksi data.

> Algoritma dan tipe model dipisahkan. Anda dapat menggunakan DPMSolver atau DPMSolver++ untuk model prediksi noise > dan model prediksi data.

dpm_solver_first_order_update

< >

( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

Parameter

  • model_output (torch.Tensor) — Output langsung dari model difusi yang dipelajari.
  • sample (torch.Tensor, opsional) — Instans saat ini dari sampel yang dibuat oleh proses difusi.
  • noise (torch.Tensor, opsional) — Tensor noise.

Mengembalikan

torch.Tensor

Tensor sampel pada langkah waktu sebelumnya.

Satu langkah untuk DPMSolver orde pertama (setara dengan DDIM).

multistep_dpm_solver_second_order_update

< >

( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

Parameter

  • model_output_list (list[torch.Tensor]) — Output langsung dari model difusi yang dipelajari pada timestep saat ini dan timestep berikutnya.
  • sample (torch.Tensor, opsional) — Instans saat ini dari sampel yang dibuat oleh proses difusi.
  • noise (torch.Tensor, opsional) — Noise acak yang digunakan oleh varian solver stokastik (sde-*). Wajib diisi ketika algorithm_type disetel ke salah satu dari varian tersebut, dan tidak digunakan dalam kasus lainnya.

Mengembalikan

torch.Tensor

Tensor sampel pada langkah waktu sebelumnya.

Satu langkah untuk DPMSolver multistep orde kedua.

multistep_dpm_solver_third_order_update

< >

( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

Parameter

  • model_output_list (list[torch.Tensor]) — Output langsung dari model difusi yang dipelajari pada timestep saat ini dan timestep berikutnya.
  • sample (torch.Tensor, opsional) — Instans saat ini dari sampel yang dibuat oleh proses difusi.
  • noise (torch.Tensor, opsional) — Tensor noise.

Mengembalikan

torch.Tensor

Tensor sampel pada langkah waktu sebelumnya.

Satu langkah untuk DPMSolver multistep orde ketiga.

scale_model_input

< >

( sample: Tensor*args**kwargs ) → torch.Tensor

Parameter

  • sample (torch.Tensor) — Contoh input.

Mengembalikan

torch.Tensor

Contoh input yang diskalakan.

Memastikan interoperabilitas dengan scheduler yang perlu menskalakan input model denoising berdasarkan timestep saat ini.

set_timesteps

< >

( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = None )

Parameter

  • num_inference_steps (int) — Jumlah langkah difusi yang digunakan saat menghasilkan sampel dengan model terlatih.
  • device (str atau torch.device, opsional) — Perangkat tempat timesteps harus dipindahkan. Jika None, timesteps tidak dipindahkan.

Menetapkan langkah waktu diskrit yang digunakan untuk rantai difusi (untuk dijalankan sebelum inferensi).

langkah

< >

( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple

Parameter

  • model_output (torch.Tensor) — Output langsung dari model difusi yang dipelajari.
  • timestep (int) — Timestep diskrit saat ini dalam rantai difusi.
  • sample (torch.Tensor) — Instans saat ini dari sampel yang dibuat oleh proses difusi.
  • generator (torch.Generator, opsional) — Generator angka acak.
  • variance_noise (torch.Tensor) — Alternatif untuk menghasilkan noise dengan generator dengan langsung menyediakan noise untuk varians itu sendiri. Berguna untuk metode seperti CycleDiffusion.
  • return_dict (bool) — Apakah akan mengembalikan SchedulerOutput atau tuple.

Mengembalikan

SchedulerOutput atau tuple

If return_dict is True, SchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

Prediksi sampel dari langkah waktu sebelumnya dengan membalikkan SDE. Fungsi ini menyebarkan sampel dengan multistep DPMSolver.

SchedulerOutput

kelas diffusers.schedulers.scheduling_utils.SchedulerOutput

< >

( prev_sample: Tensor )

Parameter

  • prev_sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) untuk gambar) — Contoh yang dihitung (x_{t-1}) dari langkah waktu sebelumnya. prev_sample harus digunakan sebagai input model berikutnya dalam loop denoising.

Kelas dasar untuk keluaran dari fungsi step sebuah scheduler.

Update on GitHub

←DiscreteDDIMScheduler DPMSolverMultistepScheduler→