Diffusers documentation

DPMSolverMultistepInverse

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DPMSolverMultistepInverse

DPMSolverMultistepInverse 是 Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li 和 Jun Zhu 在 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps 和 DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models 中提出的反向调度器。

该实现主要基于 Null-text Inversion for Editing Real Images using Guided Diffusion Models 中的 DDIM 反转定义,以及 Xiang-cd/DiffEdit-stable-diffusion 中 DiffEdit 潜在空间反转的 notebook 实现。

提示

支持来自 Imagen 的动态阈值处理。对于像素空间扩散模型,您可以同时设置 algorithm_type="dpmsolver++" 和 thresholding=True 来使用动态阈值处理。此阈值处理方法不适用于 Stable Diffusion 等潜在空间扩散模型。

DPMSolverMultistepInverseScheduler

类 diffusers.DPMSolverMultistepInverseScheduler

< >

( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0 )

参数

  • num_train_timesteps (int,默认为 1000) — 用于训练模型的扩散步数。
  • beta_start (float,默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float,默认为 0.02) — 最终的 beta 值。
  • beta_schedule (str,默认为 "linear") — Beta 调度策略,即将 beta 范围映射为用于模型步进的一系列 beta 值。可选 linear、scaled_linear 或 squaredcos_cap_v2。
  • trained_betas (np.ndarray, 可选) — 直接传入 betas 数组到构造函数中,以绕过 beta_start 和 beta_end。
  • solver_order (int,默认为 2) — DPMSolver 的阶数,可以是 1、2 或 3。建议在有引导采样时使用 solver_order=2,在无引导采样时使用 solver_order=3。
  • prediction_type (str, defaults to epsilon, optional) — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample) or v_prediction` (see section 2.4 of Imagen Video paper).
  • thresholding (bool,默认为 False) — 是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。
  • dynamic_thresholding_ratio (float,默认为 0.995) — 动态阈值化方法的比例。仅在 thresholding=True 时有效。
  • sample_max_value (float,默认为 1.0) — 动态阈值化的阈值。仅在 thresholding=True 且 algorithm_type="dpmsolver++" 时有效。
  • algorithm_type (str,默认为 dpmsolver++) — 求解器的算法类型;可以是 dpmsolver、dpmsolver++、sde-dpmsolver 或 sde-dpmsolver++。 dpmsolver 类型实现了 DPMSolver 论文中的算法,而 dpmsolver++ 类型实现了 DPMSolver++ 论文中的算法。对于 Stable Diffusion 中的引导采样,建议使用 dpmsolver++ 或 sde-dpmsolver++ 并设置 solver_order=2。
  • solver_type (str,默认为 midpoint) — 二阶求解器的求解器类型;可以是 midpoint 或 heun。求解器类型会轻微影响 样本质量,尤其是在步数较少时。建议使用 midpoint 求解器。
  • lower_order_final (bool,默认为 True) — 是否在最后几步使用低阶求解器。仅适用于推理步数 < 15 的情况。这有助于稳定 DPMSolver 在步数 < 15 时的采样,尤其是步数 <= 10 时。
  • euler_at_final (bool,默认为 False) — 是否在最后一步使用欧拉法。这是在数值稳定性和细节丰富度之间的权衡。对于推理步数较少的 DPMSolver SDE 变体,这可以稳定采样过程,但有时可能会导致图像模糊。
  • use_karras_sigmas (bool,可选,默认为 False) — 是否在采样过程的噪声调度中使用 Karras sigmas 来确定步长。如果为 True,则 sigmas 将根据噪声水平序列 {σi} 确定。
  • use_exponential_sigmas (bool,可选,默认为 False) — 在采样过程中,噪声调度的步长是否使用指数 sigmas。
  • use_beta_sigmas (bool, optional, defaults to False) — Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information.
  • use_flow_sigmas (bool,可选,默认为 False) — 在采样过程中,是否在噪声调度中使用 flow sigmas 作为步长。
  • flow_shift (float,可选,默认值为 1.0) — 流形偏移因子。仅在 use_flow_sigmas=True 时有效。
  • lambda_min_clipped (float,默认为 -inf) — lambda(t) 最小值的裁剪阈值,用于保证数值稳定性。这对于余弦(squaredcos_cap_v2)噪声调度至关重要。
  • variance_type (str, 可选) — 对于预测方差的扩散模型,设置为 “learned” 或 “learned_range”。如果已设置,模型的输出将包含预测的高斯方差。
  • timestep_spacing(str,默认为 "linspace")— 时间步的缩放方式。更多信息请参阅 《常见的扩散噪声调度和采样步骤存在缺陷》 中的表 2。
  • steps_offset (int,默认为 0) — 添加到推理步数中的偏移量,某些模型系列需要此参数。

DPMSolverMultistepInverseScheduler 是 DPMSolverMultistepScheduler 的反向调度器。

该模型继承自 SchedulerMixin 和 ConfigMixin。有关该库为所有调度器实现的通用方法(例如加载和保存),请参阅父类文档。

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

参数

  • original_samples (torch.Tensor) — 需要添加噪声的原始样本。
  • noise (torch.Tensor) — 噪声张量。
  • timesteps (torch.IntTensor) — 添加噪声的时间步。

返回值

torch.Tensor

带噪声的样本。

使用调度器的等效函数,为干净的 original_samples 添加噪声。

convert_model_output

< >

( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

参数

  • model_output (torch.Tensor) — 学习到的扩散模型的直接输出。
  • sample (torch.Tensor, 可选) — 扩散过程生成的当前样本实例。

返回值

torch.Tensor

转换后的模型输出。

将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的对应类型。DPM-Solver 旨在对噪声预测模型的积分进行离散化,而 DPM-Solver++ 则旨在对数据预测模型的积分进行离散化。

> 算法和模型类型是解耦的。对于噪声 > 预测模型和数据预测模型,都可以使用 DPMSolver 或 DPMSolver++。

dpm_solver_first_order_update

< >

( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

参数

  • model_output (torch.Tensor) — 学习到的扩散模型的直接输出。
  • sample (torch.Tensor, 可选) — 扩散过程生成的当前样本实例。
  • noise (torch.Tensor, 可选) — 噪声张量。

返回值

torch.Tensor

上一步时间步的样本张量。

一阶 DPMSolver 的一步(等效于 DDIM)。

multistep_dpm_solver_second_order_update

< >

( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

参数

  • model_output_list (list[torch.Tensor]) — 学习到的扩散模型在当前及后续时间步的直接输出。
  • sample (torch.Tensor, 可选) — 扩散过程生成的当前样本实例。
  • noise (torch.Tensor, 可选) — 随机噪声,用于随机(sde-*)求解器变体。当 algorithm_type 设置为其中一种时必填,否则不使用。

返回值

torch.Tensor

上一步时间步的样本张量。

二阶多步 DPMSolver 的单步。

multistep_dpm_solver_third_order_update

< >

( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor

参数

  • model_output_list (list[torch.Tensor]) — 学习到的扩散模型在当前及后续时间步的直接输出。
  • sample (torch.Tensor, 可选) — 扩散过程生成的当前样本实例。
  • noise (torch.Tensor, 可选) — 噪声张量。

返回值

torch.Tensor

上一步时间步的样本张量。

三阶多步 DPMSolver 的单步。

scale_model_input

< >

( sample: Tensor*args**kwargs ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。

返回值

torch.Tensor

经过缩放的输入样本。

确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器之间的可互换性。

set_timesteps

< >

( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时所用的扩散步数。
  • device (str 或 torch.device,可选) — 时间步应移动到的设备。如果为 None,则不移动时间步。

设置扩散链所使用的离散时间步(需在推理之前运行)。

步骤

< >

( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple

参数

  • model_output (torch.Tensor) — 学习到的扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 扩散过程生成的样本的当前实例。
  • generator (torch.Generator,可选) — 随机数生成器。
  • variance_noise (torch.Tensor) — 直接提供方差本身的噪声,作为使用 generator 生成噪声的替代方案。适用于 CycleDiffusion 等方法。
  • return_dict (bool) — 是否返回 SchedulerOutput 或 tuple。

返回值

SchedulerOutput 或 tuple

If return_dict is True, SchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

通过反转 SDE 来预测上一步时间步的样本。此函数使用多步 DPMSolver 传播样本。

SchedulerOutput

class diffusers.schedulers.scheduling_utils.SchedulerOutput

< >

( prev_sample: Tensor )

参数

  • prev_sample(对于图像,形状为 (batch_size, num_channels, height, width) 的 torch.Tensor)— 前一时间步的已计算样本 (x_{t-1})。在去噪循环中,应将 prev_sample 用作下一个模型输入。

调度器 step 函数输出的基类。

Update on GitHub