# DPMSolverMultistepInverse

`DPMSolverMultistepInverse` 是 Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li 和 Jun Zhu 在 [DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps](https://huggingface.co/papers/2206.00927) 和 [DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models](https://huggingface.co/papers/2211.01095) 中提出的反向调度器。

该实现主要基于 [Null-text Inversion for Editing Real Images using Guided Diffusion Models](https://huggingface.co/papers/2211.09794) 中的 DDIM 反转定义，以及 [Xiang-cd/DiffEdit-stable-diffusion](https://github.com/Xiang-cd/DiffEdit-stable-diffusion/blob/main/diffedit.ipynb) 中 `DiffEdit` 潜在空间反转的 notebook 实现。

## 提示

支持来自 [Imagen](https://huggingface.co/papers/2205.11487) 的动态阈值处理。对于像素空间扩散模型，您可以同时设置 `algorithm_type="dpmsolver++"` 和 `thresholding=True` 以启用动态阈值处理。此阈值处理方法不适用于 Stable Diffusion 等潜在空间扩散模型。

## DPMSolverMultistepInverseScheduler[[diffusers.DPMSolverMultistepInverseScheduler]]

#### diffusers.DPMSolverMultistepInverseScheduler[[diffusers.DPMSolverMultistepInverseScheduler]]

```python
diffusers.DPMSolverMultistepInverseScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = True, euler_at_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L86)

**参数：**

num_train_timesteps (`int`，默认为 1000)：用于训练模型的扩散步数。

beta_start (`float`，默认值为 0.0001)：推理的初始 `beta` 值。

beta_end (`float`，默认值为 0.02)：最终的 `beta` 值。

beta_schedule (`str`，默认为 `"linear"`)：beta 调度，即将 beta 范围映射为用于模型步进的一系列 beta 值。可选 `linear`、`scaled_linear` 或 `squaredcos_cap_v2`。

trained_betas (`np.ndarray`，*可选*)：将 beta 数组直接传递给构造函数，以绕过 `beta_start` 和 `beta_end`。

solver_order (`int`，默认为 2)：DPMSolver 的阶数，可以是 `1`、`2` 或 `3`。建议在有引导采样时使用 `solver_order=2`，在无引导采样时使用 `solver_order=3`。

prediction_type (`str`, defaults to `epsilon`, *optional*) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`) or `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper).

thresholding (`bool`，默认为 `False`)：是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。

dynamic_thresholding_ratio (`float`，默认值为 0.995)：动态阈值化方法的比例。仅在 `thresholding=True` 时有效。

sample_max_value (`float`，默认值为 1.0)：动态阈值化的阈值。仅在 `thresholding=True` 且 `algorithm_type="dpmsolver++"` 时有效。

algorithm_type (`str`，默认为 `dpmsolver++`) : 求解器的算法类型；可以是 `dpmsolver`、`dpmsolver++`、`sde-dpmsolver` 或 `sde-dpmsolver++`。`dpmsolver` 类型实现了 [DPMSolver](https://huggingface.co/papers/2206.00927) 论文中的算法，而 `dpmsolver++` 类型实现了 [DPMSolver++](https://huggingface.co/papers/2211.01095) 论文中的算法。对于 Stable Diffusion 中的引导采样，建议使用 `dpmsolver++` 或 `sde-dpmsolver++` 并设置 `solver_order=2`。

solver_type (`str`，默认为 `midpoint`)：二阶求解器的求解器类型；可以是 `midpoint` 或 `heun`。求解器类型会轻微影响样本质量，尤其是在步数较少时。建议使用 `midpoint` 求解器。

lower_order_final (`bool`，默认为 `True`)：是否在最后几步中使用低阶求解器。仅对少于 15 步的推理有效。这可以稳定 DPMSolver 在少于 15 步时的采样，尤其是在 10 步及以下的情况下。

euler_at_final (`bool`，默认为 `False`)：是否在最后一步使用欧拉法。这是在数值稳定性和细节丰富度之间的权衡。对于推理步数较少的 DPMSolver SDE 变体，这可以稳定采样过程，但有时可能会导致图像模糊。

use_karras_sigmas (`bool`，*可选*，默认为 `False`)：是否在采样过程的噪声调度中使用 Karras sigmas 作为步长。如果为 `True`，则 sigmas 将根据噪声水平序列 {σi} 确定。

use_exponential_sigmas (`bool`，*可选*，默认为 `False`)：在采样过程中，噪声调度是否使用指数 sigma 作为步长。

use_beta_sigmas (`bool`, *optional*, defaults to `False`) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) for more information.

use_flow_sigmas (`bool`，*可选*，默认为 `False`)：是否在采样过程的噪声调度中使用 flow sigmas 作为步长。

flow_shift (`float`，*可选*，默认值为 1.0)：流偏移因子。仅在 `use_flow_sigmas=True` 时有效。

lambda_min_clipped (`float`，默认为 `-inf`)：`lambda(t)` 最小值的裁剪阈值，用于保证数值稳定性。这对于余弦（`squaredcos_cap_v2`）噪声调度至关重要。

variance_type (`str`, *可选*) : 对于预测方差的扩散模型，设置为 "learned" 或 "learned_range"。如果已设置，模型的输出将包含预测的高斯方差。

timestep_spacing (`str`, defaults to `"linspace"`) : The way the timesteps should be scaled. Refer to Table 2 of the [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) for more information.

steps_offset (`int`，默认为 0)：根据某些模型系列的要求，添加到推理步数中的偏移量。

`DPMSolverMultistepInverseScheduler` 是 [DPMSolverMultistepScheduler](/docs/diffusers/v0.43.0/zh/api/schedulers/multistep_dpm_solver#diffusers.DPMSolverMultistepScheduler) 的反向调度器。

该模型继承自 [SchedulerMixin](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin) 和 [ConfigMixin](/docs/diffusers/v0.43.0/zh/api/configuration#diffusers.ConfigMixin)。有关该库为所有调度器实现的通用方法（例如加载和保存），请参阅父类文档。

#### add_noise[[diffusers.DPMSolverMultistepInverseScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L1118)

**参数：**

original_samples (`torch.Tensor`) : 需要添加噪声的原始样本。

noise (`torch.Tensor`) : 噪声张量。

timesteps (`torch.IntTensor`) : 添加噪声的时间步。

**返回：** `torch.Tensor`

带噪声的样本。

使用调度器的等效函数，为干净的 `original_samples` 添加噪声。

#### convert_model_output[[diffusers.DPMSolverMultistepInverseScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L600)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

sample (`torch.Tensor`, *可选*) : 由扩散过程创建的当前样本实例。

**返回：** `torch.Tensor`

转换后的模型输出。

将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的对应类型。DPM-Solver 旨在对噪声预测模型的积分进行离散化，而 DPM-Solver++ 则旨在对数据预测模型的积分进行离散化。

> [!TIP] > 算法和模型类型是解耦的。您可以使用 DPMSolver 或 DPMSolver++ 来
噪声 > 预测和数据预测模型。

#### dpm_solver_first_order_update[[diffusers.DPMSolverMultistepInverseScheduler.dpm_solver_first_order_update]]

```python
dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L699)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

sample (`torch.Tensor`, *可选*) : 由扩散过程创建的当前样本实例。

noise (`torch.Tensor`，*可选*)：噪声张量。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

一阶 DPMSolver 的一步（等效于 DDIM）。

#### multistep_dpm_solver_second_order_update[[diffusers.DPMSolverMultistepInverseScheduler.multistep_dpm_solver_second_order_update]]

```python
multistep_dpm_solver_second_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L774)

**参数：**

model_output_list (`list[torch.Tensor]`) : 学习到的扩散模型在当前及后续时间步的直接输出。

sample (`torch.Tensor`, *可选*) : 由扩散过程创建的当前样本实例。

noise (`torch.Tensor`, *可选*) : 随机噪声，用于随机 (`sde-*`) 求解器变体。当 `algorithm_type` 设置为其中一种时必填，否则不使用。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

二阶多步 DPMSolver 的单步。

#### multistep_dpm_solver_third_order_update[[diffusers.DPMSolverMultistepInverseScheduler.multistep_dpm_solver_third_order_update]]

```python
multistep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L901)

**参数：**

model_output_list (`list[torch.Tensor]`) : 学习到的扩散模型在当前及后续时间步的直接输出。

sample (`torch.Tensor`, *可选*) : 扩散过程创建的当前样本实例。

noise (`torch.Tensor`，*可选*)：噪声张量。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

三阶多步 DPMSolver 的单步。

#### scale_model_input[[diffusers.DPMSolverMultistepInverseScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L1103)

**参数：**

sample (`torch.Tensor`)：输入样本。

**返回：** `torch.Tensor`

经过缩放的输入样本。

确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器保持可互换性。

#### set_timesteps[[diffusers.DPMSolverMultistepInverseScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int | None = None, device: typing.Union[str, torch.device, NoneType] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L283)

**参数：**

num_inference_steps (`int`) : 使用预训练模型生成样本时所用的扩散步数。

device (`str` 或 `torch.device`，*可选*)：时间步应移动到的设备。如果为 `None`，则不移动时间步。

设置扩散链所使用的离散时间步（需在推理之前运行）。

#### 步骤[[diffusers.DPMSolverMultistepInverseScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, variance_noise: typing.Optional[torch.Tensor] = None, return_dict: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L1017)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

timestep (`int`)：扩散链中当前的离散时间步。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

generator (`torch.Generator`, *可选*) : 随机数生成器。

variance_noise (`torch.Tensor`) : 直接提供方差本身的噪声，作为使用 `generator` 生成噪声的替代方案。适用于 `CycleDiffusion` 等方法。

return_dict (`bool`) : 是否返回 [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 或 `tuple`。

**返回：** [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 或 `tuple`

If return_dict is `True`, [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) is returned, otherwise a tuple is returned where the first element is the sample tensor.

通过逆向 SDE 预测上一步时间步的样本。此函数使用多步 DPMSolver 传播样本。

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_utils.py#L66)

**参数：**

prev_sample （对于图像，形状为 `(batch_size, num_channels, height, width)` 的 `torch.Tensor`）：计算得到的前一时间步的样本 `(x_{t-1})`。在去噪循环中，应将 `prev_sample` 用作下一个模型输入。

调度器 `step` 函数输出的基类。