Diffusers documentation
CogVideoXDPMScheduler
CogVideoXDPMScheduler
CogVideoXDPMScheduler é baseado em DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps e DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models, especificamente para modelos CogVideoX.
CogVideoXDPMScheduler
classe diffusers.CogVideoXDPMScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneclip_sample: bool = Trueset_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['leading', 'linspace', 'trailing'] = 'leading'rescale_betas_zero_snr: bool = Falsesnr_shift_scale: float = 3.0 )
Parâmetros
- num_train_timesteps (
int, padrão 1000) — O número de etapas de difusão para treinar o modelo. - beta_start (
float, padrão 0.0001) — O valor inicial debetapara a inferência. - beta_end (
float, padrão 0.02) — O valor final debeta. - beta_schedule (
str, padrão"linear") — O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para o passo do modelo. Escolha entrelinear,scaled_linearousquaredcos_cap_v2. - trained_betas (
np.ndarray, opcional) — Passe um array de betas diretamente para o construtor para ignorarbeta_startebeta_end. - clip_sample (
bool, padrãoTrue) — Recorta a amostra prevista para estabilidade numérica. - clip_sample_range (
float, padrão 1.0) — A magnitude máxima para o recorte de amostras. Válido apenas quandoclip_sample=True. - set_alpha_to_one (
bool, padrãoTrue) — Cada etapa de difusão usa o valor do produto dos alfas nessa etapa e na etapa anterior. Para a etapa final, não há um alfa anterior. Quando esta opção éTrue, o produto do alfa anterior é fixado em1; caso contrário, é usado o valor do alfa na etapa 0. - steps_offset (
int, padrão 0) — Um deslocamento adicionado às etapas de inferência, conforme exigido por algumas famílias de modelos. - prediction_type (
str, defaults toepsilon, optional) — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, padrãoFalse) — Se deve usar o método de “limiar dinâmico”. Isso não é adequado para modelos de difusão em espaço latente, como o Stable Diffusion. - dynamic_thresholding_ratio (
float, padrão 0.995) — A proporção para o método de limiar dinâmico. Válido apenas quandothresholding=True. - sample_max_value (
float, padrão 1.0) — O valor de limiar para o limiar dinâmico. Válido apenas quandothresholding=True. - timestep_spacing (
str, padrão"leading") — A forma como os timesteps devem ser escalados. Consulte a Tabela 2 do artigo Common Diffusion Noise Schedules and Sample Steps are Flawed para mais informações. Escolha entreleading,linspaceoutrailing. - rescale_betas_zero_snr (
bool, padrãoFalse) — Se deve reescalar os betas para ter SNR terminal zero. Isso permite que o modelo gere amostras muito claras e escuras, em vez de limitá-lo a amostras com brilho médio. Relacionado de forma solta a--offset_noise. - snr_shift_scale (
float, padrão 3.0) — Escala de deslocamento para SNR.
DDIMScheduler estende o procedimento de remoção de ruído introduzido em modelos probabilísticos de difusão de desruído (DDPMs) com orientação não-markoviana.
Este modelo herda de SchedulerMixin e ConfigMixin. Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Adicione ruído às amostras originais de acordo com a magnitude do ruído em cada timestep (este é o processo de difusão direta).
get_mult
< source >( h: Tensorr: Tensoralpha_prod_t: Tensoralpha_prod_t_prev: Tensoralpha_prod_t_back: typing.Optional[torch.Tensor] = None ) → tuple
Parâmetros
- h (
torch.Tensor) — A diferença de log-SNR. - r (
torch.Tensor) — A razão das diferenças de log-SNR. - alpha_prod_t (
torch.Tensor) — O produto acumulado dos alfas no timestep atual. - alpha_prod_t_prev (
torch.Tensor) — O produto acumulado dos alfas no passo de tempo anterior. - alpha_prod_t_back (
torch.Tensor, opcional) — O produto acumulado dos alfas no passo de tempo anterior ao passo de tempo anterior.
Retorna
tuple
Uma tupla contendo os multiplicadores.
Calcule os multiplicadores para a amostra anterior e a amostra original prevista.
get_variables
< source >( alpha_prod_t: Tensoralpha_prod_t_prev: Tensoralpha_prod_t_back: typing.Optional[torch.Tensor] = None ) → tuple
Parâmetros
- alpha_prod_t (
torch.Tensor) — O produto acumulado dos alfas no timestep atual. - alpha_prod_t_prev (
torch.Tensor) — O produto acumulado dos alfas no passo de tempo anterior. - alpha_prod_t_back (
torch.Tensor, opcional) — O produto acumulado dos alfas no passo de tempo anterior ao passo de tempo anterior.
Retorna
tuple
Uma tupla contendo as variáveis h, r, lamb, lamb_next.
Calcule as variáveis usadas para DPM-Solver++ (2M) referenciando a implementação original.
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Calcule a previsão de velocidade a partir da amostra e do ruído de acordo com a fórmula de velocidade.
scale_model_input
< source >( sample: Tensortimestep: int | None = None ) → torch.Tensor
Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.
set_timesteps
< source >( num_inference_steps: intdevice: typing.Union[str, torch.device, NoneType] = None )
Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).
etapa
< source >( model_output: Tensorold_pred_original_sample: Tensortimestep: inttimestep_back: intsample: Tensoreta: float = 0.0use_clipped_model_output: bool = Falsegenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = False ) → DDIMSchedulerOutput or tuple
Parâmetros
- model_output (
torch.Tensor) — A saída direta do modelo de difusão aprendido. - old_pred_original_sample (
torch.Tensor) — A amostra original prevista a partir do passo anterior. - timestep (
int) — O timestep discreto atual na cadeia de difusão. - timestep_back (
int) — O timestep para o qual olhar para trás. - sample (
torch.Tensor) — Uma instância atual de uma amostra criada pelo processo de difusão. - eta (
float) — O peso do ruído para o ruído adicionado na etapa de difusão. - use_clipped_model_output (
bool, padrãoFalse) — SeTrue, calcula omodel_output“corrigido” a partir da amostra original prevista recortada. Necessário porque a amostra original prevista é recortada para [-1, 1] quandoself.config.clip_sampleéTrue. Se nenhum recorte tiver ocorrido, omodel_output“corrigido” coincidiria com o fornecido como entrada euse_clipped_model_outputnão teria efeito. - generator (
torch.Generator, opcional) — Um gerador de números aleatórios. - variance_noise (
torch.Tensor) — Alternativa para gerar ruído comgeneratorfornecendo diretamente o ruído para a variância em si. Útil para métodos comoCycleDiffusion. - return_dict (
bool, opcional, padrãoTrue) — Se deve ou não retornar um DDIMSchedulerOutput outuple.
Retorna
DDIMSchedulerOutput ou tuple
If return_dict is True, DDIMSchedulerOutput is returned, otherwise a
tuple is returned where the first element is the sample tensor.
Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga o processo de difusão a partir das saídas do modelo aprendido (na maioria das vezes, o ruído previsto).