Diffusers documentation
JoyAI-Image-Edit-Plus
JoyAI-Image-Edit-Plus
JoyAI-Image — это единая мультимодальная базовая модель для понимания изображений, генерации изображений по тексту и редактирования изображений по инструкциям. Она объединяет мультимодальную большую языковую модель (MLLM) на 8 млрд параметров и мультимодальный диффузионный трансформер (MMDiT) на 16 млрд параметров.
JoyAI-Image-Edit-Plus — это модель редактирования по текстовым инструкциям, работающая с несколькими изображениями. Она принимает несколько референсных изображений и текстовую инструкцию, чтобы сгенерировать новое изображение, сочетающее элементы из референсов в соответствии с инструкцией. Поддерживается от 1 до 5 референсных изображений на один пример.
| Модель | Описание | Загрузить |
|---|---|---|
| JoyAI-Image-Edit-Plus | Редактирование по инструкции с несколькими изображениями с композицией элементов из нескольких источников | Hugging Face |
import torch
from PIL import Image
from diffusers import JoyImageEditPlusPipeline
pipeline = JoyImageEditPlusPipeline.from_pretrained(
"jdopensource/JoyAI-Image-Edit-Plus-Diffusers", dtype=torch.bfloat16
)
pipeline.to("cuda") # or "mps", "xpu", "cpu"
images = [
Image.open("reference_0.png").convert("RGB"),
Image.open("reference_1.png").convert("RGB"),
]
target_h, target_w = pipeline.image_processor.get_default_height_width(images[-1])
output = pipeline(
images=images,
prompt="Combine the person from the second image with the scene from the first image.",
negative_prompt="low quality, blurry, deformed",
height=target_h,
width=target_w,
num_inference_steps=30,
guidance_scale=4.0,
generator=torch.Generator("cuda").manual_seed(42),
).images[0]
output.save("joyimage_edit_plus_output.png")JoyImageEditPlusPipeline
класс diffusers.JoyImageEditPlusPipeline
< source >( scheduler: FlowMatchEulerDiscreteSchedulervae: AutoencoderKLWantext_encoder: Qwen3VLForConditionalGenerationtokenizer: Qwen2Tokenizertransformer: JoyImageEditPlusTransformer3DModelprocessor: Qwen3VLProcessortext_token_max_length: int = 2048 )
Параметры
- scheduler (FlowMatchEulerDiscreteScheduler) —
планировщик, используемый в связке с
transformerдля удаления шума из закодированных латентов изображения. - vae (AutoencoderKLWan) — Модель вариационного автоэнкодера (VAE) для кодирования изображений в латентные представления и декодирования из них.
- text_encoder (
Qwen3VLForConditionalGeneration) — Мультимодальный текстовый энкодер для кодирования промптов с пониманием встроенных изображений. - tokenizer (
Qwen2Tokenizer) — Токенизатор для обработки текста. - transformer (JoyImageEditPlusTransformer3DModel) — условная архитектура Transformer (MMDiT) для удаления шума из закодированных латентов изображения.
- processor (
Qwen3VLProcessor) — Процессор для мультимодальных входных данных (текст + изображения). - text_token_max_length (
int, по умолчанию2048) — Максимальная длина последовательности токенов для кодирования текста.
Diffusion pipeline для редактирования нескольких изображений по инструкциям с использованием JoyImage Edit Plus.
Поддерживает несколько эталонных изображений с различными разрешениями. Каждое эталонное изображение независимо кодируется VAE и преобразуется в патчи, после чего конкатенируется с целевыми шумовыми патчами для совместного шумоподавления.
__call__
< source >( images: list[PIL.Image.Image] | list[list[PIL.Image.Image]] | None = Noneprompt: str | list[str] = Noneheight: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 30timesteps: list[int] = Nonesigmas: list[float] = Noneguidance_scale: float = 4.0negative_prompt: str | list[str] | None = Nonegenerator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truecallback_on_step_end: typing.Union[typing.Callable[[int, int, dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list[str] = ['latents']max_sequence_length: int = 4096 ) → JoyImageEditPlusPipelineOutput or tuple
Параметры
- images (
list[Image.Image]илиlist[list[Image.Image]], необязательный) — Справочные изображения для редактирования. Каждое изображение может иметь различное разрешение. Если передан плоский список, он рассматривается как один образец с несколькими справочными изображениями. - prompt (
strилиlist[str], необязательный) — Промпт или промпты для управления генерацией изображения. Если не задан, необходимо передатьprompt_embedsвместо него. - height (
int, необязательный) — Высота генерируемого изображения в пикселях. ЕслиNone, определяется по последнему опорному изображению. - width (
int, необязательный) — Ширина генерируемого изображения в пикселях. ЕслиNone, определяется по последнему опорному изображению. - num_inference_steps (
int, необязательный, по умолчанию30) — Количество шагов денойзинга. Увеличение числа шагов денойзинга обычно приводит к повышению качества изображения за счет замедления инференса. - timesteps (
list[int], необязательный) — Пользовательские шаги для процесса удаления шума. Если не заданы, используется равномерное распределение. - sigmas (
list[float], необязательный) — Пользовательские сигмы для использования в процессе удаления шума. - guidance_scale (
float, необязательный, по умолчанию4.0) — Масштаб классификаторно-свободного управления. Более высокие значения побуждают модель генерировать изображения, более точно соответствующиеprompt, за счёт снижения качества изображения. - negative_prompt (
strилиlist[str], необязательный) — Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, для classifier-free guidance используется пустой промпт. - generator (
torch.Generatorилиlist[torch.Generator], необязательный) — Один или список генераторов torch для обеспечения детерминированности генерации. - latents (
torch.Tensor, необязательный) — Предварительно сгенерированные зашумленные латенты, используемые в качестве входных данных для генерации изображений. - prompt_embeds (
torch.Tensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой корректировки текстовых входных данных. - prompt_embeds_mask (
torch.Tensor, необязательный) — Маска внимания для предсгенерированных текстовых эмбеддингов. - negative_prompt_embeds (
torch.Tensor, необязательный) — Предварительно сгенерированные отрицательные текстовые эмбеддинги. - negative_prompt_embeds_mask (
torch.Tensor, необязательный) — Маска внимания для предварительно сгенерированных отрицательных текстовых эмбеддингов. - output_type (
str, необязательный, по умолчанию"pil") — Формат вывода сгенерированного изображения. Выберите один из вариантов:"pil"(PIL.Image.Image),"np"(np.ndarray),"pt"(torch.Tensor) или"latent"для вывода в латентном пространстве. - return_dict (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли возвращать JoyImageEditPlusPipelineOutput вместо обычного кортежа. - callback_on_step_end (
Callable, необязательный) — Функция, вызываемая в конце каждого шага денойзинга с аргументами: пайплайн, индекс шага, timestep и словарь тензорных входных данных для callback. - callback_on_step_end_tensor_inputs (
list[str], необязательный, по умолчанию["latents"]) — Список тензорных входных данных для функцииcallback_on_step_end. - max_sequence_length (
int, необязательный, по умолчанию4096) — Максимальная длина последовательности для текстового энкодера.
Возвращает
JoyImageEditPlusPipelineOutput или tuple
Если return_dict равно True, возвращается JoyImageEditPlusPipelineOutput, иначе возвращается tuple, где первый элемент — это список сгенерированных изображений.
Функция, вызываемая при обращении к конвейеру для генерации.
Примеры:
>>> import torch
>>> from diffusers import JoyImageEditPlusPipeline
>>> from diffusers.utils import load_image
>>> model_id = "jdopensource/JoyAI-Image-Edit-Plus-Diffusers"
>>> pipe = JoyImageEditPlusPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> images = [
... load_image("dog.png"),
... load_image("person.png"),
... ]
>>> output = pipe(
... images=images,
... prompt="Let the person lovingly play with the dog.",
... height=1024,
... width=1024,
... num_inference_steps=30,
... guidance_scale=4.0,
... generator=torch.manual_seed(42),
... )
>>> output.images[0].save("output.png")encode_prompt_multiple_images
< source >( prompt: str | list[str]device: typing.Optional[torch.device] = Noneimages: list[PIL.Image.Image] | None = Nonemax_sequence_length: int | None = None )
Кодируйте промпты с встроенными токенами <image> с помощью процессора Qwen3-VL.
prepare_latents
< source >( batch_size: intnum_channels_latents: intheight: intwidth: intdtype: dtypedevice: devicegenerator: typing.Union[torch.Generator, list[torch.Generator], NoneType]reference_images: list[list[PIL.Image.Image]] | None = Nonelatents: typing.Optional[torch.Tensor] = None ) → padded_latents
Параметры
- latents — Необязательный заранее вычисленный шум для целевого слота. Форма
(B, C, 1, H', W'), гдеH'иW'— размеры в латентном пространстве. ЕслиNone, шум выбирается случайно.
Возвращает
padded_latents
[B, max_patches, C, pt, ph, pw] target_mask: [B, max_patches] (True для целевых патчей) shape_list: список кортежей (t, h, w) для каждого компонента в каждом образце
Подготовьте 6D тензор латентов с заполнением, содержащий целевой шум и латенты референсного изображения.
JoyImageEditPlusPipelineOutput
класс diffusers.JoyImageEditPlusPipelineOutput
< source >( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] )
Класс вывода для пайплайнов многоизображенияльного редактирования JoyImage Edit Plus.