Uma ModularPipeline para P-H3-Image, um modelo de imagem baseado no MiniMax-H3, para geração de imagem a partir de texto (text2image) e edição baseada em instruções (image_conditioned).

A imagem é um único quadro latente, desruidado em uma sequência empacotada com dois latentes de áudio que são descartados.

import torch
from diffusers import ComponentsManager, ModularPipeline

manager = ComponentsManager()
manager.enable_auto_cpu_offload(device="cuda")

pipe = ModularPipeline.from_pretrained("PrunaAI/P-H3-Image", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)
prompt = (
    "A German Expressionist oil painting of a Berlin street at night in the manner of Ernst Ludwig Kirchner, "
    "with gaunt figures hurrying past a glowing gas lamp."
)
image = pipe(prompt=prompt, height=3360, width=2496, output="images")[0]

Blocos de pipeline modulares para P-H3-Image: text2image e edição baseada em instruções (image_conditioned) quando image é passado. prompt passa primeiro pelo prompt upsampler; remova a etapa prompt_upsampler para renderizá-lo como fornecido.

Fluxos de trabalho suportados:

• text2image: requer prompt
• image_conditioned: requer prompt, image

Componentes: image_processor (VaeImageProcessor) prompt_upsampler (Qwen3_5ForConditionalGeneration): O upsampler do prompt. prompt_upsampler_processor (AutoProcessor): Seu processador. text_encoder (Qwen3VLForConditionalGeneration) text_connector (PH3ImageTextConnector) tokenizer (Qwen2Tokenizer) processor (Qwen3VLProcessor) vae (AutoencoderKLPH3Image) scheduler (MiniMaxH3Scheduler) audio_scheduler (MiniMaxH3Scheduler) transformer (MiniMaxH3Transformer3DModel)

Configs: reference_min_pixels (padrão: 1048576) reference_max_pixels (padrão: 8388608) canvas_min_pixels (padrão: 4194304) vision_pixels (padrão: 1000000) sample_sigmas (padrão: [1.0, 0.984753, 0.967905, 0.951688, 0.925372, 0.881923, 0.810083, 0.528718, 0.0]): A grade de amostragem do checkpoint, usada quando sigmas não é passado.

Entradas: image (Image | list, opcional): A imagem a ser editada, ou uma lista de no máximo 8 imagens: a primeira é editada, as demais são referências. height (int, opcional): Altura da imagem gerada em pixels, arredondada para um múltiplo de 32. O padrão é 2912 para text2image, que funciona melhor em 8 megapixels. Uma edição usa o tamanho da primeira imagem como padrão, no mínimo canvas_min_pixels, e funciona melhor em 4 ou 8 megapixels. width (int, opcional): Largura da imagem gerada em pixels, arredondada para um múltiplo de 32. O padrão é 2912 para text2image, que funciona melhor em 8 megapixels. Uma edição usa o tamanho da primeira imagem como padrão, no mínimo canvas_min_pixels, e funciona melhor em 4 ou 8 megapixels. prompt (str): O prompt, ou a instrução de edição quando image é passado. Uma única string. max_new_tokens (int, opcional, padrão 1536 ou 1024, dependendo do fluxo de trabalho): O número máximo de tokens que o upsampler pode gerar, incluindo seu raciocínio. vision_images (list, opcional): As imagens da edição redimensionadas para o codificador de texto, com a imagem a ser editada em primeiro lugar. reference_images (list, opcional): As imagens da edição redimensionadas para o VAE, com a imagem a ser editada em primeiro lugar. condition_latents (list, opcional): Os latentes de condicionamento das imagens da edição. Suas formas definem a geometria dos blocos de referência. generator (Generator, opcional): O gerador da solicitação. O ruído de condicionamento é extraído dele primeiro, uma extração por condição, antes do ruído das linhas geradas. latents (Tensor): Ruído de imagem pré-gerado com a forma (1, latent_channels, 1, latent_height, latent_width), usado no lugar da extração. sigmas (list, opcional): Uma grade de amostragem personalizada, estritamente decrescente e terminando em 0. O padrão é o sample_sigmas do checkpoint. *denoiser_input_fields (None,opcional): A descrição estrutural da sequência empacotada que o transformer lê por nome: token_tags, position_ids e os três tensores de índice de linha. attention_kwargs (dict,opcional): Kwargs adicionais para os processadores de atenção. output_type (str,opcional*, padrão pil): Formato de saída: ‘pil’, ‘np’, ‘pt’.

Saídas: imagens (list): Imagens geradas.

Mapeia os estados ocultos do codificador de texto Qwen3-VL do P-H3-Image para a condição de texto que seu transformer lê.

Os estados ocultos listados em hidden_state_indices são concatenados, padronizados, projetados linearmente e despadronizados. O primeiro token é um attention sink com a mesma condição para todos os prompts, portanto é substituído por sink_embedding.