# Gemma4 Unified ## Обзор Gemma 4 12B Unified — это мультимодальная модель без **кодировщика** с вариантами предобучения и обучения по инструкциям. В отличие от [стандартной Gemma 4](./gemma4), которая использует отдельные башни кодировщиков, Gemma 4 12B Unified напрямую проецирует исходные входные данные в пространство эмбеддингов языковой модели с помощью легких линейных конвейеров. Это приводит к более простой архитектуре при сохранении высокого качества мультимодальной работы. Ключевые отличия от стандартной Gemma 4: - **Без башни зрения**: Сырые пиксельные патчи напрямую проецируются в пространство LM через конвейер `Dense + LayerNorm` с факторизованными 2D позиционными эмбеддингами, заменяя энкодер зрения. - **Башня без аудио**: необработанные выборки волновой формы с частотой 16 кГц разбиваются на кадры фиксированной длины и проецируются через простой конвейер `RMSNorm → Linear`, заменяя кодировщик на основе мел-спектрограммы и Conformer. - **Общий мультимодальный конвейер**: и для изображений, и для аудио используется один и тот же `Gemma4UnifiedMultimodalEmbedder` (RMSNorm → Linear) для финальной проекции в пространство скрытых состояний текста. Оригинальные чекпоинты Gemma 4 12B Unified можно найти в релизе [Gemma 4](https://huggingface.co/collections/google/gemma-4). ### Пайплайн компьютерного зрения без энкодера Ключевое архитектурное отличие от стандартной Gemma 4 — удаление башни визуального энкодера. Вместо этого Gemma 4 12B Unified обрабатывает изображения через легковесный конвейер: 1. **Разбиение на патчи**: изображения разбиваются на патчи размером `16×16` пикселей 2. **Слияние патчей**: соседние патчи `3×3` объединяются в модельные патчи `48×48`, каждый из которых содержит `48² × 3 = 6,912` исходных пиксельных каналов 3. **Проекция**: `LayerNorm → Dense → LayerNorm` проецирует каждый объединённый патч в размерность эмбеддингов языковой модели 4. **Позиционное встраивание**: добавляются факторизованные 2D-позиционные встраивания (отдельные обучаемые встраивания для осей x и y, суммируемые вместе) 5. **Финальная нормализация**: применяется финальный `LayerNorm` 6. **Multimodal Embedder**: `RMSNorm → Linear` проецирует в размер скрытого состояния текста Как и стандартная Gemma 4, модель обрабатывает **изображения разного размера**, используя **фиксированное количество токенов**. Действуют те же ограничения: - Общее количество пикселей должно укладываться в бюджет патчей - Высота и ширина должны делиться нацело на **48** (= размер патча 16 × ядро пулинга 3) > [!IMPORTANT] > Gemma 4 12B Unified **не** применяет нормализацию по среднему/стандартному отклонению. Слой встраивания патчей самой модели выполняет финальное масштабирование внутри. Количество мягких токенов на изображение настраивается. Поддерживаемые варианты и значение по умолчанию (**280 мягких токенов**): | Мягкие токены | Патчи (до пулинга) | Прибл. область изображения | |:-----------:|:------------------------:|:-------------------:| | 70 | 630 | ~161 тыс. пикселей | | 140 | 1,260 | ~323 тыс. пикселей | | **280** | **2,520** | **~645 тыс. пикселей** | | 560 | 5,040 | ~1,3 млн пикселей | | 1,120 | 10,080 | ~2,6 млн пикселей | ### Аудиопайплайн без энкодера Аудиопайплайн упрощен аналогичным образом. Вместо вычисления мел-спектрограмм и их обработки через энкодер Conformer используются необработанные выборки волновой формы с частотой 16 кГц: 1. **Разбивается** на кадры фиксированной длины по 640 выборок (40 мс на кадр при 16 кГц) 2. **Проекция** выполняется напрямую через `RMSNorm → Linear` с использованием общего `Gemma4UnifiedMultimodalEmbedder` Поскольку **даунсемплинг отсутствует**, количество выходных soft-токенов равно количеству входных кадров: `ceil(num_samples / 640)`. ## Примеры использования Приведённый ниже пример показывает, как генерировать текст на основе изображения и аудиозаписи с помощью [Pipeline](/docs/transformers/main/ru/main_classes/pipelines#transformers.Pipeline) или класса [AutoModel](/docs/transformers/main/ru/model_doc/auto#transformers.AutoModel). ```python from transformers import pipeline pipe = pipeline( task="any-to-any", model="google/gemma-4-12B-it", ) image_messages = [ { "role": "user", "content": [ { "type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg" }, { "type": "text", "text": "What is shown in this image?" } ] } ] image_output = pipe(image_messages, return_full_text=False) print(image_output[0]["generated_text"]) audio_messages = [ { "role": "user", "content": [ {"type": "text", "text": "Please transcribe the following audio:"}, { "type": "audio", "url": "https://huggingface.co/datasets/eustlb/audio-samples/resolve/main/bcn_weather.mp3", }, ], } ] audio_output = pipe(audio_messages, return_full_text=False) print(audio_output[0]["generated_text"]) ``` ### Изображение ```python from transformers import AutoModelForMultimodalLM, AutoProcessor model = AutoModelForMultimodalLM.from_pretrained( "google/gemma-4-12B-it", device_map="auto" ) processor = AutoProcessor.from_pretrained( "google/gemma-4-12B-it" ) messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, {"type": "text", "text": "What is shown in this image?"}, ] }, ] inputs = processor.apply_chat_template( messages, tokenize=True, return_dict=True, return_tensors="pt", add_generation_prompt=True, ).to(model.device) input_len = inputs["input_ids"].shape[-1] output = model.generate(**inputs, max_new_tokens=50, cache_implementation="static") print(processor.decode(output[0][input_len:], skip_special_tokens=True)) ``` ### Аудио ```python from transformers import AutoModelForMultimodalLM, AutoProcessor messages = [ { "role": "user", "content": [ {"type": "text", "text": "Please transcribe the following audio:"}, { "type": "audio", "url": "https://huggingface.co/datasets/eustlb/audio-samples/resolve/main/bcn_weather.mp3", }, ], } ] model = AutoModelForMultimodalLM.from_pretrained( "google/gemma-4-12B-it", device_map="auto" ) processor = AutoProcessor.from_pretrained( "google/gemma-4-12B-it" ) inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt" ).to(model.device, dtype=model.dtype) input_len = inputs["input_ids"].shape[-1] outputs = model.generate(**inputs, max_new_tokens=200) print(processor.decode(outputs[0][input_len:], skip_special_tokens=False)) ``` ## Gemma4UnifiedAudioConfig[[transformers.Gemma4UnifiedAudioConfig]] #### transformers.Gemma4UnifiedAudioConfig[[transformers.Gemma4UnifiedAudioConfig]] ```python transformers.Gemma4UnifiedAudioConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_embed_dim: int = 640, rms_norm_eps: float = 1e-06, initializer_range: float = 0.02) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/configuration_gemma4_unified.py#L36) **Параметры:** audio_embed_dim (`int`, по умолчанию 640) : Размерность аудиопризнаков, подаваемых на вход мультимодальному эмбеддеру. Каждый аудиомягкий токен представляет собой сырой кадр волнового сигнала из `audio_samples_per_token` сэмплов, поэтому `audio_embed_dim == audio_samples_per_token`. rms_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации rms. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. Это класс конфигурации для хранения настроек модели Gemma4UnifiedModel. Он используется для создания модели Gemma4 Unified в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [google/gemma-4-12B-it](https://huggingface.co/google/gemma-4-12B-it) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). ## Gemma4UnifiedConfig[[transformers.Gemma4UnifiedConfig]] #### transformers.Gemma4UnifiedConfig[[transformers.Gemma4UnifiedConfig]] ```python transformers.Gemma4UnifiedConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, text_config: transformers.models.gemma4_unified.configuration_gemma4_unified.Gemma4UnifiedTextConfig | dict[str, typing.Any] | None = None, vision_config: transformers.models.gemma4_unified.configuration_gemma4_unified.Gemma4UnifiedVisionConfig | dict[str, typing.Any] | None = None, audio_config: transformers.models.gemma4_unified.configuration_gemma4_unified.Gemma4UnifiedAudioConfig | dict[str, typing.Any] | None = None, boi_token_id: int | None = 255999, eoi_token_id: int | None = 258882, image_token_id: int | None = 258880, video_token_id: int | None = 258884, boa_token_id: int | None = 256000, eoa_token_index: int | None = 258883, audio_token_id: int | None = 258881, initializer_range: float | None = 0.02, tie_word_embeddings: bool = True) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/configuration_gemma4_unified.py#L283) **Параметры:** text_config (`Union[~models.gemma4_unified.configuration_gemma4_unified.Gemma4UnifiedTextConfig, dict[str, Any]]`, *необязательный*) : Объект конфигурации или словарь текстового бэкбона. vision_config (`Union[~models.gemma4_unified.configuration_gemma4_unified.Gemma4UnifiedVisionConfig, dict[str, Any]]`, *необязательный*) : Объект конфигурации или словарь визуального бэкбона. audio_config (`Union[~models.gemma4_unified.configuration_gemma4_unified.Gemma4UnifiedAudioConfig, dict[str, Any]]`, *необязательный*) : Объект конфигурации или словарь аудио-бэкбона. boi_token_id (`int`, *optional*, по умолчанию 255999) : Индекс токена начала изображения, используемого для обрамления изображения-подсказки. eoi_token_id (`int`, *optional*, по умолчанию 258882) : Индекс токена конца изображения, используемого для обрамления изображения-подсказки. image_token_id (`int`, *необязательный*, по умолчанию `258880`) : Индекс токена изображения, используемый как плейсхолдер для входных изображений. video_token_id (`int`, *необязательный*, по умолчанию `258884`) : Индекс токена видео, используемый как плейсхолдер для входных видео. boa_token_id (`int`, *optional*, по умолчанию 256000) : Индекс токена начала аудио для обрамления аудиозапроса. eoa_token_index (`int`, *optional*, по умолчанию 258883) : Индекс токена конца аудио для обрамления аудиопромпта. audio_token_id (`int`, *необязательный*, по умолчанию `258881`) : Индекс аудио-токена, используемый как плейсхолдер для входного аудио. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. tie_word_embeddings (`bool`, *необязательный*, по умолчанию `True`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели. Это класс конфигурации для хранения настроек модели Gemma4UnifiedModel. Он используется для создания модели Gemma4 Unified в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [google/gemma-4-12B-it](https://huggingface.co/google/gemma-4-12B-it) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import ( >>> Gemma4UnifiedAudioConfig, >>> Gemma4UnifiedConfig, >>> Gemma4UnifiedForConditionalGeneration, >>> Gemma4UnifiedTextConfig, >>> Gemma4UnifiedVisionConfig, >>> ) >>> # Initializing a Gemma 4 Audio config. >>> audio_config = Gemma4UnifiedAudioConfig() >>> # Initializing a Gemma 4 Text config. >>> text_config = Gemma4UnifiedTextConfig() >>> # Initializing a Gemma 4 vision config. >>> vision_config = Gemma4UnifiedVisionConfig() >>> # Initializing a Gemma 4 config similar to google/gemma-4-e2b-it >>> configuration = Gemma4UnifiedConfig(text_config, vision_config, audio_config) >>> # Initializing a model from the google/gemma-4-e2b-it configuration >>> model = Gemma4UnifiedForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Gemma4UnifiedTextConfig[[transformers.Gemma4UnifiedTextConfig]] #### transformers.Gemma4UnifiedTextConfig[[transformers.Gemma4UnifiedTextConfig]] ```python transformers.Gemma4UnifiedTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 262144, hidden_size: int = 2304, intermediate_size: int = 9216, num_hidden_layers: int = 30, num_attention_heads: int = 8, num_key_value_heads: int = 4, head_dim: int = 256, hidden_activation: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 262144, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, pad_token_id: int | None = 0, eos_token_id: int | list[int] | None = 1, bos_token_id: int | None = 2, tie_word_embeddings: bool = True, rope_parameters: dict | None = None, attention_bias: bool = False, attention_dropout: int | float | None = 0.0, sliding_window: int = 1024, layer_types: list[str] | None = None, final_logit_softcapping: float | None = None, use_bidirectional_attention: typing.Optional[typing.Literal['all', 'vision']] = 'vision', attention_k_eq_v: bool = False, num_kv_shared_layers: int = 0, use_double_wide_mlp: bool = False) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/configuration_gemma4_unified.py#L88) **Параметры:** vocab_size (`int`, *необязательный*, по умолчанию `262144`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`. hidden_size (`int`, *необязательный*, по умолчанию `2304`) : Размерность скрытых представлений. intermediate_size (`int`, *необязательный*, по умолчанию `9216`) : Размерность представлений MLP. num_hidden_layers (`int`, *необязательный*, по умолчанию `30`) : Количество скрытых слоев в декодере Transformer. num_attention_heads (`int`, *необязательный*, по умолчанию `8`) : Количество головок внимания для каждого слоя внимания в декодере Transformer. num_key_value_heads (`int`, *optional*, по умолчанию `4`) : Это количество ключевых и value-голов, которое следует использовать для реализации Grouped Query Attention. Если `num_key_value_heads=num_attention_heads`, модель будет использовать Multi Head Attention (MHA), если `num_key_value_heads=1` — Multi Query Attention (MQA), в противном случае используется GQA. При конвертации multi-head checkpoint в GQA checkpoint каждая группа ключевых и value-голов должна быть построена путем усреднения (meanpooling) всех исходных голов в этой группе. Подробнее см. в [этой статье](https://huggingface.co/papers/2305.13245). Если значение не указано, по умолчанию используется `num_attention_heads`. head_dim (`int`, *необязательный*, по умолчанию `256`) : Размер измерения головы внимания. Если None, по умолчанию будет hidden_size // num_attention_heads hidden_activation (`str`, *необязательный*, по умолчанию `gelu_pytorch_tanh`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д. max_position_embeddings (`int`, *необязательный*, по умолчанию `262144`) : Максимальная длина последовательности, с которой может использоваться данная модель. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. rms_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации rms. use_cache (`bool`, *необязательный*, по умолчанию `True`) : Следует ли модели возвращать последние значения внимания key/values (не используется во всех моделях). Актуально только при `config.is_decoder=True` или если модель является генеративной моделью только с декодером. pad_token_id (`int`, *необязательный*, по умолчанию `0`) : Идентификатор токена, используемый для выравнивания в словаре. eos_token_id (`Union[int, list[int]]`, *необязательный*, по умолчанию `1`) : Идентификатор токена, используемого для обозначения конца потока в словаре. bos_token_id (`int`, *необязательный*, по умолчанию `2`) : Идентификатор токена, используемый для обозначения начала потока в словаре. tie_word_embeddings (`bool`, *необязательный*, по умолчанию `True`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели. rope_parameters (`dict`, *необязательный*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`. attention_bias (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли смещение (bias) в слоях проекции запроса, ключа, значения и вывода при само-внимании. attention_dropout (`Union[int, float]`, *необязательный*, по умолчанию `0.0`) : Доля dropout для вероятностей внимания. sliding_window (`int`, *optional*, по умолчанию `1024`) : Размер окна скользящего внимания. Если `None`, скользящее окно не применяется. layer_types (`list[str]`, *необязательный*) : Список, который явно сопоставляет каждый индекс слоя с его типом. Если не указан, будет автоматически сгенерирован на основе значений конфигурации. final_logit_softcapping (`float`, *optional*) : Значение мягкого ограничения, применяемое к финальным логитам перед вычислением распределения вероятностей. Логиты масштабируются по формуле `tanh(logit / cap) * cap`. use_bidirectional_attention (`str`, *необязательный*) : Управляет поведением двунаправленного внимания. При значении `"vision"` визуальные токены используют двунаправленное внимание, а текстовые — каузальное. При значении `"all"` все токены используют двунаправленное внимание. attention_k_eq_v (`bool`, по умолчанию `False`) : Используют ли ключи и значения одни и те же веса проекции. Если `True`, выход проекции ключей переиспользуется как проекция значений. num_kv_shared_layers (`int`, по умолчанию 0) : Количество последовательных слоев декодера, которые используют одни и те же проекции ключей и значений. Значение 0 означает отсутствие общего использования (каждый слой имеет независимые проекции KV). use_double_wide_mlp (`bool`, по умолчанию `False`) : Использовать ли MLP двойной ширины со слиянием проекций gate и up. Это класс конфигурации для хранения настроек модели Gemma4UnifiedModel. Он используется для создания модели Gemma4 Unified в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [google/gemma-4-12B-it](https://huggingface.co/google/gemma-4-12B-it) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). ## Gemma4UnifiedVisionConfig[[transformers.Gemma4UnifiedVisionConfig]] #### transformers.Gemma4UnifiedVisionConfig[[transformers.Gemma4UnifiedVisionConfig]] ```python transformers.Gemma4UnifiedVisionConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, patch_size: int = 16, pooling_kernel_size: int = 3, mm_embed_dim: int = 3840, mm_posemb_size: int = 1120, rms_norm_eps: float = 1e-06, output_proj_dims: int = 3840, initializer_range: float = 0.02) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/configuration_gemma4_unified.py#L238) **Параметры:** patch_size (`int`, по умолчанию 16) : Размер патчей изображения в пикселях. Сначала изображения разбиваются на патчи с этим разрешением. pooling_kernel_size (`int`, по умолчанию 3) : Размер ядра для слияния патчей в модельные патчи. Слияние 3×3 формирует модельные патчи размером `patch_size * pooling_kernel_size = 48` пикселей. mm_embed_dim (`int`, по умолчанию 3840) : Скрытое измерение для Dense-проекции встраивания патчей (совпадает с `hidden_size` текстовой модели). mm_posemb_size (`int`, по умолчанию 1120) : Размер таблицы факторизованного 2D позиционного эмбеддинга. Таблица имеет форму `(mm_posemb_size, 2, mm_embed_dim)` и используется для поиска по каждой оси. rms_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации rms. output_proj_dims (`int`, по умолчанию 3840) : Размер выходного слоя проекции мультимодального эмбеддера (соответствует размеру скрытого слоя текста). Это значение устанавливается в рантайме через text_config.hidden_size составной конфигурации. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. Это класс конфигурации для хранения настроек модели Gemma4UnifiedModel. Он используется для создания модели Gemma4 Unified в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [google/gemma-4-12B-it](https://huggingface.co/google/gemma-4-12B-it) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). ## Gemma4UnifiedAudioFeatureExtractor[[transformers.Gemma4UnifiedAudioFeatureExtractor]] #### transformers.Gemma4UnifiedAudioFeatureExtractor[[transformers.Gemma4UnifiedAudioFeatureExtractor]] ```python transformers.Gemma4UnifiedAudioFeatureExtractor(feature_size: int = 640, sampling_rate: int = 16000, padding_value: float = 0.0, audio_samples_per_token: int = 640, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/feature_extraction_gemma4_unified.py#L30) **Параметры:** feature_size (`int`, *необязательный*, по умолчанию 640) : Размерность признаков извлечённых признаков (образцов на токен). sampling_rate (`int`, *optional*, по умолчанию 16000) : Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц). padding_value (`float`, *необязательный*, по умолчанию 0.0) : Значение, используемое для дополнения аудио. audio_samples_per_token (`int`, *optional*, по умолчанию 640) : Количество необработанных аудиоданных на выходной токен. При частоте 16 кГц 640 сэмплов = 40 мс. Извлекатель аудиопризнаков без энкодера, который разбивает исходную звуковую волну на кадры. В отличие от стандартного аудио-экстрактора признаков Gemma4, который вычисляет мел-спектрограммы, эта унифицированная версия просто разбивает исходный аудиосигнал с частотой дискретизации 16 кГц на кадры фиксированной длины по `audio_samples_per_token` сэмплов каждый. Каждый кадр становится одним аудио-мягким токеном, в качестве признаков которого используются сэмплы исходной звуковой волны. #### __call__[[transformers.Gemma4UnifiedAudioFeatureExtractor.__call__]] ```python __call__(raw_speech: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]], padding: bool | str = 'longest', max_length: int | None = None, truncation: bool = True, return_tensors: str | transformers.utils.generic.TensorType | None = None, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/feature_extraction_gemma4_unified.py#L95) **Параметры:** raw_speech : необработанные аудиосигналы (волны) для обработки. padding (`str`, *необязательный*, по умолчанию `"longest"`) : Стратегия выравнивания для батчей с разной длиной. max_length (`int`, *необязательный*) : Максимальное количество токенов, генерируемых на один аудиофайл. truncation (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли обрезать аудио, превышающее `max_length` токенов. return_tensors (`str`, *необязательный*) : Тип возвращаемых тензоров. Разбейте сырые аудиосигналы на кадры фиксированной длины для унифицированной модели. ## Gemma4UnifiedImageProcessor[[transformers.Gemma4UnifiedImageProcessor]] #### transformers.Gemma4UnifiedImageProcessor[[transformers.Gemma4UnifiedImageProcessor]] ```python transformers.Gemma4UnifiedImageProcessor(**kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/image_processing_gemma4_unified.py#L214) **Параметры:** do_convert_rgb (`bool`, *kwargs*, *необязательный*, по умолчанию `True`) : Преобразовать ли изображение в RGB. do_resize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли изменять размер изображения. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, по умолчанию `None`) : Описывает максимальные размеры входных данных для модели. default_to_square (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Использовать ли квадратное изображение по умолчанию при изменении размера, если size является int. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, по умолчанию `3`) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Влияет только в том случае, если `do_resize` установлено в `True`. do_rescale (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли масштабировать изображение. rescale_factor (`float`, *kwargs*, *optional*, по умолчанию `0.00392156862745098`) : Коэффициент масштабирования для изменения масштаба изображения, если `do_rescale` установлен в `True`. do_normalize (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Нужно ли нормализовать изображение. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.0, 0.0, 0.0]`) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[1.0, 1.0, 1.0]`) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`. do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер в формате `{"height": int, "width" int}`, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при `do_pad=True.` do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров. disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора. patch_size (`int`, *kwargs*, *optional*) : Размер каждого патча изображения учителя в пикселях (до слияния). max_soft_tokens (`int`, *kwargs*, *optional*) : Максимальное количество мягких (визуальных) токенов на изображение после слияния патчей. Должно быть одним из {70, 140, 280, 560, 1120}. pooling_kernel_size (`int`, *kwargs*, *optional*) : Размер ядра для слияния патчей учителя в патчи модели. Создаёт единый процессор изображений Gemma4. ## Gemma4UnifiedVideoProcessor[[transformers.Gemma4UnifiedVideoProcessor]] #### transformers.Gemma4UnifiedVideoProcessor[[transformers.Gemma4UnifiedVideoProcessor]] ```python transformers.Gemma4UnifiedVideoProcessor(**kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/video_processing_gemma4_unified.py#L216) **Параметры:** do_convert_rgb (`bool`, *kwargs*, *необязательный*, по умолчанию `True`) : Преобразовать ли изображение в RGB. do_resize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли изменять размер изображения. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, по умолчанию `None`) : Описывает максимальные размеры входных данных для модели. default_to_square (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Использовать ли квадратное изображение по умолчанию при изменении размера, если size является int. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, по умолчанию `3`) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Влияет только в том случае, если `do_resize` установлено в `True`. do_rescale (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли масштабировать изображение. rescale_factor (`float`, *kwargs*, *optional*, по умолчанию `0.00392156862745098`) : Коэффициент масштабирования для изменения масштаба изображения, если `do_rescale` установлен в `True`. do_normalize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли нормализовать изображение. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.0, 0.0, 0.0]`) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[1.0, 1.0, 1.0]`) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`. do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке. do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео. do_sample_frames (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли выбирать кадры из видео перед обработкой или обрабатывать всё видео целиком. video_metadata (`Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None]`, *kwargs*) : Метаданные видео, содержащие информацию о общей длительности, fps и общем количестве кадров. Будут использоваться для выборки кадров из видео или вычисления временных меток. Не передавайте метаданные, если вы не пытаетесь декодировать видео вручную перед обработкой fps (`Annotated[int | float | None, None]`, *kwargs*) : Целевое количество кадров для выборки в секунду при `do_sample_frames=True`. num_frames (`Annotated[int | None, None]`, *kwargs*, по умолчанию `32`) : Максимальное количество кадров для выборки при `do_sample_frames=True`. return_metadata (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Нужно ли возвращать метаданные видео. Метаданные видео — это объект, содержащий информацию о длительности видео, частоте кадров, бэкенде декодирования и т. д. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения: - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy. patch_size (`int`, *kwargs*, *optional*) : Размер каждого патча изображения в пикселях. max_soft_tokens (`int`, *kwargs*, *optional*) : Максимальное количество мягких (визуальных) токенов на кадр видео. Должно быть одним из {70, 140, 280, 560, 1120}. pooling_kernel_size (`int`, *kwargs*, *optional*) : Размер ядра пространственного пулинга, применяемого после патчификации. - ****kwargs** ([ProcessingKwargs](/docs/transformers/main/ru/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict. Создаёт видеопроцессор Gemma4UnifiedVideoProcessor. #### preprocess[[transformers.Gemma4UnifiedVideoProcessor.preprocess]] ```python preprocess(videos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]]], **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/video_processing_gemma4_unified.py#L275) **Параметры:** videos (`Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]]`) : Видео для предобработки. Ожидается одно видео или батч видео со значениями пикселей в диапазоне от 0 до 255. Если передаются видео со значениями пикселей от 0 до 1, установите `do_rescale=False`. do_convert_rgb (`bool`, *kwargs*, *необязательный*) : Преобразовать ли изображение в RGB. do_resize (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли изменить размер изображения. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Описывает максимальные размеры входных данных для модели. default_to_square (`bool`, *kwargs*, *необязательный*) : Указывает, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задан как int. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только при установке `do_resize` в `True`. do_rescale (`bool`, *kwargs*, *необязательный*) : Нужно ли масштабировать изображение. rescale_factor (`float`, *kwargs*, *optional*) : Коэффициент масштабирования для изменения размера изображения, если `do_rescale` установлен в `True`. do_normalize (`bool`, *kwargs*, *необязательный*) : Нужно ли нормализовать изображение. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`. do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке. do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео. do_sample_frames (`bool`, *kwargs*, *optional*) : Нужно ли выбирать кадры из видео перед обработкой или обрабатывать всё видео целиком. video_metadata (`Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None]`, *kwargs*) : Метаданные видео, содержащие информацию о общей длительности, fps и общем количестве кадров. Будут использоваться для выборки кадров из видео или вычисления временных меток. Не передавайте метаданные, если вы не пытаетесь декодировать видео вручную перед обработкой fps (`Annotated[int | float | None, None]`, *kwargs*) : Целевое количество кадров для выборки в секунду при `do_sample_frames=True`. num_frames (`Annotated[int | None, None]`, *kwargs*) : Максимальное количество кадров для выборки при `do_sample_frames=True`. return_metadata (`bool`, *kwargs*, *optional*) : Нужно ли возвращать метаданные видео. Метаданные видео — это объект, содержащий информацию о длительности видео, частоте кадров, бэкенде декодирования и т. д. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров. patch_size (`int`, *kwargs*, *optional*) : Размер каждого патча изображения в пикселях. max_soft_tokens (`int`, *kwargs*, *optional*) : Максимальное количество мягких (визуальных) токенов на кадр видео. Должно быть одним из {70, 140, 280, 560, 1120}. pooling_kernel_size (`int`, *kwargs*, *optional*) : Размер ядра пространственного пулинга, применяемого после патчификации. **Возвращает:** `~image_processing_base.BatchFeature` - **data** (`dict`) — Словарь списков/массивов/тензоров, возвращаемый методом __call__ ('pixel_values' и т. д.). - **tensor_type** (`Union[None, str, TensorType]`, *необязательный*) -- Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy. ## Gemma4UnifiedProcessor[[transformers.Gemma4UnifiedProcessor]] #### transformers.Gemma4UnifiedProcessor[[transformers.Gemma4UnifiedProcessor]] ```python transformers.Gemma4UnifiedProcessor(feature_extractor, image_processor, tokenizer, video_processor, chat_template = None, image_seq_length: int = 280, audio_seq_length: int = 750, audio_ms_per_token: int = 40, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/processing_gemma4_unified.py#L107) **Параметры:** feature_extractor (*Gemma4UnifiedAudioFeatureExtractor*) : Извлекатель признаков является обязательным входом. image_processor (*Gemma4UnifiedImageProcessor*) : Процессор изображений является обязательным входным параметром. tokenizer (*tokenizer_class*) : Токенизатор является обязательным входным параметром. video_processor (*Gemma4UnifiedVideoProcessor*) : Процессор видео является обязательным входным параметром. chat_template (*str*) : Шаблон Jinja для преобразования списков сообщений в чате в строку, пригодную для токенизации. image_seq_length (*int*, *optional*, по умолчанию 280) : Количество мягких токенов на изображение, используемых для расширения плейсхолдера. audio_seq_length (*int*, *optional*, по умолчанию 750) : Максимальное количество аудио-мягких токенов на сегмент аудио. Служит верхним пределом при вычислении динамического количества аудио-токенов. audio_ms_per_token (*int*, *optional*, по умолчанию 40) : Миллисекунды аудио на один выходной soft-токен. Используется для динамического вычисления количества аудио-заполняющих токенов как `ceil(duration_ms / audio_ms_per_token)`. Значение по умолчанию 40 обусловлено 4-кратным сокращением времени в свёртке SSCP для кадров длительностью 10 мс. Создаёт Gemma4UnifiedProcessor, который объединяет экстрактор признаков, процессор изображений, токенизатор и процессор видео в единый процессор. [*Gemma4UnifiedProcessor*] предоставляет все возможности [*Gemma4UnifiedAudioFeatureExtractor*], [*Gemma4UnifiedImageProcessor*], [*tokenizer_class*] и [*Gemma4UnifiedVideoProcessor*]. Подробнее см. в [*~Gemma4UnifiedAudioFeatureExtractor*], [*~Gemma4UnifiedImageProcessor*], [*~tokenizer_class*] и [*~Gemma4UnifiedVideoProcessor*]. #### __call__[[transformers.Gemma4UnifiedProcessor.__call__]] ```python __call__(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, text: str | list[str] | list[list[str]] | None = None, videos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = None, audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/processing_utils.py#L659) **Параметры:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`, *необязательный*) : Изображение для предварительной обработки. Ожидается одно изображение или пакет изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите `do_rescale=False`. text (`Union[str, list[str], list[list[str]]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если вы передаёте предтокенизированный вход, установите `is_split_into_words=True`, чтобы избежать неоднозначности с батчированными входами. videos (`Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]]`, *optional*) : Видео для предобработки. Ожидается одно видео или батч видео со значениями пикселей в диапазоне от 0 до 255. Если передаются видео со значениями пикселей от 0 до 1, установите `do_rescale=False`. audio (`Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]`, *необязательный*) : Аудио или пакет аудио для подготовки. Каждое аудио может быть массивом NumPy или тензором PyTorch. В случае массива NumPy/тензора PyTorch каждое аудио должно иметь форму (C, T), где C — количество каналов, а T — длина выборки аудио. return_tensors (`str` или [TensorType](/docs/transformers/main/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения: - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy. - ****kwargs** ([ProcessingKwargs](/docs/transformers/main/ru/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict. ## Gemma4UnifiedPreTrainedModel[[transformers.Gemma4UnifiedPreTrainedModel]] #### transformers.Gemma4UnifiedPreTrainedModel[[transformers.Gemma4UnifiedPreTrainedModel]] ```python transformers.Gemma4UnifiedPreTrainedModel(config: PreTrainedConfig, *inputs, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L527) **Параметры:** config ([PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Gemma4UnifiedPreTrainedModel.forward]] ```python forward(*args, **kwargs) ``` Мок-значение для пути с точками (например, `torch.float32`): цепочки доступа к атрибутам и вызовы работают как пропускные декораторы, `repr` возвращает путь с точками, а использование в качестве базового класса подменяет его обычным базовым классом `type` (PEP 560 `__mro_entries__`), благодаря чему реальные дочерние классы сохраняют обычный метакласс, а `inspect.signature` читает их реальный `__init__`, а не мок. ## Gemma4UnifiedModel[[transformers.Gemma4UnifiedModel]] #### transformers.Gemma4UnifiedModel[[transformers.Gemma4UnifiedModel]] ```python transformers.Gemma4UnifiedModel(config: Gemma4UnifiedConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L863) **Параметры:** config ([Gemma4UnifiedConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Базовая модель Gemma 4, включающая визуальный бэкбон, аудиобэкбон и языковую модель без головы для моделирования языка. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Gemma4UnifiedModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, input_features: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, input_features_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, mm_token_type_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, image_position_ids: typing.Optional[torch.LongTensor] = None, video_position_ids: typing.Optional[torch.LongTensor] = None, num_frames_per_video: typing.Optional[torch.LongTensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L964) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`, *необязательно*) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [Gemma4UnifiedImageProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedImageProcessor). Подробности см. в [Gemma4UnifiedImageProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) ([Gemma4UnifiedProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedProcessor) использует [Gemma4UnifiedImageProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedImageProcessor) для обработки изображений). pixel_values_videos (`torch.Tensor` формы `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *необязательный*) : Тензоры, соответствующие входному видео. Значения пикселей для видео можно получить с помощью [Gemma4UnifiedVideoProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedVideoProcessor). Подробности см. в [Gemma4UnifiedVideoProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) ([Gemma4UnifiedProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedProcessor) использует [Gemma4UnifiedVideoProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedVideoProcessor) для обработки видео). input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Gemma4UnifiedAudioFeatureExtractor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedAudioFeatureExtractor). Подробности см. в [Gemma4UnifiedAudioFeatureExtractor.__call__()](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedAudioFeatureExtractor.__call__) ([Gemma4UnifiedProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedProcessor) использует [Gemma4UnifiedAudioFeatureExtractor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedAudioFeatureExtractor) для обработки аудио). attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) input_features_mask (`torch.Tensor` формы `(num_images, seq_length)`) : Маска внимания для входного аудио. position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. mm_token_type_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Индексы токенов входной последовательности, соответствующие каждой модальности. Например, текст (0), изображение (1), видео (2). Идентификаторы типов мультимодальных токенов можно получить с помощью [AutoProcessor](/docs/transformers/main/ru/model_doc/auto#transformers.AutoProcessor). Подробности см. в [ProcessorMixin.__call__()](/docs/transformers/main/ru/main_classes/processors#transformers.ProcessorMixin.__call__). inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). image_position_ids (`torch.LongTensor` формы `(batch_size, max_patches, 2)`, *необязательный*) : координаты позиций 2D-патчей от обработчика изображений, где `(-1, -1)` обозначает заполнение. Передаётся в визуальный энкодер для вычисления позиционных эмбеддингов. video_position_ids (`torch.LongTensor` формы `(total_num_frames, max_patches, 2)`, *необязательный*) : координаты позиций 2D-патчей от видео-процессора, где `(-1, -1)` обозначает заполнение. Передаётся в визуальный энкодер для вычисления позиционных эмбеддингов. num_frames_per_video (`torch.LongTensor` формы `(num_videos,)`, *необязательный*) : Количество кадров, принадлежащих каждому видео. Обязательный параметр при передаче `pixel_values_videos`, так как кадры всех видео конкатенируются вдоль одной оси. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *необязательный*) : Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные выходные данные для данной модальности. Каждый закодированный выход представляет собой кортеж, состоящий из (`pooler_output`, *необязательный*: `last_hidden_states`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `pooler_output` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) — это последовательность мультимодальных признаков энкодера, объединенных в текстовые эмбеддинги. **Возвращает:** `Gemma4UnifiedModelOutputWithPast` или `tuple(torch.Tensor)` Объект `Gemma4UnifiedModelOutputWithPast` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Gemma4UnifiedConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedConfig)) и входных данных. Метод forward модели [Gemma4UnifiedModel](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedModel) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. Если используется `past_key_values`, выводится только последнее скрытое состояние последовательностей формы `(batch_size, 1, hidden_size)`. - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. - **image_hidden_states** (`torch.Tensor`, *необязательный*) -- `torch.Tensor` размера `(batch_size, num_images, sequence_length, hidden_size)`. image_hidden_states модели, полученные визуальным энкодером после проекции последнего скрытого состояния. - **audio_hidden_states** (`torch.Tensor`, *необязательный*) -- `torch.Tensor` размера `(batch_size, num_images, sequence_length, hidden_size)`. audio_hidden_states модели, полученные аудио-энкодером после проекции последнего скрытого состояния. - **shared_kv_states** (`dict`, *необязательный*) -- Словарь, сопоставляющий строки с типами слоёв кортежам тензоров (key_states, value_states). Используется для передачи общих состояний KV между слоями при общем использовании KV. ## Gemma4UnifiedTextModel[[transformers.Gemma4UnifiedTextModel]] #### transformers.Gemma4UnifiedTextModel[[transformers.Gemma4UnifiedTextModel]] ```python transformers.Gemma4UnifiedTextModel(config: Gemma4UnifiedTextConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L560) **Параметры:** config ([Gemma4UnifiedTextConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedTextConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Базовая унифицированная языковая модель Gemma 4 без головы моделирования языка. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Gemma4UnifiedTextModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L588) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). **Возвращает:** `Gemma4UnifiedTextModelOutputWithPast` или `tuple(torch.Tensor)` Объект `Gemma4UnifiedTextModelOutputWithPast` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Gemma4UnifiedConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedConfig)) и входных данных. Метод forward модели [Gemma4UnifiedTextModel](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedTextModel) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **shared_kv_states** (`dict`, *необязательный*) -- Словарь, сопоставляющий строки с типами слоёв кортежам тензоров (key_states, value_states). Используется для передачи общих состояний KV между слоями при общем использовании KV. ## Gemma4UnifiedForCausalLM[[transformers.Gemma4UnifiedForCausalLM]] #### transformers.Gemma4UnifiedForCausalLM[[transformers.Gemma4UnifiedForCausalLM]] ```python transformers.Gemma4UnifiedForCausalLM(config: Gemma4UnifiedTextConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L664) **Параметры:** config ([Gemma4UnifiedTextConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedTextConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Базовая языковая модель Gemma 4 с головой для моделирования языка. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Gemma4UnifiedForCausalLM.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L681) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[0, ..., config.vocab_size]` или равняться -100 (см. docstring `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). logits_to_keep (`Union[int, torch.Tensor]`, *необязательный*, по умолчанию `0`) : Если передано значение типа `int`, вычисляются logits для последних `logits_to_keep` токенов. Если передано `0`, logits вычисляются для всех `input_ids` (специальный случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа `torch.Tensor`, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (одно измерение для batch и длины последовательности). **Возвращает:** `Gemma4UnifiedCausalLMOutputWithPast` или `tuple(torch.Tensor)` Объект `Gemma4UnifiedCausalLMOutputWithPast` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Gemma4UnifiedConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedConfig)) и входных данных. Метод forward класса [Gemma4UnifiedForCausalLM](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedForCausalLM) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена). - **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.text_config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax). - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple[torch.Tensor]`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. - **image_hidden_states** (`torch.Tensor`, *необязательный*) -- `torch.Tensor` размера `(batch_size, num_images, sequence_length, hidden_size)`. image_hidden_states модели, полученные визуальным энкодером после проекции последнего скрытого состояния. - **audio_hidden_states** (`torch.Tensor`, *необязательный*) -- `torch.Tensor` размера `(batch_size, num_images, sequence_length, hidden_size)`. audio_hidden_states модели, полученные аудио-энкодером после проекции последнего скрытого состояния. - **shared_kv_states** (`dict`, *необязательный*) -- Словарь, сопоставляющий строки с типами слоёв кортежам тензоров (key_states, value_states). Используется для передачи общих состояний KV между слоями при общем использовании KV. Пример: ```python >>> from transformers import AutoTokenizer, Gemma4UnifiedForCausalLM >>> model = Gemma4UnifiedForCausalLM.from_pretrained("google/gemma-4-12B-it") >>> tokenizer = AutoTokenizer.from_pretrained("google/gemma-4-12B-it") >>> prompt = "What is your favorite condiment?" >>> inputs = tokenizer(prompt, return_tensors="pt") >>> # Generate >>> generate_ids = model.generate(inputs.input_ids, max_length=30) >>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] "What is your favorite condiment?" ``` ## Gemma4UnifiedForConditionalGeneration[[transformers.Gemma4UnifiedForConditionalGeneration]] #### transformers.Gemma4UnifiedForConditionalGeneration[[transformers.Gemma4UnifiedForConditionalGeneration]] ```python transformers.Gemma4UnifiedForConditionalGeneration(config: Gemma4UnifiedConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L1274) **Параметры:** config ([Gemma4UnifiedConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Базовая модель Gemma 4, включающая визуальный бэкбон, аудиобэкбон, языковую модель и головку для моделирования языка. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Gemma4UnifiedForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, input_features: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, input_features_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, image_position_ids: typing.Optional[torch.LongTensor] = None, video_position_ids: typing.Optional[torch.LongTensor] = None, num_frames_per_video: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, mm_token_type_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/gemma4_unified/modeling_gemma4_unified.py#L1300) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`, *необязательно*) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [Gemma4UnifiedImageProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedImageProcessor). Подробности см. в [Gemma4UnifiedImageProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) ([Gemma4UnifiedProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedProcessor) использует [Gemma4UnifiedImageProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedImageProcessor) для обработки изображений). pixel_values_videos (`torch.Tensor` формы `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *необязательный*) : Тензоры, соответствующие входному видео. Значения пикселей для видео можно получить с помощью [Gemma4UnifiedVideoProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedVideoProcessor). Подробности см. в [Gemma4UnifiedVideoProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) ([Gemma4UnifiedProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedProcessor) использует [Gemma4UnifiedVideoProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedVideoProcessor) для обработки видео). input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Gemma4UnifiedAudioFeatureExtractor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedAudioFeatureExtractor). Подробности см. в [Gemma4UnifiedAudioFeatureExtractor.__call__()](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedAudioFeatureExtractor.__call__) ([Gemma4UnifiedProcessor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedProcessor) использует [Gemma4UnifiedAudioFeatureExtractor](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedAudioFeatureExtractor) для обработки аудио). attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) input_features_mask (`torch.Tensor` формы `(num_images, seq_length)`) : Маска внимания для входного аудио. position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) image_position_ids (`torch.LongTensor` формы `(batch_size, max_patches, 2)`, *необязательный*) : координаты позиций 2D-патчей от обработчика изображений, где `(-1, -1)` обозначает заполнение. Передаётся в визуальный энкодер для вычисления позиционных эмбеддингов. video_position_ids (`torch.LongTensor` формы `(total_num_frames, max_patches, 2)`, *необязательный*) : координаты позиций 2D-патчей от видео-процессора, где `(-1, -1)` обозначает заполнение. Передаётся в визуальный энкодер для вычисления позиционных эмбеддингов. num_frames_per_video (`torch.LongTensor` формы `(num_videos,)`, *необязательный*) : Количество кадров, принадлежащих каждому видео. Обязательный параметр при передаче `pixel_values_videos`, так как кадры всех видео конкатенируются вдоль одной оси. past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. mm_token_type_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Индексы токенов входной последовательности, соответствующие каждой модальности. Например, текст (0), изображение (1), видео (2). Идентификаторы типов мультимодальных токенов можно получить с помощью [AutoProcessor](/docs/transformers/main/ru/model_doc/auto#transformers.AutoProcessor). Подробности см. в [ProcessorMixin.__call__()](/docs/transformers/main/ru/main_classes/processors#transformers.ProcessorMixin.__call__). inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[0, ..., config.vocab_size]` или равняться -100 (см. docstring `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). logits_to_keep (`Union[int, torch.Tensor]`, *необязательный*, по умолчанию `0`) : Если передано значение типа `int`, вычисляются logits для последних `logits_to_keep` токенов. Если передано `0`, logits вычисляются для всех `input_ids` (специальный случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа `torch.Tensor`, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (одно измерение для batch и длины последовательности). mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *необязательный*) : Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные выходные данные для данной модальности. Каждый закодированный выход представляет собой кортеж, состоящий из (`pooler_output`, *необязательный*: `last_hidden_states`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `pooler_output` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) — это последовательность мультимодальных признаков энкодера, объединенных в текстовые эмбеддинги. **Возвращает:** `Gemma4UnifiedCausalLMOutputWithPast` или `tuple(torch.Tensor)` Объект `Gemma4UnifiedCausalLMOutputWithPast` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Gemma4UnifiedConfig](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedConfig)) и входных данных. Метод forward класса [Gemma4UnifiedForConditionalGeneration](/docs/transformers/main/ru/model_doc/gemma4_unified#transformers.Gemma4UnifiedForConditionalGeneration) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена). - **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.text_config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax). - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple[torch.Tensor]`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. - **image_hidden_states** (`torch.Tensor`, *необязательный*) -- `torch.Tensor` размера `(batch_size, num_images, sequence_length, hidden_size)`. image_hidden_states модели, полученные визуальным энкодером после проекции последнего скрытого состояния. - **audio_hidden_states** (`torch.Tensor`, *необязательный*) -- `torch.Tensor` размера `(batch_size, num_images, sequence_length, hidden_size)`. audio_hidden_states модели, полученные аудио-энкодером после проекции последнего скрытого состояния. - **shared_kv_states** (`dict`, *необязательный*) -- Словарь, сопоставляющий строки с типами слоёв кортежам тензоров (key_states, value_states). Используется для передачи общих состояний KV между слоями при общем использовании KV. Пример: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Gemma4UnifiedForConditionalGeneration >>> model = Gemma4UnifiedForConditionalGeneration.from_pretrained("google/gemma-4-12B-it") >>> processor = AutoProcessor.from_pretrained("google/gemma-4-12B-it") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ```