# Использование GGUF с LM Studio

![cover](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/gguf-lmstudio-coverimage.png)

[LM Studio](https://lmstudio.ai) — это настольное приложение для экспериментов и разработки с локальными моделями ИИ прямо на вашем компьютере. LM Studio построена на базе llama.cpp и работает на Mac (Apple Silicon), Windows и Linux!

## Получение моделей из Hugging Face в LM Studio

Сначала включите LM Studio в разделе [Local Apps Settings](https://huggingface.co/settings/local-apps) в Hugging Face.

  <img
    class="block"
    src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/gguf-lmstudio-hfsettings.gif"
  />

### Вариант 1: используйте кнопку Use this model прямо на Hugging Face

Для любой LLM в формате GGUF или MLX нажмите на выпадающий список «Use this model» и выберите LM Studio. Если у вас уже установлен LM Studio, модель запустится в нём напрямую; в противном случае вам будет предложен вариант загрузки.

  <img
    class="block"
    src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/gguf-lmstudio-modelcard.gif"
  />

Чтобы попробовать LM Studio с популярной моделью, найдите их здесь: [https://huggingface.co/models?library=gguf\&sort=trending](https://huggingface.co/models?library=gguf&sort=trending)

### Вариант 2: Используйте встроенный загрузчик LM Studio

Откройте приложение LM Studio и найдите любую модель, нажав ⌘ + Shift + M на Mac или Ctrl + Shift + M на ПК (M — это Models). Вы даже можете вставить полный URL Hugging Face в строку поиска!

  <img
    class="block"
    src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/gguf-lmstudio-modelsearch.gif"
  />

Для каждой модели можно раскрыть выпадающий список, чтобы увидеть несколько вариантов квантования. LM Studio выделяет рекомендуемый вариант для вашего оборудования и показывает, какие опции поддерживаются.

### Вариант 3: Используйте lms, CLI для LM Studio:

Если вы предпочитаете работу в терминале, используйте lms — CLI-инструмент LM Studio.

  <img
    class="block"
    src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/gguf-lmstudio-lms.gif"
  />

 

#### **Поиск моделей из терминала:**

Поиск по ключевому слову
```bash
lms get qwen
```

Фильтровать поиск по результатам MLX или GGUF
```bash
lms get qwen \--mlx  # or \--gguf
```

#### **Скачайте любую модель с Hugging Face:**

Используйте полный URL Hugging Face
```bash  
lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF
```

#### **Выберите квантование модели**

Вы можете выбрать уровень квантования модели, который обеспечивает баланс между производительностью, использованием памяти и точностью.

Это делается с помощью квалификатора @, например:
```bash  
lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K
```

## Вы скачали модель – что дальше?

Вы скачали модель, следуя одному из вариантов, описанных выше, теперь давайте начнём работу в LM Studio!

### Начало работы с приложением LM Studio

В приложении LM Studio перейдите к загрузчику моделей, чтобы просмотреть список загруженных моделей и выбрать одну для загрузки. Вы можете настроить параметры загрузки модели, хотя по умолчанию LM Studio выбирает параметры, оптимизирующие производительность модели на вашем оборудовании.

  <img
    class="block"
    src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/gguf-lmstudio-modelload.gif"
  />

После завершения загрузки модели (об этом свидетельствует индикатор прогресса) вы можете начать общение, используя чат-интерфейс нашего приложения!

### Или используйте CLI LM Studio для взаимодействия с вашими моделями

Список команд доступен [здесь](https://lmstudio.ai/docs/cli). Обратите внимание, что перед использованием lms необходимо запустить LM Studio ***хотя бы один раз***.

## **Следите за новейшими моделями**

Подписывайтесь на страницу [LM Studio Community](https://huggingface.co/lmstudio-community) на Hugging Face, чтобы узнавать о выходе новых и лучших локальных LLM первыми.