ComfyUI¶

В этой статье

• ComfyUI. Основные возможности
• Особенности сборки
• Начало работы после развертывания ComfyUI
• Подключение и первоначальные настройки
• Генерация изображений
• Установка модели Stable Diffusion 3.5 Medium
• Заказ сервера с ComfyUI с помощью API

ComfyUI. Основные возможности¶

• Визуальное программирование: интуитивно понятный интерфейс на основе узлов для создания сложных рабочих процессов генерации изображений.
• Поддержка различных моделей: совместимость с широким спектром моделей генерации изображений, включая различные версии Stable Diffusion.
• Расширяемость: возможность добавления пользовательских узлов и интеграции собственных моделей или алгоритмов.
• Гибкость в управлении параметрами: точный контроль над параметрами генерации, включая размер изображения, количество шагов, методы сэмплирования и др.
• Поддержка техник img2img и inpainting: возможность использовать существующие изображения в качестве основы или маски для генерации.
• Интеграция с CUDA: оптимизированное использование GPU для ускорения процесса генерации.
• Сохранение и загрузка рабочих процессов: возможность сохранять сложные конфигурации для повторного использования или обмена.
• Интеграция с Flux: автоматизированное управление рабочими процессами и оркестрация задач через Flux.
• Активное сообщество: регулярные обновления, широкий выбор пользовательских узлов и расширений от сообщества.
• Локальное выполнение: все вычисления производятся локально, обеспечивая приватность и контроль над данными.

Приватный сервер с ComfyUI обеспечивает высокую производительность, полный контроль над процессом генерации и конфиденциальность данных.

Особенности сборки¶

• Время на установку 20-40 минут вместе с OS;
• Установка Python, ComfyUI, CUDA, драйверов NVIDIA и Flux;
• Системные требования: профессиональная видеокарта (NVIDIA RTX A4000/A5000, NVIDIA A100), не менее 16 ГБ оперативной памяти.
• Все модели размещаются в директории /root/ComfyUI/models/ в соответствующих директориях:
  • checkpoints/ - основные модели Stable Diffusion;
  • loras/ - LoRA модели;
  • vae/ - VAE модели;
  • controlnet/ - модели ControlNet;
  • upscale_models/ - модели для апскейла изображений;
  • embeddings/ - Textual Inversion эмбеддинги;
  • hypernetworks/ - гиперсети.
• Для добавления новой модели необходимо скопировать файлы модели в соответствующую директорию и перезапустить ComfyUI.

Начало работы после развертывания ComfyUI¶

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.

Данные для авторизации, которые можно найти или во вкладке Информация >> Тэги панели управления сервером или в присланном e-mail:

• Ссылка для доступа к панели управления ComfyUI с веб-интерфейсом: в теге webpanel;
• Логин: root - для администратора;
• Пароль: приходит в письме на вашу электронную почту при сдаче сервера;

Подключение и первоначальные настройки¶

После перехода по ссылке из тега webpanel будет открыта рабочая область ComfyUI:

Рабочая область представляет собой графический интерфейс, в котором основные элементы управления отображаются в виде взаимосвязанных узлов (nodes). В верхней части располагается панель инструментов с выпадающим меню "Unsaved Workflow" и кнопкой "Queue" справа.

Основные рабочие элементы включают:

• Узел загрузки checkpoint'а модели (Load Checkpoint)
• Два узла CLIP Text Encode для ввода текстовых промптов, где можно задать описание желаемого изображения и нежелательные элементы
• Узел KSampler с настройками генерации, включающими:
  • seed (зерно генерации)
  • количество шагов (steps)
  • силу следования промпту (cfg)
  • тип сэмплера (euler)
  • планировщик (scheduler)
  • уровень шума (denoise)
• Узел Empty Latent Image для установки разрешения выходного изображения (512x512 пикселей)
• Узлы VAE Decode и Save Image для финальной обработки и сохранения результата

Все узлы соединены цветными линиями, которые показывают путь прохождения данных в процессе генерации изображения. Каждый узел можно настраивать, изменяя параметры в его интерфейсе. Этот интерфейс позволяет визуально конструировать и настраивать процесс генерации изображений, соединяя различные функциональные блоки и задавая параметры для каждого этапа обработки.

Для добавления нового узла в рабочую область, нажмите правую кнопку мыши в любом месте и выберите нужный узел из контекстного меню. Узлы организованы по категориям для удобства поиска:

В левом нижнем углу интерфейса ComfyUI расположена кнопка . При нажатии на неё откроется окно Settings, где находятся все основные настройки приложения.

Генерация изображений¶

Выбор рабочего процесса¶

После перехода в веб-интерфейс ComfyUI в левом верхнем углу в меню Workflow необходимо выбрать из выпадающего списка конфигурацию для модели Flux (flux1-dev-fp8):

Загруженный workflow автоматически настроит все необходимые узлы и параметры.

Для генерации изображения необходимо ввести промт в поле CLIP Text Encode (Positive Promt) и нажать кнопку Queue:

Если все настроено правильно, вы увидите сгенерированное изображение в интерфейсе ComfyUI:

Установка модели Stable Diffusion 3.5 Medium¶

Модель SD 3.5 Medium можно запустить на любых vGPU с видеокартами от Nvidia с 16+ Гб видеопамяти и RTX (A4000, A5000, A6000, A100, H100, 4090).

Для этого вам нужно:

1. Зайти под root пользователем через ssh на ваш сервер с ComfyUI и перейти в директорию /root/ComfyUI/models/checkpoints командой

   cd ComfyUI/models/checkpoints.
   

2. Скачать модель SD 3.5 Medium со встроенными энкодерами:

   wget https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/resolve/main/sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors
   

3. Зайти в веб-интерфейс ComfyUI и использовать тот же workflow, что предлагается по умолчанию для модели Flux, выбрав в блоке Load Chekpoint модель sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors и поменяв значения в блоке KSampler на следующие:

   • сfg = 4.5
   • scheduler = sgm_uniform
   • denoise = 0.95

После этого можно генерировать изображения в новой модели.

Заказ сервера с ComfyUI с помощью API¶

Для установки данного ПО с использованием API следуйте этой инструкции.